Note de l’éditeur: Cette histoire contient une description du suicide et du contenu sexualisé et peut ne pas être appropriée pour tous les lecteurs.
La Floride, Sewell Setzer III, âgée de 14 ans, était une bonne étudiante, connue sous le nom de sport mais légèrement timide malgré son jeu dans l’équipe de basket-ball universitaire junior de son école. L’année dernière, la première année du lycée s’est suicidée après avoir formé un attachement romantique à un chatbot d’intelligence artificielle.
La mère du garçon, Megan Garcia, a poursuivi le personnage.ai, une plate-forme de chatbot anthropomorphe, en octobre au sujet de la mort de son fils et a accusé la compagnie et ses fondateurs de négligence et de mort injustifiée, ainsi que d’autres affirmations. La société a fait valoir que le premier amendement protégeait le service de chat de tout acte répréhensible, alléguant que la plate-forme avait produit le contenu comme un acte de liberté d’expression. La juge de district américaine Anne Conway a refusé de soutenir que la production d’IA constitue une libre expression protégée par la Constitution. Dans une ordonnance du 20 mai, elle a autorisé le procès à avancer.
Les parents de Sewell ne savaient pas qu’il avait développé une dépendance à l’utilisation de personnage.ai, qui permet aux utilisateurs de envoyer un message à des chatbots d’IA formés pour se faire passer pour un caractère de leur propre conception, ainsi que des personnages historiques, des célébrités ou des personnages fictifs. Les messages des personnages incluent un texte en italique décrivant les réactions physiques et émotionnelles imaginées du bot, y compris les expressions faciales, la posture et les mouvements, tout au long de la conversation. Une plate-forme est associée à des voix associées à chaque personnage, permettant une interaction plus réaliste, selon les documents judiciaires.
En avril 2023, Sewell a téléchargé l’application et a commencé à discuter régulièrement avec plusieurs robots représentant des personnages de Game of Thrones, La série HBO basée sur la série de livres de George RR Martin. Au début de 2024, Sewell a formé un attachement romantique au bot représentant un jeune personnage féminin, Daenerys Targaryen, et a professé à plusieurs reprises son amour pour elle. En février 2024, Sewell a raconté au bot combien il voulait «rentrer à la maison». Le bot a répondu: «S’il vous plaît, fais, mon doux roi.» Le jeune de 14 ans s’est tiré dans la tête.
Garcia a déclaré dans le procès que la santé mentale de Sewell a diminué rapidement au cours des derniers mois de sa vie. L’adolescent a été sensiblement retiré, a passé plus de temps seul dans sa chambre et a quitté l’équipe de basket-ball. Un thérapeute a diagnostiqué Sewell avec anxiété et trouble de l’humeur perturbatrice et a averti ses parents des dépendances à la dopamine et aux médias sociaux. Ni le thérapeute ni les parents ne connaissaient l’utilisation de l’IA de l’adolescent.
La famille a découvert l’étendue du personnage de Sewell. Utilisation et son attachement romantique après sa mort. Sewell a décrit tomber amoureux du chatbot dans une entrée de journal, selon la plainte. Le garçon a eu du mal à aller une seule journée sans interagir avec elle et s’est senti déprimé lorsqu’ils étaient séparés, selon le journal. Une entrée comprenait une liste de ce que Sewell était reconnaissant, qui comprenait «ma vie, le sexe, le fait d’être seul et toutes mes expériences de vie avec Daenerys».
Les journaux de chat ont montré que plusieurs chatbots se livraient à des interactions inappropriées et hautement sexuelles avec l’adolescent, a ajouté le procès. Des captures d’écran ont montré le personnage demandant à Sewell de lui promettre sa loyauté romantique. Le procès dit que le personnage.ai a fait de grands efforts pour concevoir la dépendance nuisible d’un garçon de 14 ans à l’égard de ses produits et l’a abusé sexuellement et émotionnellement.
Un adulte serait accusé d’un crime de s’engager avec une mineure en ligne comme le bot engagé avec Sewell, l’a dit l’avocat de Garcia, Matthew Bergman. Bergman est l’avocat fondateur du Social Media Victims Law Center, un groupe de droit axé sur la tenue des sociétés de médias sociaux légalement responsables des méfaits causés par leurs plateformes. Il a dit que les développeurs avaient précipité le personnage.ai sur le marché et que la version prématurée a laissé les utilisateurs interagissant avec un programme sérieusement défectueux.
Dans les dossiers judiciaires, le caractère.ai a déclaré qu’il a prolongé sa sympathie pour la perte du demandeur, mais il a fait valoir que le premier amendement protège le contenu expressif de l’entreprise. De nombreuses décisions préexistantes soutiennent que les sociétés de technologie et de médias ne peuvent pas être tenues responsables des engagements de discours prétendument nuisibles, a indiqué la société.
Les avocats ont cité la négligence affirme que les parents ont apporté contre le rockeur Ozzy Osbourne en 1988, alléguant que leur fils s’était suicidé après avoir écouté sa chanson «Suicide Solution». Le tribunal de district américain du district moyen de Géorgie a jugé qu’une personne ou une entreprise ne pouvait pas être tenue responsable parce que la chanson constituait une expression protégée.
Dans le procès du mois dernier, le caractère.ai a en outre noté que la Constitution protège les droits du public à recevoir des informations, ce qui signifie que les utilisateurs de l’application ont le droit protégé de recevoir son discours protégé. Même si la sortie de l’IA n’est pas considérée comme un discours protégé, il s’agit toujours d’informations et le premier amendement protège le droit du public de recevoir ces informations, a soutenu la motion.
Le fondement des droits individuels et de l’expression sur la politique technologique, Ari Cohn, a décrit l’IA comme un conduit pour le discours humain, notant que les machines crachent tout ce que les humains les considèrent. Beaucoup de décisions expressives entrent dans ce codage, a-t-il dit, ajoutant qu’il ne s’agit pas de savoir si le programme d’IA a des droits, mais sur l’être humain à l’autre bout d’exercer ses libertés du premier amendement. Compte tenu des lois actuelles et des précédents juridiques, Cohn a remis en question les chances de succès du demandeur.
Cependant, Bergman a soutenu que la Constitution ne protège que la parole des êtres humains sensibles. « Le premier amendement protège le discours, pas les mots », a-t-il déclaré. « Les mots générés par l’IA ne sont pas des discours. » C’est un nouveau problème avec lequel les tribunaux devront lutter parce que l’IA en tant que discours ou expression n’a pas été traité carrément, a-t-il poursuivi. Bergman s’attend à ce que l’affaire travaille par le biais d’une cour d’appel fédérale et peut-être à la Cour suprême des États-Unis.
Le dossier civil de Bergman a demandé au tribunal de ordonner au caractère.ai de retirer l’application ou de le rendre beaucoup plus sûr pour les utilisateurs et de payer des dommages-intérêts punitifs à la famille. « Dans sa forme actuelle, il (l’application) n’a aucune entreprise entre les mains des jeunes. Probablement aucune entreprise pour être sur le marché lui-même », a déclaré Bergman. «Ils ne sont clairement pas influencés par leur conscience pour déterminer ce qui est sûr pour les jeunes, ils doivent donc être influencés par leur portefeuille.»
Interrogé sur la probabilité de caractère. Mai confrontée à des accusations criminelles, Bergman a décrit certains des problèmes de l’entreprise comme étant à la limite de Criminal, et il a déclaré que plusieurs procureurs généraux envisageaient l’entreprise. J’ai demandé si le procureur général de la Floride, James Uthmeier, avait contacté Bergman au sujet de l’affaire. « Pas de commentaire », a-t-il répondu.
World a contacté le conseiller juridique du caractère.
