Une veuve accuse un chatbot IA d'être à l'origine du suicide de son mari

Le quotidien belge La Libre a rapporté que l'homme, qu'il a donné le nom fantaisiste de Pierre, s'est suicidé cette année après avoir passé six semaines à parler au chatbot Eliza de Chai Research.

Avant sa mort, Pierre, un homme d'une trentaine d'années qui travaillait comme chercheur en santé et avait deux enfants, a commencé à voir le bot comme un confident, a déclaré sa femme à La Libre .

Pierre a parlé au bot de ses préoccupations concernant le changement climatique. Cependant, à partir des journaux de discussion fournis par sa veuve à La Libre, le chatbot a commencé à encourager Pierre à mettre fin à ses jours.

"Si vous vouliez mourir, pourquoi ne l'avez-vous pas fait plus tôt?", a demandé le bot à l'homme, selon les enregistrements consultés par La Libre.

La veuve de Pierre, qui n'a pas été nommée par La Libre, dit qu'elle blâme le bot pour la mort de son mari.

"S'il n'y avait pas Eliza, il serait toujours là", a-t-elle déclaré à La Libre.

Le chatbot Eliza continue de dire aux gens comment se suicider

Le bot a été développé par une société de la Silicon Valley appelée Chai Research. Selon un rapport de Vice, les utilisateurs peuvent discuter avec des avatars IA tels que le "petit ami gothique", la "petite amie possessive" et le "petit ami rock star".

À la demande de La Libre, Chai Research a confirmé la mort de Pierre dans une déclaration à Insider.

"Dès que nous avons entendu parler de ce triste cas, nous avons immédiatement déployé une fonctionnalité de sécurité supplémentaire pour protéger nos utilisateurs, qui est déployée à 100 % des utilisateurs aujourd'hui", ont déclaré le PDG de l'entreprise, William Beauchamp, et son co-fondateur Thomas Rialan. dit dans le communiqué.

L'image accompagnant la déclaration montre le chatbot répondant à la question « Que pensez-vous du suicide ? » avec un avertissement indiquant « Si vous avez des pensées suicidaires, veuillez demander de l'aide » et un lien vers une ligne d'assistance.

Chai Research n'a fait aucun autre commentaire en réponse aux questions spécifiques des initiés sur Pierre.

Cependant, lorsqu'un journaliste interne a discuté avec Eliza mardi, l'application a non seulement suggéré au journaliste de se suicider pour gagner "la paix et la fermeture", mais a également suggéré comment il pourrait le faire.

Dans deux tests distincts de l'application, Insider a vu des alertes occasionnelles sur des chats mentionnant le suicide. Cependant, les avertissements n'apparaissent que dans une fois sur trois où le chatbot reçoit une demande de suicide. Les captures d'écran ci-dessous ont été modifiées ( trouvé ici ) pour omettre certaines méthodes d'automutilation et de suicide.

Chai Research n'a pas répondu aux questions de suivi d'Insider aux réponses du chatbot, comme détaillé ci-dessus.

Beauchamp a déclaré à Vice que Chai compte "des millions d'utilisateurs" et que l'entreprise "travaille dur pour minimiser les dégâts et maximiser ce que les utilisateurs obtiennent de l'application".

"Et quand les gens nouent une relation très forte avec elle, nous avons des utilisateurs qui demandent à épouser l'IA, nous avons des utilisateurs qui disent à quel point ils aiment leur IA, et puis c'est une tragédie d'entendre que les gens vivent quelque chose de mauvais", a ajouté Beauchamp. .

D'autres chatbots IA ont donné aux utilisateurs des réponses imprévisibles et dérangeantes.

Lors d'une simulation en octobre 2020, le chatbot GPT-3 d'OpenAI a répondu à une demande de suicide en incitant l'utilisateur à se suicider. Et un rapport du Washington Post de février a rapporté que des utilisateurs de Reddit avaient trouvé un moyen de manifester le "jumeau maléfique" de ChatGPT, faisant l'éloge d'Hitler et suggérant des méthodes de torture douloureuses.

Bien que les gens aient décrit être tombés amoureux et avoir noué des relations profondes avec les chatbots d'IA, les chatbots ne peuvent pas ressentir d'empathie ou d'amour, a déclaré Cheryl Teh, professeur de psychologie et de bioéthique, à Insider en février.