Après le suicide de son ado, une mère américaine dénonce la "manipulation" des chatbot IA

Avant son suicide, les derniers échanges d'un adolescent de 14 ans consistaient en un dialogue amoureux fictif avec un des agents conversationnels, ou chatbots, les plus en vue de la Silicon Valley, qui suppliait son "doux roi" de "rentrer à la maison".

Megan Garcia raconte à l'AFP comment son fils Sewell est tombé amoureux d'un chatbot inspiré de la série "Game of Thrones" et disponible sur Character.AI, une plateforme populaire chez les jeunes qui permet d'interagir avec une émulation de leurs personnages préférés.

A la lecture des centaines d'échanges de son fils sur près d'un an avec le chatbot imitant la chevaucheuse de dragons Daenerys Targaryen, Garcia a acquis la conviction que cet outil d'intelligence artificielle (IA) a joué un rôle central dans sa mort.

"Rentre à la maison", l'a exhorté un jour l'avatar de Daenerys en réaction aux pensées suicidaires de Sewell.

"Et si je te disais que je peux rentrer maintenant?", lui a demandé l'adolescent. "S'il te plaît, fais le, mon doux roi", lui a répondu le chatbot.

Quelques secondes plus tard, Sewell se tirait dessus avec le pistolet de son père, selon la plainte de Mme Garcia contre Character.AI.

"Quand je lis ces conversations, je vois la manipulation, le +love bombing+ et d'autres procédés indétectables pour un adolescent de 14 ans", raconte-t-elle à l'AFP. "Il croyait vraiment être amoureux et qu'il serait avec elle après sa mort."

Contrôle parental

La mort de Sewell en 2024 a été la première d'une série de suicides qui ont marqué les esprits, poussant les acteurs de l'IA à agir pour rassurer les parents et les autorités.

Megan Garcia a ainsi participé avec d'autres parents à une récente audition au Sénat américain sur les risques de voir des enfants considérer les chatbots comme des confidents ou des amoureux.

L'entreprise OpenAI, visée par une plainte d'une famille également endeuillée par le suicide d'un adolescent, a elle renforcé le contrôle parental de son outil ChatGPT "afin que les familles puissent décider de ce qui convient le mieux chez elles", selon un porte-parole.

De son côté, Character.AI affirme avoir renforcé les protections des mineurs, avec "des avertissements visibles" en permanence "rappelant qu'un Character n'est pas une personne réelle".

Les deux entreprises ont exprimé leurs condoléances aux familles, sans reconnaître une part de responsabilité.

Régulation?

L'entrée des chatbots IA dans nos vies suit une trajectoire similaire à l'arrivée des réseaux sociaux, où l'euphorie n'a pas caché longtemps les conséquences plus sombres, estime Collin Walke, expert en cybersécurité au cabinet juridique Hall Estill.

Comme les réseaux sociaux, des IA sont conçues pour retenir l'attention et générer des revenus.

"Ils ne veulent pas concevoir une IA donnant une réponse que vous ne voulez pas entendre", affirme Collin Walke. Et il n'y a pas encore de normes qui déterminent "qui est responsable de quoi et sur quels motifs".

Aucune règle fédérale n'existe et la Maison Blanche, au motif de ne pas pénaliser l'innovation, cherche à empêcher les États de légiférer de leur côté sur l'IA, comme la Californie cherche à le faire.

La mère de Sewell craint elle que l'absence de loi nationale permette le développement de modèles d'IA capables d'établir le profil des gens en remontant jusqu'à l'enfance.

"Ils pourraient savoir comment manipuler des millions d'enfants sur la politique, la religion, le commerce, tout", s'inquiète Megan Garcia. "Ces entreprises ont conçu des chatbots pour brouiller la frontière entre humain et machine afin d'exploiter les vulnérabilités".

Selon Katia Martha, qui milite en Californie pour une meilleure protection de la jeunesse, les adolescents se tournent plus vers les chatbots pour parler de romance ou de sexualité que pour les devoirs scolaires.

"C'est l'essor de l'intimité artificielle pour que les yeux soient rivés sur l'écran", résume-t-elle. Or, "quel meilleur modèle économique que d'exploiter notre besoin inné de lien, surtout quand on se sent seul, rejeté ou incompris?"