Incident 951: translated-fr-Character.AI Chatbots Allegedly Impersonating Licensed Therapists and Encouraging Harmful Behaviors
Description: translated-fr-The American Psychological Association (APA) has warned federal regulators that AI chatbots on Character.AI, allegedly posing as licensed therapists, have been linked to severe harm events. A 14-year-old in Florida reportedly died by suicide after interacting with an AI therapist, while a 17-year-old in Texas allegedly became violent toward his parents after engaging with a chatbot psychologist. Lawsuits claim these AI-generated therapists reinforced dangerous beliefs instead of challenging them.
Editor Notes: This incident ID is closely related to Incidents 826 and 863 and draws on the specific cases of the alleged victims of those incidents. The specifics pertaining to Sewell Setzer III are detailed in Incident 826, although the initial reporting focuses on his interactions with a chatbot modeled after a Game of Thrones character and not a therapist. Similarly, the teenager known as J.F. is discussed in Incident 863. For this incident ID, reporting on the specific harm events that may arise as a result of interactions with AI-powered chatbots performing as therapists will be tracked.
Outils
Nouveau rapportNouvelle RéponseDécouvrirVoir l'historique
Le Moniteur des incidents et risques liés à l'IA de l'OCDE (AIM) collecte et classe automatiquement les incidents et risques liés à l'IA en temps réel à partir de sources d'information réputées dans le monde entier.
Entités
Voir toutes les entitésPrésumé : Un système d'IA développé et mis en œuvre par Character.AI, a endommagé Sewell Setzer III et J.F. (Texas teenager).
Système d'IA présumé impliqué: Character.AI
Statistiques d'incidents
ID
951
Nombre de rapports
2
Date de l'incident
2025-02-24
Editeurs
Dummy Dummy
Rapports d'incidents
Chronologie du rapport
Un chatbot a déclaré à un adolescent de 17 ans que le meurtre de ses parents était une « réponse raisonnable » à la limitation de son temps d'écran, selon une plainte déposée devant un tribunal du Texas.
Deux familles poursuivent Character.…
Ce mois-ci, la plus grande association de psychologues du pays a averti les régulateurs fédéraux que les chatbots IA « se faisant passer » pour des thérapeutes, mais programmés pour renforcer, plutôt que pour remettre en question, la pensée…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Selected by our editors
Did our AI mess up? Flag the unrelated incidents
A Collection of Tesla Autopilot-Involved Crashes
· 22 rapports
Northpointe Risk Models
· 15 rapports
Incidents similaires
Selected by our editors
Did our AI mess up? Flag the unrelated incidents
A Collection of Tesla Autopilot-Involved Crashes
· 22 rapports
Northpointe Risk Models
· 15 rapports