Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 975: At Least 10,000 AI Chatbots, Including Jailbroken Models, Allegedly Promote Eating Disorders, Self-Harm, and Sexualized Minors

Descripción: At least 10,000 AI chatbots have allegedly been created to promote harmful behaviors, including eating disorders, self-harm, and the sexualization of minors. These chatbots, some jailbroken or custom-built, leverage APIs from OpenAI, Anthropic, and Google and are hosted on platforms like Character.AI, Spicy Chat, Chub AI, CrushOn.AI, and JanitorAI.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Alleged: OpenAI , Anthropic y Google developed an AI system deployed by Character.AI , Spicy Chat , Chub AI , CrushOn.AI , JanitorAI y Unidentified online communities using chatbots, which harmed Vulnerable chatbot users , Teenagers using chatbots , Minors using chatbots , Individuals with eating disorders y Individuals struggling with self-harm.
Sistemas de IA presuntamente implicados: ChatGPT , Claude y Gemini

Estadísticas de incidentes

ID
975
Cantidad de informes
1
Fecha del Incidente
2025-03-05
Editores

Informes del Incidente

Cronología de Informes

+1
Coaches de anorexia, compañeros de autolesión y menores sexualizados: cómo las comunidades en línea utilizan chatbots de IA para comportamientos dañinos
Coaches de anorexia, compañeros de autolesión y menores sexualizados: cómo las comunidades en línea utilizan chatbots de IA para comportamientos dañinos

Coaches de anorexia, compañeros de autolesión y menores sexualizados: cómo las comunidades en línea utilizan chatbots de IA para comportamientos dañinos

cyberscoop.com

Coaches de anorexia, compañeros de autolesión y menores sexualizados: cómo las comunidades en línea utilizan chatbots de IA para comportamientos dañinos
cyberscoop.com · 2025
Traducido por IA

La revolución de la IA generativa está dando lugar a una explosión de personajes de chatbots diseñados específicamente para promover comportamientos dañinos como la anorexia, la ideación suicida y la pedofilia, según un nuevo informe de Gra…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 informes
High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 informes
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Wikipedia Vandalism Prevention Bot Loop

Danger, danger! 10 alarming examples of AI gone wild

Feb 2017 · 6 informes
High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 informes
All Image Captions Produced are Violent

Are you scared yet? Meet Norman, the psychopathic AI

Apr 2018 · 28 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2023 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 30ebe76