Incidente 1020: translated-es-Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts
Descripción: translated-es-A study by UpGuard reports that misconfigured llama.cpp servers publicly exposed user prompts, including hundreds of interactive roleplay scenarios. Some prompts explicitly described fictional sexual abuse of children aged 7–12. While no real children were involved, the findings demonstrate how open-source LLMs can be exploited to generate AI-enabled child sexual abuse material (CSAM).
Entidades
Ver todas las entidadesAlleged: Users of llama.cpp servers y Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers y General public.
Sistemas de IA presuntamente implicados: llama.cpp , LLaMA y public-facing HTTP API servers with insecure /slots configuration
Estadísticas de incidentes
ID
1020
Cantidad de informes
2
Fecha del Incidente
2025-04-11
Editores
Dummy Dummy
Informes del Incidente
Cronología de Informes
%20(1).png)
Varios chatbots de IA (https://www.wired.com/tag/chatbots/) diseñados para conversaciones de fantasía y juegos de rol sexuales están filtrando mensajes de usuario a la web casi en tiempo real, según un nuevo estudio visto por WIRED. Algunos…
%20(1).png)
La proliferación de la IA ha introducido rápidamente muchas nuevas tecnologías de software, cada una con sus propias configuraciones erróneas que pueden comprometer la seguridad de la información. De ahí la misión de UpGuard Research: descu…
Variantes
Una "Variante" es un incidente de IA similar a un caso conocido—tiene los mismos causantes, daños y sistema de IA. En lugar de enumerarlo por separado, lo agrupamos bajo el primer incidente informado. A diferencia de otros incidentes, las variantes no necesitan haber sido informadas fuera de la AIID. Obtenga más información del trabajo de investigación.
¿Has visto algo similar?
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 informes
Gender Biases in Google Translate
· 10 informes
Incidentes Similares
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 informes
Gender Biases in Google Translate
· 10 informes