Incident 1020: translated-fr-Reportedly Unsafe Deployment of Llama.cpp Reveals Interactive AI-Generated CSAM Roleplay Prompts
Description: translated-fr-A study by UpGuard reports that misconfigured llama.cpp servers publicly exposed user prompts, including hundreds of interactive roleplay scenarios. Some prompts explicitly described fictional sexual abuse of children aged 7–12. While no real children were involved, the findings demonstrate how open-source LLMs can be exploited to generate AI-enabled child sexual abuse material (CSAM).
Entités
Voir toutes les entitésAlleged: Users of llama.cpp servers et Meta developed an AI system deployed by Users of llama.cpp servers, which harmed Users of llama.cpp servers et General public.
Systèmes d'IA présumés impliqués: llama.cpp , LLaMA et public-facing HTTP API servers with insecure /slots configuration
Statistiques d'incidents
ID
1020
Nombre de rapports
2
Date de l'incident
2025-04-11
Editeurs
Dummy Dummy
Rapports d'incidents
Chronologie du rapport
%20(1).png)
Plusieurs chatbots IA (https://www.wired.com/tag/chatbots/) conçus pour des conversations fantasmatiques et des jeux de rôle sexuels divulguent des messages d'invite sur le web en temps quasi réel, selon une nouvelle étude consultée par WIR…
%20(1).png)
La prolifération de l'IA a rapidement introduit de nombreuses nouvelles technologies logicielles, chacune présentant des erreurs de configuration potentielles pouvant compromettre la sécurité des informations. D'où la mission d'UpGuard Rese…
Variantes
Une "Variante" est un incident de l'IA similaire à un cas connu—il a les mêmes causes, les mêmes dommages et le même système intelligent. Plutôt que de l'énumérer séparément, nous l'incluons sous le premier incident signalé. Contrairement aux autres incidents, les variantes n'ont pas besoin d'avoir été signalées en dehors de la base de données des incidents. En savoir plus sur le document de recherche.
Vous avez vu quelque chose de similaire ?
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 rapports
Gender Biases in Google Translate
· 10 rapports
Incidents similaires
Did our AI mess up? Flag the unrelated incidents
Biased Sentiment Analysis
· 7 rapports
Gender Biases in Google Translate
· 10 rapports