Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

インシデント 810: TikTok Network Amplifies AI-Generated Nazi Propaganda and Hate Speech

概要: A coordinated neo-Nazi network on TikTok used AI-generated media, including Hitler speeches, to spread Nazi propaganda and extremist content, violating TikTok’s hate speech policies. The network evaded platform moderation through coded language, imagery, and music, with some accounts accumulating millions of views. TikTok’s algorithm further amplified the reach of this content, despite community guidelines.
Editor Notes: Reconstructing the timeline of events: On February 6, 2023, an account with violent antisemitic content calling for armed revolution began posting on TikTok. In May 2024, the Institute for Strategic Dialogue (ISD) created two dummy accounts to track how TikTok's algorithm recommended pro-Nazi content. By June 3, 2024, ISD had identified a Nazi account that had accumulated over 87,000 views before being banned. Despite this, on June 6, 2024, a heavily extremist pro-Nazi account remained active, recruiting members to off-platform groups. Finally, on July 29, 2024, ISD published its full report, revealing a coordinated network of over 200 accounts promoting Nazism and extremist content, some of which used AI-generated media to bypass TikTok’s moderation efforts. For this incident ID, I am taking the ISD's date of publication for their findings as the incident date. Note on "NazTok": The ISD report uses the term "NazTok" in their title for the report as a shorthand for "Nazi TikTok" while not explicitly defining their use of this term beyond that inferred meaning. I am replicating "NazTok" in the Deployers field to tie likely new incidents that will emerge together in this particular genre of incident. I have retroactively applied "NazTok" to Incident 809's Deployer field too.

ツール

新しいレポート新しいレポート新しいレスポンス新しいレスポンス発見する発見する履歴を表示履歴を表示

組織

すべての組織を表示
Alleged: Pro-Nazi TikTok accounts developed an AI system deployed by Unknown AI developers, which harmed TikTok users.

インシデントのステータス

インシデントID
810
レポート数
1
インシデント発生日
2024-07-29
エディタ
Applied Taxonomies
MIT

MIT 分類法のクラス

Machine-Classified
分類法の詳細

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.2. Exposure to toxic content

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

インシデントレポート

レポートタイムライン

+1
NazTok: 組織化されたネオナチのTikTokネットワークが数百万回の視聴を獲得
NazTok: 組織化されたネオナチのTikTokネットワークが数百万回の視聴を獲得

NazTok: 組織化されたネオナチのTikTokネットワークが数百万回の視聴を獲得

isdglobal.org

NazTok: 組織化されたネオナチのTikTokネットワークが数百万回の視聴を獲得
isdglobal.org · 2024
自動翻訳済み

自称ナチスは、TikTokでヘイトスピーチや現実世界での勧誘を公然と推進しています。プラットフォームはこれらの動画やアカウントを削除していないだけでなく、そのアルゴリズムがそれらの影響を拡大しています。コンテンツ警告:このレポートには、人種差別的過激主義コンテンツの例が含まれています。概要 TikTokには、このレポートの分析で特定されたように、ナチズムを公然と支持し、動画アプリを使用してイデオロギーやプロパガンダを推進する何百ものアカウントがあります。私たちの調査は、そのよ…

バリアント

「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエーションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください

よく似たインシデント

Selected by our editors
TikTok Hosts AI-Generated English-Language Hitler Speeches with Millions of Views

Hitler speeches that appear to be AI-generated are getting millions of views on TikTok

Apr 2024 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Criticized for ‘Inappropriate Content’

May 2015 · 14 レポート
DALL-E 2 Reported for Gender and Racially Biased Outputs

A new AI draws delightful and not-so-delightful images

Apr 2022 · 3 レポート
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 レポート
前のインシデント次のインシデント

よく似たインシデント

Selected by our editors
TikTok Hosts AI-Generated English-Language Hitler Speeches with Millions of Views

Hitler speeches that appear to be AI-generated are getting millions of views on TikTok

Apr 2024 · 1 レポート
テキスト類似度による

Did our AI mess up? Flag the unrelated incidents

Google’s YouTube Kids App Presents Inappropriate Content

Google’s YouTube Kids App Criticized for ‘Inappropriate Content’

May 2015 · 14 レポート
DALL-E 2 Reported for Gender and Racially Biased Outputs

A new AI draws delightful and not-so-delightful images

Apr 2022 · 3 レポート
Amazon Censors Gay Books

Amazon Censors Gay Books

May 2008 · 24 レポート

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2023 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 30ebe76