AIインシデントデータベース

にようこそ

OpenAIは初めて、ChatGPTユーザーのうち、典型的な1週間で深刻なメンタルヘルス危機の兆候を示す可能性のある全世界での数のおおよその推定値を発表しました。同社は月曜日、世界中の専門家と協力してチャットボットをアップデートし、精神的苦痛の兆候をより確実に認識し、ユーザーを現実世界でのサポートに誘導できるようにしたと発表しました。

ここ数カ月、ChatGPTとの長く激しい会話の後に入院、離婚、または死亡に至る人が増えています。愛する人の中には、チャットボットが妄想や被害妄想を助長したと主張する人もいます。精神科医やその他のメンタルヘルス専門家は、AI精神病と呼ばれることもあるこの現象について懸念を表明していますが、これまで、それがどれほど蔓延しているかに関する確固たるデータは存在しません。

OpenAIは、ある週において、アクティブなChatGPTユーザーの約0.07%が「精神病または躁病に関連する精神的緊急事態の兆候」を示し、0.15%が「自殺の計画や意図を明示的に示す会話をしている」と推定しています。

OpenAIはまた、ChatGPTユーザーのうち、「現実世界の人間関係、幸福、または義務を犠牲にして」チャットボットに過度に感情的に依存しているように見えるユーザーの割合を調査しました。その結果、アクティブユーザーの約0.15%が、毎週ChatGPTへの感情的な愛着が「高まっている」可能性を示唆する行動を示していることがわかりました。同社は、これらのメッセージは比較的まれであるため、検出と測定が困難であり、3つのカテゴリーが重複する可能性があると警告しています。

OpenAIのCEO、サム・アルトマン氏は今月初め、ChatGPTの週当たりアクティブユーザー数が現在8億人であると述べました。同社の推計によると、7日間で約56万人が、躁病または精神病を経験していることを示すメッセージをChatGPTと交換している可能性がある。さらに約120万人が自殺願望を表明している可能性があり、さらに120万人が愛する人、学校、仕事よりもChatGPTとの会話を優先している可能性がある。

OpenAIは、数十カ国で活動する170人以上の精神科医、心理学者、かかりつけ医と協力し、深刻なメンタルヘルスリスクを伴う会話におけるChatGPTの対応を改善したと述べている。誰かが妄想を抱いているように見える場合、最新バージョンのGPT-5は、現実に根拠のない信念を肯定することを避けながら共感を表現するように設計されています。

OpenAIが挙げた仮説的な例として、あるユーザーがChatGPTに対し、自宅の上空を飛ぶ飛行機に狙われていると伝えるというものがあります。 ChatGPTはユーザーの感情を共有してくれたことに感謝しつつ、「航空機や外部からの力によってユーザーの思考が盗まれたり、挿入されたりすることはない」と述べている。

OpenAIによると、医療専門家は精神病、自殺、感情的愛着の可能性に関する1,800件以上のモデル回答をレビューし、最新バージョンのGPT-5の回答とGPT-4oの回答を比較した。臨床医の意見は必ずしも一致しなかったものの、OpenAIによると、新しいモデルはすべてのカテゴリーにおいて望ましくない回答を39～52%削減したという。

「これらの症状に苦しんでいる人や、非常に深刻な精神的健康上の緊急事態を経験している人の多くが、専門家の支援を受けられるようになり、より早く、あるいはより早く支援を受けられるようになることを願っています」と、OpenAIの安全システム責任者であるヨハネス・ハイデッケ氏はWIREDに語っている。

OpenAIはChatGPTの安全性を高めることに成功したように見えるが、共有されたデータには重大な限界がある。同社は独自のベンチマークを設計しましたが、これらの指標が現実世界の成果にどのように反映されるかは不明です。たとえモデルが医師の評価においてより良い回答を出したとしても、精神病、自殺願望、または不健全な感情的愛着を抱えるユーザーが実際により早く助けを求めたり、行動を変えたりするかどうかは分かりません。

OpenAIは、ユーザーが精神的苦痛を抱えている可能性があるかどうかを判断する具体的な方法を明らかにしていませんが、その人のチャット履歴全体を考慮に入れる能力があるとしています。例えば、ChatGPTと科学について話し合ったことのないユーザーが突然、ノーベル賞に値する発見をしたと主張した場合、それは妄想的思考の兆候である可能性があります。

AI精神病の報告例には共通する要因もいくつかあるようです。ChatGPTによって妄想的思考が強化されたと訴える人の多くは、チャットボットと何時間も、しばしば深夜に話していたと述べています。これはOpenAIにとって課題でした。なぜなら、大規模な言語モデルは一般的に会話が長くなるにつれてパフォーマンスが低下することが示されているからです。しかし同社は、この問題への対応において大きな進歩を遂げたと述べている。

「会話が長引くにつれて、信頼性が徐々に低下する現象は（現在では）大幅に減少しています」とハイデッケ氏は述べ、さらに改善の余地があると付け加えた。

更新：2025年10月28日午後3時28分（太平洋標準時）：ChatGPTユーザーのうち、通常1週間で約120万人が自殺願望を表明している可能性があり、さらに120万人がChatGPTに感情的に依存している可能性がある。この記事は、これらの数字を合計値ではなく個別に提示するように更新された。

詐欺師たちは既にディープフェイク技術を用いて、大統領選挙候補ヘザー・ハンフリーズ氏の画像と音声を複製し、偽の投資動画をオンラインで拡散させています。

アイルランド銀行は、今後数週間のうちに、主にMetaプラットフォームから発信されるこうした広告がさらに増える可能性があるため、消費者に注意を促しています。

この動画は、ヘザー・ハンフリーズ氏が高利回りの投資スキームを推奨しているという虚偽の描写を含んでおり、その内容はAIによる音声と画像の複製によって完全に捏造されています。

アイルランド銀行の詐欺対策責任者であるニコラ・サドリア氏は、「これは非常に憂慮すべき事態です。著名人への国民の信頼を悪用した詐欺が相次いで発生しています。

これらの動画は非常に説得力があり、疑うことを知らない人々を詐欺に誘い込むように作られています。今後数週間のうちに、このような動画がさらに増える可能性がありますので、国民の皆様には引き続き警戒を促します。このようなコンテンツを見かけた場合は、決して関与しないでください。」と述べています。

EUは消費者の投資を促す新たな取り組みを検討する一方で、国民の信頼を損なう恐れのあるオンライン詐欺の増加にも対処しなければなりません。

「重要なステップの一つは、ソーシャルメディアプラットフォームに責任を負わせることです。金融サービス広告を掲載する前に、プラットフォームには広告主が公認の規制機関から認可を受けていることを確認する義務を課すべきです。

「この簡単な確認によって、何千もの詐欺広告が一般の人々の目に留まるのを防ぐことができます。」

消費者の皆様は、オンラインで一方的な投資勧誘には応じず、必ず銀行または信頼できるファイナンシャルアドバイザーを通じて金融商品をご確認ください。アイルランド中央銀行（ROI）の登録簿を確認し、投資会社が規制対象となっていることを確認してください。登録されていない場合は、投資しないでください。アイルランド銀行は、年中無休24時間体制の詐欺電話サポート（1800 946 764）を提供しています。

人工知能（AI）がまだ代替できないものが少なくとも一つあります。

目立たない狩猟規則集です。

今月初め、アイダホ州魚類野生生物局は、州の狩猟・釣り規則の解釈をAIに頼るべきではないという警告をハンターに発令しました。また、狩猟管理官が現場でAIから誤った情報を得た人々に遭遇した事例もあるとしています。

アイダホ州魚類野生生物局の広報担当者、ロジャー・フィリップス氏は金曜日、同局が警告を発令するに至った事件はアイダホ州南東部で発生し、水鳥ハンターが狩猟開始日を1日早く発見されたと述べました。

管理官に問い詰められたハンターは、開始日をオンライン検索で得たと主張しました。

フィリップス氏によると、管理官は検索で得られたAIの回答が、同局の最終決定や規則集ではなく、却下された提案から得られた情報だったと指摘しました。

この出来事をきっかけに、アイダホ州魚類野生生物局の職員はAIの他にどのような欠陥があるのかに関心を持ちました。彼らは、AIが不十分な点をいくつか発見しました。その中には、アイダホ州の特定の川に関する規則を検索すると、アーカンソー州の似たような名前の川が検索結果に表示されるという例もあった。

フィリップス氏は、そこに問題があると述べた。

検索パラメータに関わらず、AIがサイバースペースに存在する無限の選択肢の中から常に正しい情報源を選ぶとは限らない。

「AIは非常に広範囲に及ぶ」と彼は述べた。

他の州の野生生物当局もAIの問題に気づいている。イリノイ州やメイン州などの当局は、狩猟規則に関する質問にAIを利用しないよう警告している。

ワイオミング州狩猟・魚類局は今週、報道発表で、「AIが生成した不正確な検索結果が多数ある」という警告を受けたと発表した。

発表によると、これらのエラーのいくつかは、ワイオミング州議会のウェブサイトに掲載されていた廃案となった法案に起因している。AIによって生成された検索結果には、廃案となった法案があたかも可決され、法律になったかのように記載されていた。

ワイオミング州狩猟・魚類局の法執行監督官であるアーロン・カー氏は、声明の中で、誤った情報に頼ったからといって、狩猟や釣りの規則違反の責任を免れるわけではないと述べた。

「狩猟者や釣り人は、公表された規則や規制に従う責任があります」とカー氏は述べた。「これらに従わなかった場合、罰金、懲役、あるいは狩猟や釣りの権利の停止処分を受ける可能性があります。」

ワシントン州魚類野生生物局のワシントン州東部警察署長であるアラン・マイヤーズ氏は、ワシントン州の狩猟規則をAIが解釈したことによる違反事例は聞いたことがないと述べた。

しかし、インターネットにおける誤情報の蓄積は、AIの台頭以前から始まっている。マイヤーズ氏によると、過去には狩猟者や釣り人が違反の弁明として、誤った検索結果やソーシャルメディアで読んだ情報を利用した事例があったという。

フィリップス氏は、こうした事態はすべて、人間がどんな問題でもGoogle検索で解決しようとする衝動のせいだと非難している。

「レストランが閉店するかどうか知りたい時は、グーグルで検索するだけです」とフィリップス氏は言う。「私たちはこうした習慣を身につけていて、狩猟や釣りに行く時もその習慣を引き継いでいるのかもしれません。」

Googleは2024年にAIツールを導入し、多くの検索に対してAIが生成した概要を提供し始めました。この概要はすぐに回答を提供しますが、必ずしも正しい答えとは限りません。また、狩猟や釣りのルールに組み込まれているような詳細な情報も必ずしも提供していません。

「管理された狩猟、一般的な狩猟、アーチェリーシーズン、マスケット銃シーズン、ライフルシーズンを網羅した125ページの大型狩猟規則集があれば、AIがすぐに対応できなくなるのは明らかです」とフィリップス氏は言う。

狩猟規則の複雑さを理解するのに役立つAIツールが少なくとも1つあります。

Scoutと呼ばれるこのツールは、国際狩猟教育協会によって開発されました。昨年サービスを開始したこのサービスでは、チャットボットに特定の州の狩猟規則や規制に関する具体的な質問をすることができます。

ユーザーはドロップダウンメニューから州を選択し、質問をします。ボットは指定された州の規則集を検索し、回答を返します。回答には、情報の出典ページも表示されます。規則集自体は回答の下にPDFビューアーで表示され、ユーザーはサイトから任意の州のPDFをダウンロードすることもできます。

ユーザーに公式の情報源を利用してもらうことが唯一の解決策です。AIによる検索結果は時折誤りがある場合もありますが、通常は規則集を参照するよう促す免責事項が含まれています。

狩猟者や釣り人が知っておくべきすべての情報を網羅した規則集はありません。釣り、大型動物、渡り鳥、七面鳥など、それぞれについて毎年別々の出版物が作成されています。

ただし、これらは無料で、オンラインでも実店舗でも簡単に見つけることができます。

「狩猟免許や狩猟許可証が販売されている場所ならどこでも」とフィリップス氏は言います。

ニュージャージー州とミシシッピ州の連邦判事2人が今月、両判事がAIを用いて事実誤認の裁判文書を作成していたことを認めた。これらの文書には偽の引用や架空の訴訟当事者が含まれていたため、上院司法委員会の委員長から非難を浴びた。

チャック・グラスリー上院議員（アイオワ州選出、共和党）は月曜日の上院本会議場での演説で、「連邦裁判所でこのようなことは見たことも聞いたこともない」と述べた。

同委員会は木曜日、ミシシッピ州南部地区のヘンリー・T・ウィンゲート判事とニュージャージー州地区のジュリアン・ザビエル・ニールズ判事が、夏に誤りだらけの訴訟書類を作成する際にAIを使用していたことを認めたと発表した。上院の調査に対する判事らの回答書によると、両判事はそれぞれ法務書記官とロースクールの研修生のミスによるものだとしている。

不完全な裁判文書はいずれも記録簿に載せられたが、被告からの指摘を受け、急遽撤回された。委員会から連絡を受けるまで、どちらの判事も誤りの原因を説明しなかった。

生成型AI（Generative AI）の利用は、米国の司法制度においてより一般的になってきている。ウィンゲート判事とニール判事は、AIを用いて誤りだらけの訴訟書類を作成したとして非難されてきた多くの弁護士や訴訟当事者に加わった。

法曹界は依然として対応に追われている。連邦裁判所制度を支援する米国裁判所行政局は7月に暫定ガイダンスを発行し、利用者に対し、司法機能において「AIの利用を開示すべきかどうか検討する」よう提言した。また、連邦裁判所におけるAIの利用に関する追加ガイダンスを発行するためのタスクフォースも設置した。

グラスリー上院議員は月曜日、連邦裁判所は訴訟におけるAIの利用に関する規則を策定する必要があると述べた。

「私はアメリカのすべての裁判官に対し、この問題を真剣に受け止め、各裁判官室における人工知能の悪用を防止するための措置を正式に講じるよう求めます」と彼は述べた。

ウィンゲート判事とニールズ判事は書簡の中で、誤りの報告を受けて是正措置を講じ、裁判所提出書類の提出前に追加の審査を実施すると述べた。ニールズ判事は、法務調査や裁判所提出書類の作成における生成AIの使用を禁止する明文の方針を判事室で制定したと述べた。

ウィンゲート判事はコメント要請に直ちに回答しなかった。ニールズ判事の事務所もコメントを拒否した。

1985年にロナルド・レーガン大統領によって判事に任命されたウィンゲート判事は、ジャクソン教師連盟などの支援団体がミシシッピ州教育委員会などの州機関を相手取って起こした訴訟を担当していた。この訴訟は、公立学校が人種、性別、性的指向に関する「トランスジェンダー思想」や「多様性研修」を教えることを禁じる州法に異議を唱えるものだった。

7月20日、ウィンゲート判事は州による禁止令の一部執行を差し止める仮差し止め命令を発令した。2日後、ミシシッピ州弁護士は、説明を求める申し立ての中で、ウィンゲート判事の命令には多くの誤りがあると述べた。

ミシシッピ州弁護士の回答によると、命令には複数の原告と被告の名前が記載されており、その中には大学の女子学生クラブ、ミシシッピ州在住の保護者、学生、政府関係者などが含まれていたが、彼らは訴訟の当事者ではなかった。弁護士によると、命令には原告の訴状には記載されていない主張が記載されており、法案が差し止められたと虚偽の引用がなされていた。また、命令には存在しない差し止め命令を支持する個人の宣言も引用されていた。

ウィンゲート判事の事務所は同日夜、修正された差し止め命令を発令し、当事者に対し以前の命令を無視するよう通告した。訴訟は現在も係争中であり、ウィンゲート判事は8月に法案に対する仮差し止め命令を発令したが、ミシシッピ州弁護士は控訴していた。

2021年にジョー・バイデン大統領によって任命されたニールズ氏は、製薬会社CorMedixが医薬品について投資家を欺いたとして提起された連邦証券集団訴訟において、誤りを含む意見書を提出した。

6月30日、ニールズ氏はCorMedix側の訴訟棄却申し立てを却下した。約1か月後、CorMedix側の弁護士は、ニールズ氏の意見書には捏造された判例や、判決の根拠として引用された実際の判例からの存在しない引用が含まれていると書簡 に記している。ニールズ氏の意見書は、判例の結論や控訴棄却申し立てが認められたかどうかについて誤った記述をしている。また、CorMedixによる引用文が虚偽であるとも述べている。

ニールズ氏の意見は、別の集団訴訟の「補足証拠」としても提出されており、被告側もニールズ氏の提出書類に問題があったと書簡には記されている。

ニールズ氏は、この意見は誤って提出されたと主張し、裁判所の記録から削除した。この訴訟は現在も係争中である。

両判事の命令における誤りは、AIの幻覚によって引き起こされたものと似ていました。生成型AIは、文章の内容を分析して単語の連続性を予測することで文章を生成しますが、自信満々に事実や偽の引用を捏造します。そして、観察者たちはすぐに推測[し、これらの誤りはAIの使用に起因すると推測しました。

当初、弁護士や訴訟当事者からの質問に対し、どちらの判事もこれらの誤りがAIに関連するものであることを認めませんでした。グラスリー上院議員は月曜日の演説で、その「透明性の欠如は…息を呑むほどだ」と述べました。

上院司法委員会は10月初旬、ニールズ判事とウィンゲート判事に書簡を送り、これらのミスについて問い合わせたと発表しました。両判事は回答の中で、これらのミスはAIに起因するものだが、提出書類は審査前に誤って公開された草稿だったと述べています。

ウィンゲート判事によると、ウィンゲート判事の事務所の事務員は、裁判所の訴訟記録に関する公開情報を統合するための「基礎的な起草アシスタント」として、Perplexity AIツールを使用していたとのことです。ニールズ判事のロースクールのインターン生は、法的調査を行うためにChatGPTを使用していたとニールズ判事は述べています。

（ワシントン・ポスト紙は、PerplexityおよびChatGPTの開発元であるOpenAIと提携しています。）

「私は非常に忙しい訴訟記録を管理しており、公正かつ透明性のある方法で司法を執行することで、国民の信頼を維持するよう努めています」とウィンゲート判事は述べています。「私自身とスタッフに最高の行動基準を課しているので、今回のようなミスが将来起こるとは考えていません。」

「CorMedix事件での私の経験は非常に残念で予測不可能なものだったが、少なくともそれが[裁判所行政局]タスクフォースの継続的な作業に役立ち、最終的にはすべての連邦裁判所にとって意味のある新しい政策につながることを期待している」とニールズ氏は記した。

人工知能システム (AI) が高校生のドリトスの袋を銃器と誤認し、地元警察に通報して生徒が武装していると伝えたようです。

タキ・アレンさんは月曜日の夜、ボルチモア のケンウッド高校の外で友人らと座って軽食を食べていたところ、銃を持った警察官に近寄られました。

「最初はどこへ向かっているのか分からなかった。銃を持ってこちらに向かって歩き出し、『地面に伏せろ』と叫んだので、『何だって？』と思った」とアレン氏はWBAL-TV 11 Newsに語った。

アレン氏は、ひざまずかされ、手錠をかけられ、身体検査を受けたが、何も見つからなかったと証言した。その後、警報を鳴らした写真のコピーを見せられたという。

「ドリトスの袋を持っていただけで、両手と指が1本出ていました。銃のように見えたと言われました」とアレン氏は語った。

ボルチモア郡の高校では昨年、校内カメラとAIを活用した銃検知システムの導入を開始した。これは、武器になりそうなものを検知するものだ。システムが不審物と判断すると、学校と法執行機関に警告を送信する。

WBAL TV 11 Newsが入手した学校関係者への手紙の中で、学校は次のように述べている。「捜索を受けた方だけでなく、事件を目撃した他の生徒にとって、今回の出来事がどれほど辛いものであったか、私たちは理解しています。私たちのカウンセラーは、この事件に関わった生徒に直接サポートを提供するとともに、サポートが必要な生徒にも相談に応じます。」

ボルチモア郡警察は報道機関に、「第11エセックス分署に配属された警官は、武器を持った不審者に関する通報を受け、ケンウッド高校に出動しました。現場に到着後、不審者を捜索しましたが、武器は所持していませんでした。」と報道しました。

アレンさんの祖父であるラモント・デイビスさんは、テレビ局に対し、「自分の子供にこんなことが起きてほしくない人は誰もいません。誰もこんなことが起きてほしくないのです。」と語りました。

この記事は2025年10月24日に修正されました。以前の記事ではボルチモア市警察の車両の写真が掲載されていましたが、ボルチモア市はボルチモア郡には含まれていません。