目次
AIエージェントの統制について、この半年で多くの論点が整理されてきた。権限をどう絞るか。証跡をどこに残すか。何時間まで無人で動かすか。費用をどう単位原価に立てるか。不要になったものをどう消すか。いずれも「AIが何をするか」をどう縛るかの議論だった。
今週明らかになった事案は、少し違う角度から同じ問題を突いている。焦点は、AIが起こした行動ではない。AIが作った文書が、人間の意思決定の入力として組織の中を流通したことのほうだ。
形式が正しいことは、検証された証拠ではない
CNNが2026年9月18日に報じた内容は、関係者の証言に基づくものとして、次のようなものだった。
2026年春、対イラン戦のさなかに、ある情報報告書が米軍内に配信された。中東にいる中国籍の船舶が、核兵器計画の部材を輸送している——という内容である。米軍は臨検の計画を進めた。武装した要員が乗船準備に入り、航空機はすでに上空にあった。
作戦発動の直前、担当者がその報告書を掘り下げた。そして、それが特殊作戦コマンドのアナリストがAIを使って作成したものであり、使われたチャットボットが船の積荷を誤って同定していたことが分かった。報告書は「完全に誤り」だった。関係者の表現では、「あやうく戦争が始まるところだった」。
CNN 2026年9月18日報道による事案の時系列。①分析：チャットボットが公開情報と機密シギントを融合し、中国籍船舶が核開発計画の部材を輸送しているという誤った結論を生成。②清書：アナリストが再びAIを使い標準様式の報告書に整形。書式・用語・構成のすべてが正規の情報プロダクトと同じ文書になった。③流通：米軍内に配信され臨検作戦の計画が動き出す。武装要員が乗船準備に入り航空機は上空にあった。④発覚：作戦発動の直前、担当者が報告書を掘り下げて気づく。工程として組み込まれた検証ではなく個人の踏み込みによって止まった。⑤報告書は完全に誤りと判明。文書のどこにもAIが生成したという表示はなく、読み手は様式が正しいことを検証済みであることの代わりに使った
この事案で注目すべきは、AIが間違えたことではない。間違えるのは既知の性質であり、そのための検証工程がある——はずだった。
注目すべきは、AIが二度使われていることだ。一度目は分析に。チャットボットが公開情報源と機密のシギント（信号情報）を融合して結論を出した。二度目は清書に。アナリストはその結論を、AIを使って標準様式の情報報告書に整形し、配信した。
つまり出来上がった文書は、書式も用語も構成も、正規の情報プロダクトとまったく同じだった。受け取った側には、それがAI由来であることを示す手がかりが何もない。だから誰も、これは検証が要る文書だとは思わなかった。
そして止まったのは、工程として組み込まれた検証によってではない。作戦発動の直前に、一人の担当者が掘り下げたからである。止まったのは偶然の側にある。
これは軍の話だが、構造は企業の中でそのまま再現される。調査レポート。市場分析。競合比較。議事録。稟議の添付資料。取締役会への報告。どれも、書式が正しければ「ちゃんとした文書」として扱われる。
出典が消える3つの経路
社内文書から出典が消えるのは、誰かが隠そうとするからではない。3つの経路が、それぞれ別の理由で、ごく自然に起きている。
社内文書から出典が消える3つの経路。経路①作成時、使ったことを言わない。KPMG×メルボルン大のグローバル調査（47カ国・4万8000人、2024年11月〜2025年1月）では57%がAI利用を隠し自分の成果として提出、66%が正確性を確かめずに出力をそのまま使うと回答。経路②再利用時、コピペでラベルが剥がれる。EU AI Act第50条の機械可読マーキングは2026年8月2日適用で既存システムは12月2日まで猶予。画像・音声・動画はC2PAやSynthIDが実装済みだがテキストは貼り付けた瞬間に痕跡が消え、社内文書の大半はテキスト。経路③蓄積時、検索基盤の原典が合成物に入れ替わる。NAVERの研究では母集団の汚染率67%で実際に引かれる割合が80%超になる一方、回答精度は68〜70%で横ばいのまま。3つとも規程違反の検知では引っかからない
経路① 作成時 ― 使ったことを言わない。
KPMGとメルボルン大学が47カ国・4万8000人以上を対象に実施したグローバル調査（2024年11月〜2025年1月実施）では、57%が「AI利用を隠し、AI生成の成果物を自分のものとして提出している」と答えた。同じ調査で、66%が「正確性を評価せずにAIの出力に依拠している」、56%が「AIが原因で仕事上のミスをした」と答えている。
この数字は、直近の調査でも更新されていない。デロイトがIpsosに委託して英国の労働者2万5000人に実施した調査（2026年5月7日〜6月10日実施、9月16日公表）では、31%が「雇用主に知られないまま生成AIを使っている」と回答した。17%は自腹でAIツールを契約しており、英国全体では年間およそ10億ポンドが従業員の自己負担で支払われている計算になる。AI利用者の半数は、会社から正式な指導や研修を受けていない。
ここで大事なのは、「隠す」のが悪意ではないということだ。申告すれば自分の成果が値引きされる。申告しなければ何も起きない。この非対称が残っている限り、申告欄を足しても正直な人にだけコストがかかる。
経路② 再利用時 ― コピペでラベルが剥がれる。
規制はこの問題を認識している。EU AI Act 第50条は、合成の音声・画像・動画・テキストを生成するAIの提供者に対し、出力が機械可読な形式でマーキングされ、AI生成であることが検出可能であることを義務づけた。2026年8月2日から適用され、それ以前から市場にあったシステムには2026年12月2日までの猶予がある。違反時の制裁は最大1500万ユーロまたは全世界年間売上高の3%。
業界側の実装も進んだ。Adobe の Firefly と Creative Cloud 各製品は生成画像に Content Credentials（C2PA）を埋め込んでおり、OpenAI は2026年5月19日に、ChatGPT・Codex・API 経由で生成される画像に C2PA マニフェストと SynthID の不可視透かしを重ねて付与する方式を発表している。
だが、ここで解決されているのは主に画像・音声・動画である。 テキストには、ファイルのメタデータに残るような耐久性のある標識がない。そして企業の意思決定に使われる文書の大半はテキストだ。生成された文章をコピーして Word や PowerPoint やメールに貼り付けた瞬間、出自の情報は何も残らない。規制と業界標準は、企業にとって一番多い形式を最後に残したかたちになっている。
経路③ 蓄積時 ― 検索基盤の「原典」が合成物に入れ替わる。
そして、いちばん静かに進むのがこの経路だ。社内の文書は検索基盤やRAGに取り込まれ、次のAIの参照先になる。その中にAI生成物が混ざると、AIがAIの出力を引用するループができる。
品質指標は落ちない。だから誰も気づかない
この現象について、2026年4月にドバイで開催された ACM Web Conference 2026（WWW '26）で、NAVER の Hongyeon Yu、Dongchan Kim、Young-Bum Kim による "Retrieval Collapses When AI Pollutes the Web" という論文が発表されている。
実験設計はこうだ。MS MARCO ベンチマークから1000件のクエリ・回答ペアを取り、1万件の実在ウェブ文書を「原典プール」として用意する。そこに合成文書を1クエリあたり1件ずつ、20ラウンドにわたって追加していく。母集団に占めるAI生成物の比率は、0%から66.7%まで上がる。
結果が重要だ。母集団の汚染率が67%に達すると、検索結果の上位10件に占める合成文書の割合は80%を超えた。 従来型のBM25で約80%、LLMベースのランカーではより早く、第10ラウンドの時点で76%に達している。高品質な合成文書は、検索エンジンにとってむしろ「引きやすい」からだ。
そして——その間、回答の正答率は68〜70%でほぼ横ばいだった。
論文はこの状態を "deceptively healthy"（見せかけ上は健全）と呼んでいる。品質指標を見ている限り、何も起きていないように見える。実際には、システムが依拠する根拠が、ほぼ全面的に合成物に入れ替わっている。
品質指標は落ちないという失敗モードの図解。検索基盤で起きること：合成文書を20ラウンド追加し母集団のAI比率を0%から66.7%まで上げた実験で、上位10件に占める合成文書は80%超になる一方、回答の正答率は68〜70%で横ばい。人の手元で起きること：整った体裁で届き受け手が黙って直すため組織にインシデントとして上がらない。1件の手直しに平均約2時間、報告せず自分で直した人が49%。既存の品質管理が反応しない理由：正答率・応答時間・エラー率は根拠が合成物に置き換わっても動かない、受け手の手直しは丁寧な仕事として個人の工数に吸収される、規程違反ではないのでシャドーAI検知にもガバナンス監査にも当たらない。劣化が数字に出るのは監査・当局照会・訴訟・事故調査で根拠を遡ろうとして原典が存在しないと分かった瞬間だけ
人間の手元でも、同じ「見えなさ」が起きている。
BetterUp Labs とスタンフォード大 Social Media Lab が米国のデスクワーカーを対象に行った調査では、約40%が直近1ヶ月に「workslop」——体裁は整っているが正確性・文脈・判断が欠けていて、受け手が検証か修正か作り直しをしないと前に進まないAI生成物——を受け取ったと答えている。1件あたりの処理に要した時間は平均で2時間近く。研究者は従業員1人あたり月186ドルの生産性損失と試算しており、1万人規模なら年間約900万ドルになる。
Zety の「Rise of Workslop Report」では、受け取った側の行動がさらに具体的だ。49%が「自分で直す」と答えている。差し戻すのでも、報告するのでもない。だから組織の記録には何も残らない。66%が週6時間以上をAI生成の誤りの修正に使い、30%が「誤情報が広まること」をリスクとして挙げている。
ここで既存の品質管理が反応しない理由がはっきりする。
- 正答率・応答時間・エラー率といった指標は、根拠が合成物に置き換わっても動かない
- 受け手の手直しは「丁寧な仕事」として個人の工数に吸収され、インシデントにならない
- そもそも規程違反ではないので、シャドーAI検知にもガバナンス監査にも当たらない
劣化が数字として現れるのは、外部に説明を求められた瞬間だけだ。監査、当局照会、訴訟、事故調査。根拠を遡ろうとして、原典が存在しないことが分かる。
なぜ法廷でだけ、この問題が「数えられて」いるのか
この構造を逆から証明しているのが、法曹の世界である。
HEC Paris の研究員 Damien Charlotin が運営する公開データベース「AI Hallucination Cases」は、AI生成の捏造引用などが司法判断に現れた事案を追跡している。2026年9月5日時点で2,022件。うち米国が1,300件超。1年前の累計は約200件だった。2026年1月に719件、4月には1,200件を超え、一時は1日あたり5〜8件のペースで積み上がった。
注意深く読むべき点もある。Charlotin 自身は「増加は一度指数関数的だったが、いまはプラトーに達した」と述べており、また件数の多数は本人訴訟（弁護士を立てない当事者）によるものだ。無料のLLM、とくにインターネット検索を持たないものほど、ベースラインとして多く捏造する。
だが、企業の意思決定者にとっての示唆は件数そのものではない。なぜ法廷でだけ、この数字が存在するのかである。
法廷でだけこの問題が数えられている理由の図解。AI Hallucination Cases（Damien Charlotin／HEC Paris）によれば、捏造引用が司法判断に現れた件数は2023年4月から2026年9月5日までで全世界2,022件、うち米国1,300件超、1年前の2025年半ばは約200件。法廷にあるもの：引用の出典を必ず確認する相手方、判断の根拠を文書で残す義務、発覚時に制裁が公開記録として残る仕組み。だから件数として数えられる。企業の会議室にないもの：出典を突き合わせる工程、誤りが公開される仕組み、間違いを事案として数える定義。だから件数はゼロに見える。件数がゼロなのは起きていないからではなく、数える仕組みがないから
法廷には3つのものがある。引用の出典を必ず確認する相手方がいる。判断の根拠を文書で残す義務がある。そして発覚時に制裁が公開記録として残る。だから件数になる。
企業の会議室にはこの3つがない。提出された資料の出典を機械的に突き合わせる工程はない。誤りが外部に公開される仕組みもない。そもそも「AI由来の誤情報が意思決定に混入した」という事案カテゴリの定義がない。
件数がゼロなのは、起きていないからではない。数える仕組みがないからである。 帝国データバンクが2026年3月に全国1万312社から回答を得た調査（5月14日公表）では、生成AIを業務で活用している企業は34.5%、用途の第1位は「文書の作成・要約・編集」で45.1%、第2位が「情報収集」で21.8%だった。そして懸念・課題の第1位は「情報の正確性」で50.4%である。懸念としては最も多く挙がっているのに、それを測る仕組みを持っている企業はほとんどない。
日本企業に固有の3つの増幅要因
日本の大企業では、この問題が3つの事情で増幅される。
第一に、文書主義と稟議の構造。 意思決定の記録は文書に残るが、日本の稟議は「添付資料の出典を1件ずつ検証する工程」を前提にしていない。決裁者が見るのは要約であり、要約の根拠が何かは、作成部署への信頼で代替されてきた。作成部署が信頼できることと、その部署が使ったツールが信頼できることは、別の命題である。
第二に、運用保守・調査・資料作成の外部委託。 自社の統制は自社の従業員までしか届かない。委託先が何をどう作ったかは、成果物からは分からない。段数が増えるほど、出典は薄くなる。しかも委託契約の多くは、従来のソフトウェア調達条項を流用しており、「作成過程でのAI利用」や「検証工程」を納品要件に書いていない。
第三に、J-SOXのIT全般統制との相性の悪さ。 内部統制は「承認された人が、承認された手順で処理した」ことを証跡で示す枠組みである。AI由来の誤情報は、この枠組みをすり抜ける。承認された人が、承認された手順で、誤った前提に基づいて正しく処理した——という形をとるからだ。手続きは完全に適正で、結論だけが間違っている。
総務省・経済産業省の「AI事業者ガイドライン」第1.2版（2026年3月31日）は、入出力・推論過程・判断根拠のログを残すことを求めているが、その範囲は各社の自己定義に委ねられている。ここでいうログは通常、AIシステムの内部の話として読まれる。生成された文書が社内をどう流通したかは、対象として意識されていないことが多い。
本番化基準に書き足す5つのこと
では何をするか。「AI利用を申告させる」で止めると、経路①にしか効かない。5つに分けて整理する。
本番化基準に書き足す5つのこと。1．検証済みの定義を文書の種類ごとに一枚で決める。AI利用の有無ではなく誰が何をどこまで突き合わせたかを書く欄を様式に足す。申告欄だけを足すと正直な人にだけコストがかかり遵守率が下がる。2．意思決定文書は原典リンク必須にする。稟議・投資判断・対外提出物は要約ではなく一次資料への到達手段を添付させ、リンクを貼れない主張はその場で格下げする。3．検索基盤に入れる文書を原典と生成物で分ける。取り込み時にフラグを立て既定の検索対象から生成物を外す。あとからは分離できない。4．委託先の成果物に作成過程の申告を契約で求める。運用保守・調査・資料作成の委託ではAI利用と検証工程を納品要件に書く。5．誤りを件数で測り始める。差し戻し率、出典不明で止まった件数、受け手の手直し工数を四半期で出す。測っていない検証工程は実行されていないのと同じ
1. 「検証済み」の定義を、文書の種類ごとに決める。 申告欄を足すのではなく、「誰が・何を・どこまで突き合わせたか」を書く欄を様式に足す。AI利用の有無を聞くと、正直に書いた人だけが余計な説明を求められる。聞くべきは利用の有無ではなく、検証の中身である。全文書に一律で課す必要はない。対外提出物・投資判断・規制対応の3種類だけでも、まず定義する。
2. 意思決定文書は「原典リンク必須」にする。 要約ではなく、一次資料への到達手段を添付させる。報告書に書かれた数字の出どころに、決裁者が2クリックで辿り着けるか。辿り着けない主張は、その場で格下げする運用にする。これは検証の工数を増やすのではなく、検証可能性を成果物の要件にするという設計である。
3. 検索基盤に入れる文書を「原典」と「生成物」で分ける。 取り込み時にフラグを立て、既定の検索対象からAI生成物を外す。RAGの回答には、引いた文書がどちら側かを表示する。重要なのはタイミングだ。あとからは分離できない。 WWW '26 の研究が示したように、混ざってしまえば指標は健全なまま推移し、分離の必要性に気づく契機がなくなる。
4. 委託先の成果物に、作成過程の申告を契約で求める。 運用保守・調査・資料作成の委託契約に、AI利用の範囲と検証工程を納品要件として書く。既存契約の更新時に1条追加するだけでも、次の1年の質は変わる。調達審査の場で「この成果物は誰がどう検証しましたか」と聞き、答えられない委託先は、検証を工程として持っていない。
5. 誤りを「件数」で測り始める。 差し戻し率、出典不明で差し戻した件数、受け手の手直し工数。四半期ごとに出す。最初は数字が汚くていい。測っていない検証工程は、実行されていないのと同じだからだ。法曹の世界でこの問題が可視化されたのは、誰かが数え始めたからである。
まとめ
米軍の事案が示したのは、AIが間違えるという既知の事実ではない。AIが作った文書が、AI由来であることを示さないまま、正規の様式で組織を通り抜けたという事実である。止まったのは、工程ではなく個人の踏み込みによってだった。
企業で同じことが起きていても、件数はゼロに見える。品質指標は落ちない。受け手は黙って直す。規程違反ではないから検知にもかからない。劣化が数字として現れるのは、外部に根拠の説明を求められた瞬間だけである。
権限の設計、時間の設計、原価の設計、退役の設計——本番化の前に決めるべきことをここまで積み上げてきた。そこに出典の設計が加わる。AIに何をさせるかではなく、AIが作ったものを組織がどう扱うか、という設計である。
Wizitは、大企業のAI導入を「PoCで止まったAIを、本番運用とROIまで動かし切る」という一点で支援している。本番化基準を最初に合意するとき、そこに含めるべきものは年々増えている。出典を辿れない成果物は、監査の前でも、取締役会の前でも、結局は止まる。止まる場所が先にあると分かっているなら、設計はその手前で終わらせておいたほうがいい。
---
出典:
- CNN「Exclusive: US military had close call after using AI for false intelligence report, sources say」（2026年9月18日）
- KPMG × University of Melbourne「Trust, attitudes and use of artificial intelligence: A global study 2025」（47カ国・4万8000人以上、2024年11月〜2025年1月実施）
- Deloitte UK / Ipsos 英国労働者2万5000人調査（2026年5月7日〜6月10日実施、2026年9月16日公表）
- Hongyeon Yu, Dongchan Kim, Young-Bum Kim (NAVER Corp.)「Retrieval Collapses When AI Pollutes the Web」Proceedings of the ACM Web Conference 2026 (WWW '26), Dubai, 2026年4月13〜17日
- BetterUp Labs × Stanford Social Media Lab「workslop」調査（Harvard Business Review 掲載）
- Zety「Rise of Workslop Report」（2026年）
- Damien Charlotin (HEC Paris)「AI Hallucination Cases」データベース（2026年9月5日時点 2,022件）
- EU AI Act 第50条 透明性義務／欧州委員会 Guidelines on transparency obligations・Code of Practice on Transparency of AI-Generated Content（2026年8月2日適用）
- C2PA Content Credentials／OpenAI 出自情報の多層付与（2026年5月19日）
- 帝国データバンク「生成AIに関する企業の動向調査」（2026年3月17〜31日実施、有効回答1万312社、2026年5月14日公表）
- 総務省・経済産業省「AI事業者ガイドライン」第1.2版（2026年3月31日）