目次
2026年8月1日、Anthropic と OpenAI が、社内テスト中にエージェントが外部システムへ許可されていないアクセスを行った事例を相次いで開示した。その3日前には、クラウド型エージェント基盤の監査で、25回の実行のうち30件の未承認アクションが検出されたという報告も出ている。翌8月2日には、EU AI Act の透明性義務の適用が始まる。
こうしたニュースは「AIはまだ危ない」という話として流れていく。だが大企業の意思決定者が受け取るべき論点は、そこではない。問題は、これらの挙動がどれも事前のテストを通過していたという点にある。
2026年6月に実施された調査で、最も重い数字が出た。社内の評価（eval）に合格したAIエージェント／LLM機能を本番投入したのに、顧客に影響する障害を起こした企業が50%。4社に1社はそれを複数回経験している。 そして同じ調査で、自動評価の結果を「完全に信頼している」と答えた企業はわずか5%だった。
信じていない物差しで合格を出し、その合格を根拠に本番へ出している。これが2026年後半のAIエージェント運用の実像である。
「社内テストは合格。それでも顧客の前で失敗した」が半数
社内評価に合格したのに顧客影響の障害を起こした企業が50%、うち4社に1社は複数回であることを示す図。VB Pulse調査2026年6月、従業員100名超の企業157社が対象。自動評価を完全に信頼している企業はわずか5%で、物差しを信じていないまま出荷している。それでも66%が人の確認なしの本番リリースを既に許容、または12ヶ月以内に構築中であり、信頼していない物差しの上で確認する人だけが先に外れていく。さらにAnaconda×Forresterの調査ではPoCの88%が本番に昇格せず、engineering leadの64%が出荷前にエージェントが正しいと判定する信頼できる方法がないと回答している。止まっているのはモデルの賢さではなく、正しさを証明する仕組みである
この調査は VentureBeat の Pulse Research シリーズとして2026年6月に実施され、従業員100名超の企業から157件の有効回答を得ている。回答者の45%はAI購買の最終決定権者、さらに30%が推奨・影響者であり、現場の肌感ではなく意思決定層の認識を反映した数字だ。
主要な結果は3つに整理できる。
① 半数が「合格したのに事故った」を経験している。 社内評価を通過したエージェントまたはLLM機能が、顧客に影響する障害を引き起こした企業が50%。そのうち4社に1社は一度ではない。再発しているということは、原因が個別のバグではなく、判定の仕組みそのものにあることを意味する。
② それでも自律度は上がり続けている。 回答企業の66%が、人間のレビューなしで本番へ出すことを既に一部許容しているか、12ヶ月以内にそうしたシステムを構築中だと答えた。評価の精度が上がったからではない。処理量とコストの都合で、確認する人が先に外れていく。
③ 本番に届かない理由の第1位も、評価である。 Anaconda と Forrester による2026年の調査「State of Agentic AI」では、エージェントのPoCの88%が本番に昇格していない（PoCから実業務に載るのは12%）。そして技術責任者が挙げた最大の障壁は、「出荷前にエージェントが"正しい"と判定できる信頼できる方法がない」— 64%。ガバナンス上の摩擦（57%）やモデルの信頼性（51%）を上回っている。
ここで重要なのは、「モデルが間違える」ことと「間違えるタイミングを事前に特定できない」ことは、経営的にまったく別の問題だという点だ。前者は精度改善の話であり、投資すれば徐々に減る。後者は保証の話であり、投資額とは無関係に、判定設計を変えない限り解消しない。そして本番化を止めているのは後者である。
問題はカバレッジではない ―「現実との整合」が崩れている
評価はやっているが測っている場所が本番ではないことを示す図。LangChain調査（回答1340件）では、observability監視の導入率が89%、オフラインevalテストが52.4%、オンラインeval本番が37.3%と、監視ばかりが先行している。オフライン52.4%とオンライン37.3%の差に本番でのサプライズが住んでいる。自動評価を信頼できない理由の上位は、実際の業務成果との整合が悪いが29%で最大の理由、評価のばらつき・バイアスが21%、なぜその点数なのか説明できないが18%、評価過程での情報漏えい・プライバシー懸念が17%。テストは増やせるが、点数が業務の結果を予測しない問題は増やしても解けない。問うべきは何件テストしたかではなく、その合格は業務の合格と同じかである
この状況を「評価が足りていない」と読むと、対策を間違える。テストケースを増やす予算を付け、カバレッジ率をKPIにし、それでも同じ事故が起きる。
調査が示しているのは、カバレッジの問題ではなく整合の問題だ。自動評価を信頼できない理由として最も多く挙がったのは、「実際の業務成果との整合が悪い」— 29% である。以下、評価のばらつき・バイアス21%、説明できない18%、評価過程での情報漏えい懸念17%と続く。1位の理由だけが性質を異にしている。 2位以下は評価の実装品質の問題で、ツールと運用で改善できる。だが1位は、評価の点数が、業務の結果を予測していないという設計の問題である。
どこでズレるのか。LangChain が1,340件の回答を集めた調査に、構造がそのまま出ている。observability（監視）の導入率は89%に達している一方、eval（評価）は52%。さらに内訳を見ると、テストセット上でのオフライン評価が52.4%に対し、本番環境でのオンライン評価は37.3%にとどまる。
つまり多くの企業は、「見えてはいるが、測れていない」。そして測っている場合も、測っている場所がテストセットの中であって、実際の業務が流れている本番ではない。オフラインとオンラインの15ポイントの差が、そのまま「本番でのサプライズが住んでいる領域」になる。
なぜテストセットでは捕まらないのか。理由は明快で、テストセットは、作った人が想像できた失敗しか含まないからだ。実業務のデータは、想像の外側で壊れる。前工程のシステムが返す値が微妙に変わる。担当者が略語で入力する。例外処理の申し送りが口頭で行われていて、どこにも文書がない。これらは「エージェントの精度」の問題として現れず、「業務として使い物にならない」という形でだけ現れる。
Meituan が公開したベンチマーク VitaBench 2.0（ICLR 2026）は、この断層を定量化している。実ユーザー56名、819タスク、66種類のツール、ユーザーあたり平均2,093回のインタラクションという長期的・現実的な条件下で、最新モデルでも全文脈を与えた場合で約50%、記憶条件を現実的にするとさらに低下した。同研究が指摘した失敗様式は示唆的だ——文脈を忘れる、古い前提に引きずられる、相手の現在の状態を読み違える、そして情報が欠けているときに、確認せず自信を持って実行する。
最後の一つが、本番運用では決定的に効く。判断材料が足りないとき、人間の担当者は聞き返す。エージェントは実行する。 そして単発のテストケースでは、この差は現れにくい。
大企業ほど深い ― 保証を薄くしたまま、自律度だけ上げている
大企業ほど自律度の天井だけが先に上がっていることを示す図。従業員2500名以上の企業では、人の確認なしの本番リリースへ進む割合が70%、顧客影響の障害を経験した割合が54%であるのに対し、2500名未満ではそれぞれ64%と48%であり、規模が大きいほど無人化が進み事故も多い。権限も同じ構図で、54%が実害または未遂のインシデントを経験（実害18%、未遂36%）し、69%が認証情報を複数エージェント間で共有している。またVitaBench 2.0（Meituan、ICLR 2026）では最新モデルでも全文脈ありで約50%、文脈が現実的になるとさらに低下し、判断材料が欠けたとき確認せず自信を持って実行するという失敗様式が示された。自律度は保証水準とセットで上げる必要があり、切り離した瞬間に事故は顧客側で起きる
規模別に見ると、格差はさらに明確になる。従業員2,500名以上の企業では、人間のレビューなしの本番投入へ向かう割合が70%（2,500名未満は64%）。そして顧客影響の障害を出した割合も54%（同48%）と高い。大企業のほうが速く自律化し、大企業のほうが多く事故を出している。
これは矛盾ではなく、同じ現象の表と裏だ。大企業は処理量が多いため人手確認のコストが重く、自律化の経済合理性が先に立つ。一方で、業務は複雑で、部門をまたぎ、例外が多い。保証水準を上げないまま自律度だけを上げれば、影響範囲が広い場所で先に破綻する。
権限管理も同じ構図を示す。同時期の調査では、54%の企業がエージェント起因のセキュリティインシデントを経験している（実害の確認18%、未遂を事前に検知36%）。にもかかわらず、69%が複数のエージェント間で認証情報を共有しており、エージェントごとに専用の権限を割り当てているのは約3分の1、最もリスクの高いエージェントを隔離しているのは10社に3社にとどまる。「何が起きたか説明できないまま、影響範囲だけが広い」状態である。
日本の大企業にとっての意味 ― 「受入テスト一発合格」の型が合わない
日本の大企業は、いまちょうど本番化の入り口にいる。国内の調査では、売上1000億円超企業の管理職以上のうち約半数がAIエージェントを本番運用していると回答した一方、最大の障壁として「AIエージェントを設計・評価できる人材が社内にいない」が45.9%で挙がっている。評価できる人がいない状態で、本番運用だけが先に始まっている。
ここで、日本企業が長年磨いてきた品質保証の型が、逆に効きにくくなる。要件を凍結し、受入テスト仕様書を作り、リリース前に一度合格させて検収する——この型は、挙動が決定的なシステムには最適だ。だが確率的に振る舞い、モデル更新で挙動が変わり、実データの分布変化で精度が落ちるシステムでは、「検収時点の合格」が「来月の合格」を保証しない。
そして日本特有の事情がもう一つある。受入テストの合格基準が、発注側ではなくベンダー側の資料の中にあることが多い。 何をもって合格とするかを外部に預けたまま運用に入ると、事故が起きたときに「基準が甘かったのか、運用が変わったのか、モデルが変わったのか」を切り分けられない。原因が特定できなければ、次の展開は止まる。これが、私たちが「横展開の壁」と呼んでいる現象の、最も静かな発生経路だ。
PwC が6カ国比較で行った2026年春の調査でも、期待を上回る成果を出している企業に共通する要素として「評価（Evaluation）の仕組み」が挙げられている。特徴的なのは、それが実装後の検証ではなく、企画段階から設計されているという点だ。評価を作業として後ろに置くか、設計として前に置くか。差はそこにある。
「評価を現実に合わせる」3つの打ち手
評価を現実に合わせる3つの打ち手を示す図。1つ目は合格基準を業務の結果で書くこと（品質の壁）。正答率ではなく、差し戻し率・手戻り工数・エスカレーション率・是正コストで定義し、業務オーナーが署名した基準だけを合格とし、失敗事例をそのままテストに落とす。2つ目は本番でも測り続けること（品質の壁・横展開の壁）。オフライン52.4%に対しオンライン37.3%であり、リリース時の一発合格では現実に追いつけないため、実トラフィックの標本評価・回帰テスト・逸脱検知を運用に組み込み基準を更新する。3つ目は自律度を上げる条件を先に文書化すること（ガバナンスの壁）。人の確認を外してよい条件を、対象業務・可逆性・オンライン指標の実績で規定し、条件を割ったら自動で人の確認へ戻す。EU AI Actの透明性義務は2026年8月2日から適用。評価は品質保証の作業ではなく、自律度をどこまで上げられるかを決める経営資産である
私たちはAIの本番化を阻む構造を「4つの壁」（品質／ガバナンス／横展開／人材）として整理している。評価と現実のズレが突き当たるのは、主に品質の壁、そして自律度の判断に関わるガバナンスの壁だ。打ち手を3つに絞る。
① 合格基準を「業務の結果」で書く（品質の壁）。 最も効くのがここだ。評価指標を、正答率や類似度スコアといったモデル側の言葉から、業務側の言葉に翻訳する。具体的には、差し戻し率、手戻りに要した工数、人へのエスカレーション率、誤りが発生した場合の是正コスト——業務オーナーが見て意味がわかり、署名できる指標である。整合が悪いという29%の回答は、裏返せば「モデルの言葉で合格を定義している限り、業務の合格とはズレ続ける」ということだ。加えて、発生した失敗事例を、そのままテストケースとして評価セットに戻す運用を作る。想像で作ったテストは想像の外を捕まえないが、実際に起きた失敗は必ず現実の側にある。
② 本番でも測り続ける（品質の壁／横展開の壁）。 オフライン52.4%に対しオンライン37.3%という差は、そのまま打ち手になる。リリース時の一発合格を、継続的な計測に置き換える。 実トラフィックの標本を定期的に評価する、モデルやプロンプトを更新するたびに回帰テストを走らせる、指標の逸脱を検知したら通知する。ここで重要なのは、評価データと合格基準を自社側の資産として保持しておくことだ。ベンダーの評価基盤が廃止される事例は現に起きており（OpenAI は Evals を2026年11月30日に停止する）、基盤を変えても同じ物差しで前後を比較できる状態にしておかなければ、載せ替えのたびにゼロからの再検証になる。
③ 自律度を上げる条件を、先に文書化する（ガバナンスの壁）。 66%が人の確認なしのリリースへ向かっているという事実は、止められるものではない。止めるべきでもない。問題は、その移行が「コスト都合でなし崩しに」進んでいることだ。 だから先に条件を書く——どの業務であれば、どのオンライン指標が何ヶ月間どの水準を維持すれば、人の確認を外してよいか。そして条件を下回ったら自動的に人の確認へ戻す経路を、同じ文書に含める。可逆な操作と不可逆な操作（送信・支払・削除）を分け、後者には別の基準を置く。EU AI Act の透明性義務は2026年8月2日から適用が始まり、12月2日までに機械可読な表示が求められる。 自律度の設計を文書として持っていない企業は、この対応で必ず手戻りする。
まとめ ― 評価は品質保証の作業ではなく、自律度を決める経営資産である
数字を並べ直すと、話は単純だ。半数の企業が、社内評価に合格したエージェントで顧客影響の障害を出している。 自動評価を完全に信頼しているのは5%。それでも66%が人の確認なしのリリースへ向かい、PoCの88%は本番に届かず、その最大の理由は「正しいと判定できる方法がない」（64%）である。
ここから導かれる結論は一つだ。AIエージェントの本番化を律速しているのは、モデルの賢さではなく、正しさを証明する仕組みの側にある。 そして証明の仕組みは、テストケースを増やしても強くならない。合格の定義が業務の結果と結びついていなければ、何件テストしても点数は現実を予測しない。
だから、評価の位置づけを変える必要がある。評価は、リリース前に一度通す品質保証の作業ではない。「この業務を、どこまで人の確認なしで回してよいか」を決める経営判断の根拠であり、企業が持ち続けるべき資産である。 評価を持っている企業だけが、自律度を安全に上げられる。持っていない企業は、上げるか止めるかの二択しか取れず、たいていコスト都合で上げてしまう。事故はそこで起きる。
Wizitは、「PoCで止まったAIを、本番運用とROIまで動かし切る」工程を、エンドクライアントの現場で手を動かしてやり切る実装パートナーだ。最初に本番化基準を業務オーナーと合意し、業務水準まで出力を作り込むeval設計とcontext engineeringを行い、大企業のガバナンス要件を満たす本番アーキテクチャでリリースし、運用後も継続evalとROI可視化を回す。その全工程で、評価基準と評価データは顧客側の資産として残す設計にしている。 物差しが手元にあれば、モデルが変わっても、基盤が変わっても、前と同じ基準で比較できる。
社内テストに合格することと、業務として使えることは、同じではない。その差を測れる企業だけが、次の1件を本番に出せる。
---
出典:
- VentureBeat Pulse Research「The agent evaluation gap: Enterprise AI organizations have a reality-alignment problem, not a coverage problem」（2026年6月実施、従業員100名超の企業157社。社内評価に合格したAIエージェント／LLM機能が顧客影響の障害を起こした企業50%、うち4社に1社は複数回。自動評価を完全に信頼しているのは5%。66%が人のレビューなしの本番投入を一部許容中または12ヶ月以内に構築中。自動評価を信頼できない理由は「実際の業務成果との整合が悪い」29%、「ばらつき・バイアス」21%、「説明できない」18%、「情報漏えい・プライバシー」17%。従業員2,500名以上では無人リリースへ向かう割合70%（未満64%）、顧客影響の障害経験54%（同48%）。回答者の45%がAI購買の最終決定権者、30%が推奨・影響者）
- VentureBeat Pulse Research「The agent security gap: 54% of enterprises have already had an AI agent incident, and most still let agents share credentials」（2026年6月実施、従業員100名超 n=107。54%が確認済みインシデント18%または未遂の検知36%を経験、69%がエージェント間で認証情報を共有、エージェントごとに専用の権限を割り当てているのは約3分の1、最高リスクのエージェントを隔離しているのは約3割）
- Anaconda × Forrester「State of Agentic AI 2026」（エージェントPoCの88%が本番に昇格せず、PoCから実業務に載るのは12%。障壁は評価ギャップ64%（出荷前に"正しい"と判定する信頼できる方法がない）、ガバナンス摩擦57%、モデル信頼性51%）
- LangChain「State of Agent Engineering」（回答1,340件、2025年11月18日〜12月2日実施。57%がエージェントを本番運用、observability導入89%に対しeval導入52%、オフライン評価52.4%・オンライン評価37.3%、デプロイ最大の障壁は品質32%）
- Meituan「VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions」（ICLR 2026。実ユーザー56名、819タスク、2,000超の選好、66種類のツール、ユーザーあたり平均2,093インタラクション。最新モデルでも Full Context 条件で約50%（Avg@4）、現実的な記憶条件下ではさらに低下。失敗様式として文脈忘却、古い選好への過適合、現在状態の読み違え、情報欠落時に確認せず実行する傾向を指摘）
- AI Agent News 週次まとめ（2026年7月27日〜8月1日。8月1日：Anthropic と OpenAI がテスト中のエージェントによる外部システムへの未承認アクセスを開示、EU AI Act は8月2日から透明性義務の適用開始、12月2日までに機械可読な表示が必要。7月28日：クラウド型エージェント基盤の監査で25回の実行中30件の未承認アクションを検出）
- OpenAI「Deprecations」（Evals プラットフォームは2026年10月31日に読み取り専用、2026年11月30日に停止）
- パーソルキャリア「大手企業におけるAIエージェント活用実態調査」（2026年5月20〜22日実施、売上1000億円超の企業の管理職以上505名。本番運用48.3%、最大の障壁は「AIエージェントを設計・評価できる人材の不足」45.9%）
- PwC Japanグループ「生成AIに関する実態調査2026 春 6カ国比較」（期待を上回る効果を創出している企業に共通する要素として、価値・品質・リスクを実装に落とし込む「評価（Evaluation）の仕組み」を挙げ、企画段階から評価を設計し実装前後で評価・改善を回すことの必要性を指摘）