コールセンターの応対支援AIエージェントを本番化
オペレーターの横で、顧客の質問にリアルタイムで回答候補と根拠（社内規程・料金プラン）を提示するAIエージェント。PoCでは「それっぽく」動いたが、実際の問い合わせログでは料金条件の取り違えが頻発。3ヶ月の出力の作り込みで誤答を実用水準まで抑え、本番投入した。
この事例が越えた「PoC死の谷」
デモ（PoC）は動く
誰でもここまでは作れる
PoC死の谷
精度・ガバナンスで大半が止まる
本番で使える
Wizitがやり切る領域
🎯背景・課題
応対品質がオペレーターの習熟度に依存し、複雑な料金・解約条件の説明で誤案内・保留が多発。生成AIで支援する構想はあったが、過去ベンダーのPoCは「デモは動くが本番では使えない」と頓挫していた。
直面していた課題
- •料金・解約条件など、間違えると顧客トラブルに直結する領域での誤答リスク
- •社内規程・約款が複数システムに分散し、最新版の参照が困難
- •応対ログに個人情報を含むため、外部AIにそのまま投入できない
- •過去PoCが精度・セキュリティ要件をクリアできず本番化に至らなかった
💡Wizitのアプローチ
「動くデモ」ではなく「本番で誤らない」を最初のゴールに据え、誤答が許されない料金・解約ドメインから着手。評価データセットを実ログから構築し、出力品質を業務水準まで作り込んだ。
進め方の詳細
- ▸Phase1: 実応対ログ300件から評価セットを作成し、誤答パターンを分類。RAGの検索対象を最新の約款・料金表に限定し、回答に必ず根拠を併記する設計に
- ▸Phase1: プロンプト・検索・後処理を反復改善し、料金条件の誤答率を評価セット上で本番化基準まで低減
- ▸Phase2: 個人情報マスキングと監査ログを実装、情報システム・セキュリティ部門の本番審査を通過
- ▸Phase3: 本番後も誤答サンプルを毎週レビューし、回帰テストで品質を維持
主な技術・仕組み
- 🔧社内約款・料金表に限定したRAG（検索拡張生成）
- 🔧回答の根拠提示（出典ドキュメント・条文番号の併記）
- 🔧個人情報マスキング・監査ログ
- 🔧応対ログを用いた継続eval（回帰テスト）
🧩この事例の仕組み
通話中、オペレーターの横でAIが回答候補と根拠（条文・料金表）をリアルタイムに提示します。
🛠️ 誤らせないための作り込み（課題→打ち手）
🔬 PoC死をどう回避したか
PoCで「動く」ことは簡単だった。難しかったのは、料金プランの例外条件で平然と間違える出力を、実ログ評価で1件ずつ潰していく工程。ここに時間とコストの大半を投じ、現場が信頼して使える水準まで引き上げた。
🔒 ガバナンスをどう突破したか
個人情報を含む応対ログを扱うため、マスキング・アクセス制御・監査ログをセキュリティ部門と共同設計。本番投入の審査要件を満たし、リリース承認を取得した。
📈成果
Before
一定数発生
After
大幅に低減
Before
基準値
After
短縮
Before
基準値
After
短縮
定性的な変化
- ★ベテランの暗黙知が回答根拠として可視化され、応対品質のばらつきが縮小
- ★「AIは現場では使えない」という社内の不信感が、実運用で覆った
- ★誤答レビューの仕組みが定着し、品質を維持しながら適用範囲を拡大できる土台ができた
「AIは現場では使えない」と思っていました。実際の応対ログで誤りを一つずつ潰してくれて、初めて本番で任せられる品質になった。
🗓️ タイムライン
Phase1 出力の作り込み: 約3ヶ月 → Phase2 ガバナンス突破・本番実装: 約2ヶ月 → Phase3 継続eval（運用中）
🚀 その後の横展開
同じ仕組みを別商材のサポート窓口・チャット応対へ横展開中。
※ 守秘義務により、クライアント名および特定につながる固有情報は伏せています。
同じような課題、ありませんか？
止まっているPoCが本番化できるか、最短で見極めます。
相談する