ジャーナル

チャットボットが顧客に誤った回答をしました。どう直せばよいですか

自社の文書だけを根拠に出典付きで答え、担当者が下書きを承認し、例外的な案件は人に回す。それが、きちんと設計されたAIカスタマーサービスです。

nour k.growth marketing1 分で読了

きちんと直すには、AIに許す範囲を変えることです。AIは、自社が承認した文書だけを根拠に答え、各回答がどの文書に基づくかを示し、送信前に担当者が承認する返信を下書きし、返金、苦情、例外的な案件は人に回すべきです。誤った回答の多くは、モデルではなく、整理されていないナレッジと欠けたルールから生まれます。

要点

  • ドキュメントが散らばっている、古い、あるいは互いに矛盾していると、チャットボットは誤った回答をします。
  • 危険な誤答とは、返金、例外対応、約束など、会社が実際には定めていない方針をでっち上げることです。
  • 自社の文書から根拠を探し、すべての回答に出典を付ければ、誤りが見えるようになり、直せるようになります。
  • 下書きと承認の形をとれば、信頼が積み上がるまでの間、AIと顧客の間に人が立ち続けます。
  • チャットボットの発言には会社が責任を負います。だからこそ、ルールは自社のものでなければなりません。

なぜチャットボットは顧客に誤った回答をしたのですか

通常、理由は三つあります。一つ目は、ナレッジが整理されていなかったことです。回答が古いPDF、共有ドライブ、ベテラン担当者の頭の中に散らばり、互いに矛盾するものもありました。二つ目は、例外的な案件が文書化されておらず、ボットが推測したことです。三つ目は、根拠がまったくないときでも、自信ありげに答えることを止める仕組みがなかったことです。

でっち上げた方針は、現実の結果を招きます。Skift(2024年2月)によると、カナダの審判所は、チャットボットが誤って説明した忌引き運賃の返金に応じるようAir Canadaに命じ、チャットボットは自らの発言に自ら責任を負うという主張を退けました。サポート責任者にとっての教訓は明確です。ボットが言ったことは、会社が言ったことになります。

#きちんと設計されたAIカスタマーサービスとは、どのようなものですか

  • 整理された一つのナレッジソース:チームが責任を持てる回答の集まりで、最新の状態に保つ担当者がいます。
  • 出典付きの検索:AIが御社の文書から該当する箇所を探し、すべての回答にその出どころを示します。
  • 根拠がなければ答えない:御社の文書に該当する内容がなければ、その案件は人に回します。
  • 下書きと承認:AIが下書きし、担当者が下書きと出典を確認してから送信します。
  • 越えてはいけない線:返金、補償、方針の例外は、決してAIに判断させません。

Stennirはこれを、ZendeskやHubSpotなど、チームがすでに使っているヘルプデスクの中に組み込むため、担当者がツールを切り替える必要はありません。すべての下書き、編集、承認が記録されるため、ナレッジが手薄な箇所や、直すべき回答が分かります。

#新たな誤答を生まずに、AIでコールセンターの処理時間を減らせますか

はい。顧客の前で担当者に取って代わるのではなく、担当者を助ける形であれば可能です。時間がかかっているのは、正しい回答を探すこと、履歴を読むこと、返信を書くことです。案件を要約し、出典となる箇所を引き出し、返信を下書きするAIがあれば、担当者は探し回る代わりに確認に時間を使えます。

Stennirはそれぞれについて記事を書いています。振り分けとタグ付けを行うチケットのトリアージ、担当者が編集して送信する返信の下書き、担当者が探し回らずに済むサポートのナレッジベースです。

We are

Stennirは、自社の文書を根拠に出典付きで答え、担当者が返信を承認し、既存のヘルプデスクの中で動くAIサポートの業務フローを構築します。

We aren't

Stennirは、新たなチャットボットベンダーではなく、返金や方針を判断する権限を持たせたAIを顧客の前に置くこともしません。

#チャットボットベンダー以外に、アラビア語のAIカスタマーサポートにはどんな選択肢がありますか

大きく三つあります。パッケージ型のチャットボットはすぐに使い始められますが、与えられたものを何でも根拠に答え、制御が難しいものです。エージェントアシストは、顧客の前には人を立たせ、検索、要約、下書きにAIを使います。厳格な引き継ぎルールを持つ顧客対応型のエージェントは、範囲が狭く繰り返される質問に向いています。名前を付け替えただけの製品には注意してください。Gartner(2025年6月)は、数千あるエージェント型AIベンダーのうち、本物は約130社にとどまると推計しています。

アラビア語の場合は、決める前に、湾岸方言やアラビア語と英語が混在したものを含む御社の過去のチケットで、各選択肢をテストしてください。

サポート責任者は、次に何をすればよいですか

以前のチャットボットが誤答したチケットを20件集め、それぞれの回答が本来使うべきだった元の文書を探してください。元の文書がない、あるいは矛盾しているなら、それが最初に直すべき点です。そのうえで、StennirにAI導入についてご相談いただき、カスタマーサポート向けのAIもご覧ください。無料の準備度診断を受けるか、30分の通話を予約することができます。

よくある質問

まず、すべてのドキュメントを整理する必要がありますか。

いいえ。最も多いチケットの種類を支える文書から始め、その担当者を決め、矛盾は見つけた時点で直してください。すべての下書きに付く出典から、担当者がどの文書を最も頼りにしているかが分かるため、整理は終わりのない別プロジェクトにならず、実際の使われ方に沿って進みます。

アラビア語でも使えますか。

はい。AIは英語で書かれた文書を検索してアラビア語で答えることも、その逆もでき、どちらの場合も出典を示します。Stennirは、湾岸方言や両言語が混在したメッセージを含む御社の過去のチケットでテストし、結果が十分になるまで、すべての下書きを担当者が承認します。

当社には何が残りますか。

ヘルプデスク、ナレッジソース、すべての下書きと承認のログ、そして停止スイッチです。AIが答えてよいこと、答えてはいけないことのルールは、御社のチームが持ちます。Stennirは業務フローを構築し監視しますが、アカウントとデータは御社の名義です。

それでもAIが誤った場合はどうなりますか。

送信前に、担当者が下書きとその出典を確認するため、ほとんどの誤りはそこで止まります。修正はすべて記録され、直すべき文書や追加すべきルールが分かります。返金や方針の例外については、AIは決して判断せず、案件を人に回します。

最も時間がかかっている仕事を教えてください。

30分。事前準備は不要です。AIが役立つかどうか、どこから始めるべきかを率直にお伝えします。