Tebotで問い合わせ対応強化！AIチャットボットの回答精度を徹底検証

こんにちは、ジーピーオンライン（＠gpol_tw）のコアラです！

AIチャットボット「Tebot」導入から運用までの体験記、第2回目の今回はTebotの回答精度を徹底検証したいと思います。
前回の記事では、資料請求から打ち合わせ、無料トライアルを経て導入するまでの流れをご紹介しました。その中で、AIチャットボットは“キーワード検索ではない”ということはわかりましたが、ではどうやって該当の回答を表示させているのでしょうか。AIの仕組みや賢さも気になるところですよね。

本記事では、Tebotの回答精度を徹底的に検証していきたいと思います。
Tebotがどうやって回答をマッチングさせているのか、どのような質問には回答できないのかなど、回答精度を上げる登録方法のコツとあわせてご紹介します。
また2023年10月に、回答精度を微調整できる新機能がリリースされました。新機能も一緒に検証してみましたので、ぜひ参考になさってください。

チャットボットTebot（ティボット）とは

Tebotは認識系AIを利用したチャットボットです。業界最安値の料金で利用でき、標準的な機能はすべて搭載されています。導入や運用をサポートする体制・機能が支持されています。

Tebot（ティボット）サービス概要
Tebotは初期費用0円、月額45,000円（年間契約の場合）の料金で利用できる高性能AI搭載型のチャットボット接客ツールです。業界最安水準の料金設定ながらも、高性能AI、シナリオ登録、Q＆A対話登録、フォーム挿入、画像添付など必要な機能を標準搭載。複数Botの作成も可能で、シナリオ登録の分岐数・Q&A登録数も無制限とコストパフォーマンスに優れているのが特徴です。

　

AI（人工知能）はどうやって認識しているのか

TebotのAIがどのような仕組みで回答を表示しているのか、以下の点からご説明します。

• 事前学習済みモデルを搭載
• 文章の認識方法

事前学習済みモデルを搭載

Tebotは独自のAIモデルを使用しています。大量のテキストデータを事前学習したモデルなので、利用にあたり類似語の登録をする必要がありません。例えば「費用」「料金」「お金」などは同じ意味だと事前に学習しているので、利用者がどの言葉で質問しても同じ回答を表示することが可能です。最初から賢いAIってことですね。

反対に、特定の業界用語や企業独自の単語は、登録しておかないと反応することができません。例えば、「株式会社ジーピーオンライン」を社内では「GP」と略しますが、AIはこの2つの単語が同じ意味だとは認識していないのです。このような場合は、類似質問として追加登録することで回答精度を向上させることが可能です。

また、ライセンス料が必要ないことも特徴のひとつです。サービスによっては、AIモデルはライセンス料が必要になることも多いですが、Tebotではそういった従量課金は一切なく利用することができます。

文章の認識方法

次に文章の認識方法についてです。AIは利用者が入力した質問文を「品詞分解」して「ベクトル化」、「スコアリング」をしています。よくわからない言葉が並びましたが簡単に言うと、文章の意味の近さで順位付けをしているということですね。

ベクトル化やスコアリングはAIがおこないますが、そこに人間が直接的に介入していくことはできません。ある意味ブラックボックスと化しているのです。AIがスコアリングしたものをどのように表示していくかという調整をおこなうのが管理画面の役割です。

ちなみにここで言う「意味の近さ」は二次元ではなく、数百以上の多次元でのマッピングによるものらしいです。よくわからないけど何かすごい！

Tebot（ティボット）の回答精度を検証してみた

AIの認識方法がなんとなくわかったところで、さっそくTebotの回答精度を検証していきたいと思います。以下のように、質問文の長短別に検証しました。

• 短文での検証
• 長文での検証

短文での検証

まずはできるだけシンプルな文章で質問文を登録していきます。句読点や疑問符は使わず、敬語もできるだけ省きます。

登録が完了したら、右下のチャットを展開して検証してみます。
「実績の事例が見たい」と入力してみるといくつかサジェスト候補が表示されましたが、その内容と順位は以下の通りとなりました。

• 制作実績が知りたい
• 採用サイトの制作事例が知りたい
• 会社案内がほしい
• 事例紹介について

「制作実績」「事例紹介」など、聞きたかった内容が上位に表示されています。

それでは次は、とても丁寧な言葉で質問してみます。
「今までどのようなサイトを作ってこられましたか？参考にしたいので、いくつか教えていただけますと幸いです。」と入力しました。
サジェスト候補は以下の通りとなりました。

• コーポレートサイトって何？作るときに何を考えるの
• Webサイト制作に必要な情報は何ですか
• コーポレートサイトを作るときに気をつけることは何

制作実績が知りたかったのに、的外れなサジェストばかりとなりました。

両者を比べると、簡潔な文章で質問したときは比較的文章量の少ないQ（登録している質問文）がマッチし、長文で質問したときは文章量の多いQがマッチしているようです。またどちらの場合も、サジェスト候補は9～10個表示されていました。

長文での検証

次に、登録する質問文を長文に変更していきます。句読点・疑問符を使い、丁寧な敬語を使った文章に変更してみました。

最初と同様に、「実績の事例が見たい」と入力してみます。
サジェスト候補は以下の通りとなりました。

• 制作実績について教えていただけますでしょうか？
• 事例紹介について教えてください。
• コーポレートサイトの制作実績はありますか？
• 採用サイト制作の制作事例を教えていただけますでしょうか？

こちらも制作実績や事例紹介など、表示してほしいサジェストがしっかり出ています。

それでは丁寧な言葉で再度質問してみましょう。
サジェスト候補は以下の通りです。

• コーポレートサイト制作において、どのような目的がありますか？
• コーポレートサイト制作において、どのような点に注意する必要がありますか？
• コーポレートサイト制作について教えてください。

こちらもやはり的外れな回答ばかり、という結果になりました。

検証のまとめ

今回の検証では、管理画面に登録している質問文章の短文長文に関係なく、利用者がシンプルな言葉で質問したときの方が回答精度は高まるという結果になりました。ということは、なるべくシンプルな言葉で質問してね！と利用者に促すことが回答精度向上には効果的と言えそうです。

「初回表示メッセージ」や「シナリオの初回メッセージ」は自由に編集できるので、利用者に伝えたいことがある場合は活用していきたいですね。

また、今回検証したすべてのケースにおいて、サジェスト候補は9～10個表示されていました。利用者の方がサジェストを見て「そうそう、こんなことも聞きたかった！」となる場合もあるかと思うので、たくさん表示されること自体は良いことだと思います。ただチャットボットの小さな画面の中でひとつずつサジェストの文章を見ることになるので、冗長な文章だと読みにくく感じました。登録する質問文も短文の方が、ユーザビリティは高まりそうです。

サジェスト候補を微調整できる驚きの新機能

2023年10月に、Tebotの新機能がリリースされました。なんとサジェスト機能を細かく設定できるとのこと。送られてきたリリースメールを読んですぐにサポート担当の方に連絡し、詳しく教えていただきました。
新機能のポイントは以下2点です。

• AIのスコアリングが確認できる「Q＆Aスコア表示」
• 条件や件数で制御できる「サジェスト機能」

AIのスコアリングが確認できる「Q＆Aスコア表示」

冒頭で、AIがおこなう「ベクトル化」や「スコアリング」は、人間が介入できずブラックボックス化するとお伝えしました。Tebotの新機能「Q＆Aスコア表示」は、この「スコアリング」の部分を管理画面上で確認できるようになったというものです。

デフォルトでは、スコアが30％以上の質問を上限10件までサジェスト表示するという設定になっています。Q＆Aスコア表示でも、上記のルールに従ってスコアが確認できます。
あくまで確認できるだけで、スコアを変更したりはできない、という点に注意が必要です。AIチャットボットでは、AIが導き出したスコアは絶対なのです。

入力エリアにスコアを確認したい質問文を入れ、「テスト送信」ボタンをクリックします。今回は先程と同様「実績の事例が見たい」と質問してみましょう。

入力した質問に対する登録質問文のスコアが表示されました！
実績に関する回答をちゃんと出せている候補は40％～60％程のスコアとなっていて、30％台の候補は少しずれた回答になっている、ということが確認できます。

条件や件数で制御できる「サジェスト機能」

上記スコアをもとに、表示するサジェスト候補を条件や件数で制御できるのが「サジェスト機能」です。簡単に機能内容をご紹介します。

1. サジェスト表示のON/OFF設定
2. サジェスト表示件数の設定（最大表示件数：10件）
3. 条件で設定
   － スコアの下限で設定
   － トップスコアとの差で設定
   － スコアの合計値で設定

1と2はわかりやすいですが、3の条件が難しい…！
スコアの下限で設定（35％）、トップスコアとの差で設定（20％）、スコアの合計値で設定（200％）とした場合、先程の「実績の事例が見たい」という質問文で例えると、それぞれ以下の赤線位置で区切られます。

どの条件を何％で設定するのか、さまざまなパターンが考えられます。いろいろなケースをテストしてみて、自社に一番合っている条件設定を探してみてください。初見ではなかなか理解しにくい部分もあるので、利用を検討される場合はTebotサポートへのご連絡をおすすめします。

AIで問い合わせ対応業務は強化されるのか？検証まとめ

Tebotの回答精度を検証してみた本記事。AIの回答精度を高めるためには、利用者の質問の仕方にもコツがいるということがわかりました。「こんな風に質問してみてね！」と促すだけで利用者の満足度を向上できるなら、とっても簡単ですよね。

問い合わせ対応業務の強化には、定型的な質問や一次対応など、今まで人が対応していた領域をチャットボットに置き換えていくことが大切です。以下のポイントを押さえて、利用者にストレス無くチャットボットを利用してもらうことが業務効率化につながりそうですね。

• 初回表示メッセージ」や「シナリオの初回メッセージ」を活用して質問文の例文を伝える
• なるべくシンプルな質問文で登録する

Tebotでは、AIが活躍するフリーワード型以外にも、シナリオ型と呼ばれる機能が使えます。本当によくある質問には、利用者がフリーワードで入力するまでもなく、選択肢を押していくだけで回答に導くことができるシナリオ型がおすすめのようです。次回はTebotのシナリオ作成について、使い方やコツをご紹介していきます！