AI 音声エージェントは 3 か月前に稼働しました。封じ込め率は55%です。 CSAT は 5 点満点中 3.6 点で推移しています。悪くはありませんが、素晴らしくはありません。すべての運用リーダーが次に抱く質問は、どうすれば改善できるかということです。答えは「より良いモデルを購入する」ということではありません。それは 体系的な A/B テストと反復的な最適化であり、これは 20 年間 Web コンバージョン率を上昇させてきたのと同じ分野です。
音声 AI で A/B テストする内容
音声 AI には、ほとんどのチームが認識しているよりもテスト可能な表面積があります。最も大きな影響を与える変数は次のとおりです。
挨拶文
最初の 5 秒で、発信者が人間と関わるか、要求するかを決定します。テストのバリエーション:
エスカレーション トリガーのしきい値
AI は理解の試行が 2 回失敗した後、または 3 回失敗した後にエスカレーションする必要がありますか?センチメントのしきい値は -0.3 または -0.5 に設定する必要がありますか?ここでの小さな変更は、封じ込め率と CSAT の両方に劇的な影響を与えます。
応答の表現
同じ情報を異なる方法で提供しても、満足度スコアは異なります。 「ご注文は木曜日に到着します」と「素晴らしいニュースです - ご注文は順調に進んでおり、木曜日までに到着します」 - 同じ事実ですが、感情に与える影響は異なります。
TTS音声選択
声の特徴 (スピード、ピッチ、温かさ) は信頼性に影響します。さまざまな音声プロファイルをテストし、完了率を測定します。
重要な指標
すべての指標が同じように作成されるわけではありません。次の 4 つに焦点を当てます。
| メトリック | 何を測定するのか | 対象範囲 |
|---|---|---|
| 封じ込め率 | 人間なしで解決された通話の割合 | 60-80% |
| CSAT | 電話後の顧客満足度 | 4.0+ / 5.0 |
| FCR (最初の通話解決) | % 1 回のインタラクションで解決 | 70-85% |
| AHT (平均処理時間) | 合計通話時間 | コンテキスト依存 |
メートルテンション
封じ込め率と CSAT は、多くの場合、逆方向に引っ張られます。積極的な封じ込め（エスカレートの拒否）は満足度を損ないます。過度のエスカレーションは封じ込めを破壊します。最適化の課題は、スイート スポットを見つけることです。
反復サイクルの構築
第 1 週: 最大の減少を特定する
AI が失敗した通話を 50 回聞きます。失敗を分類します: 誤解、間違った答え、顧客の不満、能力の不足。単一の最大のカテゴリを見つけます。
第 2 週: テストを設計して展開する
その障害カテゴリを対象とする 2 つのバリアントを作成します。トラフィックを分割 50/50. 統計的有意性を達成するには、バリアントごとに少なくとも 500 回の呼び出しを実行します。
第 3 週: 分析して決定する
バリアント間でメトリクスを比較します。勝者が明らかな場合は、それを宣伝します。結果が混在している場合は、セグメントを詳しく調べてください。最も優れたバリアントは、特定の目的や顧客プロファイルに対してより効果的に機能する可能性があります。
第 4 週: 繰り返し
次に大きな降車ポイントに移動します。一度限りの最適化ではなく、継続的な改善。
Pathors が迅速な実験を可能にする仕組み
Pathors は反復的な最適化のために構築されています。
最適化は製品です
平凡な音声 AI と優れた音声 AI の違いは、最初のビルドではなく、その後の反復速度です。毎週 A/B テストを実行しているチームでは、第 1 四半期内に封じ込め率が 15 ～ 25% 向上したことがわかります。
小さく始めて、厳密に測定し、迅速に繰り返します。 Pathors は、リスクなく実験できるインフラストラクチャを提供します。その方法については、pathors.com にアクセスしてください。
ブランドン・ルー
COO
AI テクノロジーを活用して顧客サービスとビジネス運営を変革することに情熱を注いでいます。
Pathors は、インテリジェントな音声アシスタント ソリューションで企業を支援し、顧客サービス、予約管理、ビジネス コンサルティングを合理化し、業務効率を向上させます。