AI 通話品質管理(AI QA)を導入するとき、最初に出てくる質問はたいてい「AI の判定は正確なのか」です。しかし実際には、AI の評価が正確かどうかは、QA 評価シートそのものの出来に大きく左右されます。「応対態度が良い」といった項目は、ベテランの評価者 2 人でも点数が分かれることがあり、AI が一貫して判定するのが難しいのも当然です。
良い QA 評価シートには 3 つの特徴があります。各項目が聞けばわかる行動を記述していること、各判定が文字起こしの中の一文を指し示せること、そして絶対に間違えてはならない項目が致命項目として別扱いになっていることです。
本記事では、QA 評価シートの構造、書き方、テンプレート、キャリブレーションの流れをまとめます。一から作る必要はありません。いま使っているシートを手直しするところから始めれば十分です。
QA 評価シートの 5 層構造
| 階層 | 説明 | 例 |
|---|---|---|
| セクション | 通話の段階 | オープニング、用件対応、クロージング |
| 評価項目 | セクション内で確認する単一の行動 | お客様の本人確認 |
| 判定方式 | 何をもって合格とするか | 合格、不合格、対象外 |
| 配点 | その項目が占める点数 | 10 点 |
| 致命項目 | 不合格になった時点で通話全体にフラグを立てる | 本人確認をせずに口座情報を伝えた |
セクションに分けておくと、「誰がどの段階で弱いのか」をレポートで把握できます。オープニングは良いのにクロージングの確認をいつも忘れる人もいれば、用件対応は速いのに本人確認を飛ばす人もいます。合計点だけを見ていると、こうした違いは平均化されて見えなくなります。
評価項目は「聞けばわかる行動」として書く
AI も人と同じく、文字起こしを根拠に判定します。文字起こしの中に対応する発話が見つからない項目は、一貫した判定が難しくなります。
| 判定しにくい書き方 | 判定できる行動への書き換え |
|---|---|
| 応対態度が良い | お客様が不満を示したとき、すぐに手続きに入るのではなく、お客様の気持ちに言葉で応えている |
| ニーズを的確に確認した | 解決策を提示する前に、お客様の問題を自分の言葉で復唱している |
| 専門性が十分 | 案内したプラン名や条件が、社内で公表されている内容と一致している |
| クロージングが適切 | 通話を終える前に、ほかに質問がないかを確認し、お礼を述べている |
| コンプライアンス | 通話の冒頭で、通話を録音することを告知している |
書き換えの 3 原則:
「対象外」をあらかじめ設計に組み込む
すべての通話がすべての流れをたどるわけではありません。営業時間を尋ねるだけのお客様なら、「解決策の提示」以外の用件対応の段階はほとんど発生しませんし、苦情のないお客様に対して「感情のケア」が不合格と判定されるべきではありません。
各項目では 合格、不合格、対象外 の 3 つの判定を使えるようにすることをおすすめします。採点時には対象外の項目を分母から除外します。そうしないと、シンプルな通話ほど「できていなかった」として減点され、点数が実態を反映しなくなります。
加重スコアの計算方法
加重スコア = 合格した項目の配点合計 ÷ 対象となる項目の配点合計 × 100
計算例:6 項目からなる QA 評価シートがあり、配点はそれぞれ 10、20、20、15、15、20 で合計 100 点です。ある通話で、配点 15 点の「感情のケア」が対象外、配点 20 点の「ニーズの確認」が不合格、そのほかは合格だったとします。
対象外の項目を除外しなければ、この通話は 65 点と計算され、実際よりかなり悪い応対に見えてしまいます。
致命項目:合計点とは切り離して扱う
ほかがどれだけ良くても、許されないミスがあります。こうした項目は致命項目として設定します。致命項目で不合格となった通話は、ほかの項目と一緒に平均されることなく、そのまま管理者のレビューに回します。
よくある致命項目:
致命項目の数は絞り込むことが大切です。すべての項目を致命項目にすると、レビュー待ちのリストが長くなりすぎて誰も見きれなくなり、致命項目がないのと同じ状態になります。
テンプレート:インバウンドのカスタマーサポート用 QA 評価シート
| セクション | 評価項目 | 配点 | 致命項目 |
|---|---|---|---|
| オープニング | 会社名と自分の名前を名乗る | 5 | いいえ |
| オープニング | 通話を録音することを告知する | 5 | はい |
| 用件対応 | 個人情報を伝える前にお客様の本人確認を行う | 15 | はい |
| 用件対応 | 解決策を提示する前にお客様の問題を復唱する | 15 | いいえ |
| 用件対応 | お客様が不満を示したときに気持ちに言葉で応える | 10 | いいえ |
| 用件対応 | 提示した解決策と条件が社内の公表内容と一致している | 20 | いいえ |
| 用件対応 | 禁止ワードを使用していない | 10 | はい |
| クロージング | ほかに質問がないかを確認する | 10 | いいえ |
| クロージング | 今後の対応方法とスケジュールを説明する | 5 | いいえ |
| クロージング | お礼を述べて通話を終える | 5 | いいえ |
これはあくまで出発点です。自社の業務内容、法令上の要件、社内規定に合わせて調整してください。
カスタマーサポート用とテレマーケティング用の QA 評価シートの違い
| 比較項目 | インバウンドのカスタマーサポート | アウトバウンドのテレマーケティング |
|---|---|---|
| 通話の目的 | お客様の問題を解決する | 商品を紹介し、同意や成約を得る |
| オープニングの要点 | 本人確認と入電理由の確認 | 名乗りと架電目的の説明、相手の都合の確認 |
| 中核となる項目 | ニーズの確認、解決策の正確さ | 商品説明に漏れがないこと、料金と条件の明確な説明 |
| コンプライアンスの要点 | 本人確認、個人情報の保護 | 説明義務、不適切な約束、明確に断られた後の勧誘継続 |
| 致命項目になりやすいもの | 個人情報の漏えい | 誇張された約束や事実と異なる約束 |
テレマーケティングの通話はコンプライアンス上のリスクが高い傾向にあるため、「料金と条件を明確に説明したか」「お客様に明確に断られた後も勧誘を続けていないか」といった項目を優先的に組み込むことをおすすめします。台湾のテレマーケティング関連の法規については、AI テレマーケティングの導入と法令対応ガイドをご覧ください。
キャリブレーション:AI を自社のベテラン評価者とすり合わせる
QA 評価シートができても、すぐに本番運用に入るのは避けましょう。次の流れでキャリブレーションを行うことをおすすめします。
1. 通話を選ぶ:業務ライン、オペレーター、高得点と低得点の通話をそれぞれ含めます。
2. 人と AI で同時に採点する:ベテラン評価者が 1 回、AI が 1 回採点します。
3. 項目ごとに差分を比較する:判定の食い違いが最も多い項目を特定します。
4. 引用された発話から原因を探る:AI の判定には発話が引用されているため、照らし合わせると、たいていは項目の記述に 2 通りの解釈があることがわかります。
5. 記述を書き直して再度採点する:差分がチームとして許容できる水準に下がるまで繰り返します。
キャリブレーションを進めると、もともとの QA 評価シートについて、人の評価者同士でさえ合意がとれていなかったことが判明するケースがよくあります。それ自体が大きな収穫です。
ルールは変わるもの。バージョン管理を
法令の改正、新商品の発売、トークスクリプトの見直しのたびに、QA 評価シートも変わります。変更する際は、次の 2 点に注意してください。
QA 評価シートは AI 品質管理の土台です。項目を聞けばわかる行動として書き、判定が発話を指し示せるようにし、対象外を設計に組み込み、絶対に間違えてはならないことを致命項目に設定する。そのうえで一定数の通話を使ってベテラン評価者とキャリブレーションを行えば、AI は自社の基準どおりにすべての通話を評価できるようになります。
Pathors の Voxcal は、いま使っている QA 評価シートをそのまま利用できます。すべての判定に発話を引用し、致命項目で不合格となった通話は自動でレビューに回ります。ルールを変更したら新しいバージョンとして保存し、過去の通話を再評価できます。
関連記事:
よくある質問
QA 評価シートの項目数はいくつが適切ですか?
決まった答えはありませんが、10〜20 項目が一般的です。項目が多いほど網羅的になりますが、どの項目も文字起こしの中に根拠を見つけられる必要があります。あいまいな項目をたくさん並べるより、数は少なくても一つひとつを正確に判定できるほうが有効です。
致命項目と通常の減点項目は何が違いますか?
通常の項目は配点に応じて合計され、スコアになります。致命項目は、不合格になった時点で合計点がどれだけ高くても、その通話はそのまま管理者のレビューに回ります。本人確認、個人情報、禁止ワード、事実と異なる約束など、間違いが許されない事項に適しています。
「対象外」の項目はどう採点すればよいですか?
対象外の項目は分母から除外することをおすすめします。加重スコアは、合格した項目の配点合計を対象となる項目の配点合計で割り、100 を掛けて算出します。こうすることで、シンプルな通話が一部の流れを通らなかったという理由で減点されることがなくなります。
AI 品質管理で、いま使っている QA 評価シートを使えますか?
使えます。むしろ既存のシートから始めることをおすすめします。たとえば Pathors の Voxcal では、企業独自の QA 評価シートをそのまま利用でき、項目、配点、致命項目を自由に設定できます。導入時には、一部の項目をより具体的な行動の記述に書き換えるのが一般的です。
QA 評価シートを変更した後も、過去の点数と比較できますか?
そのまま比較すると実態とずれます。新旧の点数は異なるルールで算出されているためです。QA 評価シートを新しいバージョンとして保存し、過去一定期間の通話を新ルールで再評価してはじめて、変更前後の比較に意味が生まれます。




