AI QA(통화 품질 관리)를 도입할 때 가장 먼저 나오는 질문은 보통 'AI가 얼마나 정확한가'입니다. 하지만 실제로는 AI가 얼마나 정확하게 평가하느냐가 상당 부분 평가표 자체를 얼마나 잘 썼느냐에 달려 있습니다. '서비스 태도 양호' 같은 항목은 시니어 QA 담당자 두 명도 서로 다른 점수를 줄 수 있으니, AI가 일관되게 판정하기 어려운 것도 당연합니다.
좋은 평가표에는 세 가지 특징이 있습니다. 각 항목이 귀로 들을 수 있는 행동을 설명하고, 모든 판정이 녹취록 속 한 문장을 가리킬 수 있으며, 절대 틀려서는 안 되는 항목은 치명 항목으로 표시해 따로 처리합니다.
이 글에서는 QA 평가표의 구조, 작성법, 템플릿, 보정 절차를 정리합니다. 처음부터 새로 만들 필요는 없습니다. 지금 쓰고 있는 평가표에서 고쳐 나가면 됩니다.
평가표의 5단 구조
| 단계 | 설명 | 예시 |
|---|---|---|
| 구간 | 통화의 단계 | 오프닝, 문제 처리, 클로징 |
| 평가 항목 | 구간 안에서 점검할 단일 행동 | 고객 본인 확인 |
| 판정 방식 | 무엇을 통과로 볼 것인가 | 통과, 미통과, 해당 없음 |
| 가중치 | 이 항목이 차지하는 점수 | 10점 |
| 치명 항목 | 미통과 시 통화 전체를 즉시 표시 | 본인 확인 전에 계좌 정보 안내 |
구간을 나누면 리포트에서 '누가 어느 구간에서 가장 약한지'가 보입니다. 어떤 상담사는 오프닝은 훌륭하지만 늘 마무리 확인을 잊고, 어떤 상담사는 문제는 빨리 처리하지만 본인 확인을 건너뜁니다. 총점만 보면 이런 차이는 평균에 묻혀 버립니다.
평가 항목은 '귀로 들을 수 있는 행동'으로 쓴다
AI도 사람과 마찬가지로 녹취록을 근거로 판정합니다. 녹취록에서 대응하는 문장을 찾을 수 없는 항목은 일관되게 판정하기 어렵습니다.
| 판정하기 어려운 표현 | 판정 가능한 행동으로 고쳐 쓰기 |
|---|---|
| 서비스 태도 양호 | 고객이 불만을 표현했을 때, 바로 절차로 넘어가지 않고 고객의 감정에 먼저 응답한다 |
| 니즈를 효과적으로 확인 | 해결 방안을 제시하기 전에 고객의 문제를 자기 말로 다시 정리해 말한다 |
| 충분한 전문성 | 상담사가 안내한 상품명, 조건이 회사 공지 내용과 일치한다 |
| 완결된 마무리 | 통화를 끝내기 전에 다른 문의 사항이 있는지 묻고 감사 인사를 한다 |
| 컴플라이언스 준수 | 통화 시작 시 통화가 녹음된다는 사실을 고지한다 |
고쳐 쓰는 세 가지 원칙:
'해당 없음'을 설계에 넣는다
모든 통화가 모든 절차를 거치지는 않습니다. 고객이 영업시간만 물었다면 '해결 방안 제시' 외의 문제 처리 구간은 거의 없고, 고객이 불만을 말하지 않았다면 '감정 응대'를 미통과로 판정해서는 안 됩니다.
모든 항목에 세 가지 판정을 허용하는 것을 권합니다. 통과, 미통과, 해당 없음입니다. 점수를 계산할 때는 해당 없음 항목을 분모에서 제외해야 합니다. 그렇지 않으면 간단한 통화가 '하지 않았다'는 이유로 감점되어 점수가 왜곡됩니다.
가중 점수 계산법
가중 점수 = 통과 항목의 가중치 합 ÷ 해당 항목의 가중치 합 × 100
계산 예시: 평가표에 6개 항목이 있고 가중치는 각각 10, 20, 20, 15, 15, 20으로 합계 100입니다. 어떤 통화에서 가중치 15인 '감정 응대' 항목은 해당 없음, 가중치 20인 '니즈 확인' 항목은 미통과, 나머지는 통과했습니다.
해당 없음 항목을 제외하지 않으면 이 통화는 65점으로 계산되어 실제보다 훨씬 나빠 보입니다.
치명 항목: 총점과 상관없이 따로 처리한다
다른 부분을 아무리 잘했어도 용납할 수 없는 실수가 있습니다. 이런 항목은 치명 항목으로 지정해야 합니다. 한 번이라도 미통과하면 다른 항목과 함께 평균에 묻히지 않고, 해당 통화 전체가 곧바로 관리자 검토로 넘어갑니다.
흔히 쓰는 치명 항목:
치명 항목의 수는 절제해야 합니다. 모든 항목이 치명 항목이면 검토 목록이 너무 길어져 아무도 다 보지 못하고, 결국 치명 항목이 없는 것과 같아집니다.
템플릿: 인바운드 고객센터 QA 평가표
| 구간 | 평가 항목 | 가중치 | 치명 항목 |
|---|---|---|---|
| 오프닝 | 회사명과 본인 이름을 밝힌다 | 5 | 아니요 |
| 오프닝 | 통화가 녹음된다는 사실을 고지한다 | 5 | 예 |
| 문제 처리 | 개인정보를 안내하기 전에 고객 본인 확인을 한다 | 15 | 예 |
| 문제 처리 | 해결 방안을 제시하기 전에 고객의 문제를 다시 정리해 말한다 | 15 | 아니요 |
| 문제 처리 | 고객이 불만을 표현하면 고객의 감정에 응답한다 | 10 | 아니요 |
| 문제 처리 | 안내한 방안과 조건이 회사 공지 내용과 일치한다 | 20 | 아니요 |
| 문제 처리 | 금지어를 사용하지 않는다 | 10 | 예 |
| 클로징 | 다른 문의 사항이 있는지 확인한다 | 10 | 아니요 |
| 클로징 | 후속 처리 방법과 일정을 안내한다 | 5 | 아니요 |
| 클로징 | 감사 인사 후 통화를 마친다 | 5 | 아니요 |
이 템플릿은 출발점입니다. 각 사의 업무, 법규 요건, 사내 규정에 맞게 조정해 사용하세요.
고객센터 평가표 vs 텔레마케팅 평가표
| 비교 항목 | 인바운드 고객센터 | 아웃바운드 텔레마케팅 |
|---|---|---|
| 통화 목적 | 고객의 문제 해결 | 상품 소개, 동의 확보 또는 계약 체결 |
| 오프닝의 핵심 | 본인 확인과 문의 사유 확인 | 발신자 신원과 통화 목적을 밝히고 통화 가능 여부 확인 |
| 핵심 항목 | 니즈 확인, 해결 방안의 정확성 | 충분한 상품 설명, 비용과 조건의 명확한 안내 |
| 컴플라이언스 초점 | 본인 확인, 개인정보 보호 | 고지 의무, 부적절한 약속, 고객이 명확히 거절한 뒤에도 계속 권유 |
| 주로 지정되는 치명 항목 | 개인정보 유출 | 과장되거나 사실과 다른 약속 |
텔레마케팅 통화는 대체로 컴플라이언스 리스크가 더 크므로 '비용과 조건을 명확히 설명했는가', '고객이 명확히 거절한 뒤에도 계속 권유했는가' 같은 항목을 우선 포함하기를 권합니다. 대만의 텔레마케팅 관련 법규는 AI 텔레마케팅 도입과 법규 준수 가이드에 정리되어 있습니다.
보정: AI를 시니어 QA 담당자의 기준에 맞춘다
평가표를 다 썼다고 바로 운영에 들어가지 마세요. 다음 절차로 보정하는 것을 권합니다.
1. 통화 묶음 선정: 여러 사업 라인, 여러 상담사, 고득점과 저득점 통화를 고루 포함합니다.
2. 사람과 AI가 동시에 평가: 시니어 QA 담당자가 한 번, AI가 한 번 평가합니다.
3. 항목별로 차이 비교: 판정이 가장 많이 엇갈리는 항목을 찾습니다.
4. 원문 문장으로 원인 파악: AI 판정에는 원문 문장이 첨부되어 있어, 대조해 보면 대개 항목 설명이 두 가지로 해석될 수 있다는 점이 드러납니다.
5. 설명을 고치고 다시 평가: 차이가 팀이 수용할 수 있는 수준으로 줄어들 때까지 반복합니다.
보정 과정에서 원래 평가표에 대해 사람 QA 담당자들끼리도 합의가 없었다는 사실이 드러나는 경우가 많습니다. 그 자체로도 큰 수확입니다.
규칙은 바뀌므로 버전 관리가 필요하다
법규가 개정되고, 신상품이 출시되고, 회사가 화법을 조정하면 평가표도 함께 바뀝니다. 바꾼 뒤에는 두 가지를 챙겨야 합니다.
QA 평가표는 AI 품질 관리의 기초입니다. 항목을 귀로 들을 수 있는 행동으로 쓰고, 판정이 원문 문장을 가리키게 하며, 해당 없음을 설계에 넣고, 절대 틀려서는 안 되는 것을 치명 항목으로 지정한 뒤, 통화 묶음으로 시니어 QA 담당자와 기준을 맞춰야 AI가 우리 기준대로 모든 통화를 평가할 수 있습니다.
Pathors의 Voxcal은 지금 쓰고 있는 QA 평가표를 그대로 사용합니다. 항목별 판정마다 원문 문장이 첨부되고, 치명 항목 미통과 통화는 자동으로 검토 목록에 올라가며, 규칙을 바꾸면 새 버전으로 저장되어 과거 통화를 다시 평가할 수 있습니다.
함께 읽어 보세요:
자주 묻는 질문
QA 평가표에는 항목이 몇 개 있어야 하나요?
정해진 답은 없으며 보통 10~20개 항목이 많이 쓰입니다. 항목이 많을수록 더 꼼꼼하지만, 모든 항목은 녹취록에서 근거를 찾을 수 있어야 합니다. 모호한 항목을 많이 나열하기보다 적더라도 하나하나 정확히 판정되는 항목이 낫습니다.
치명 항목과 일반 감점 항목은 무엇이 다른가요?
일반 항목은 가중치에 따라 합산되어 점수가 됩니다. 치명 항목은 한 번이라도 미통과하면 총점이 아무리 높아도 해당 통화 전체가 곧바로 관리자 검토로 넘어갑니다. 본인 확인, 개인정보, 금지어, 사실과 다른 약속처럼 틀려서는 안 되는 일에 적합합니다.
'해당 없음' 항목은 어떻게 계산하나요?
해당 없음 항목은 분모에서 제외하는 것을 권합니다. 가중 점수는 통과 항목의 가중치 합을 해당 항목의 가중치 합으로 나눈 뒤 100을 곱한 값입니다. 이렇게 해야 간단한 통화가 일부 절차를 거치지 않았다는 이유로 감점되지 않습니다.
AI QA에 지금 쓰는 평가표를 그대로 쓸 수 있나요?
가능하며, 기존 평가표에서 시작하는 것을 권합니다. Pathors Voxcal의 경우 기업이 쓰던 평가표를 그대로 사용하며 항목, 가중치, 치명 항목을 직접 설정할 수 있습니다. 도입 과정에서는 보통 일부 항목을 더 구체적인 행동 묘사로 고쳐 쓰게 됩니다.
평가표를 바꾼 뒤에도 예전 점수와 비교할 수 있나요?
그대로 비교하면 왜곡됩니다. 새 점수와 옛 점수가 서로 다른 규칙으로 계산되었기 때문입니다. 평가표를 새 버전으로 저장하고, 새 규칙으로 과거 일정 기간의 통화를 다시 평가해야 전후 비교가 의미를 가집니다.
