전화 AI를 테스트할 때 "여보세요"만 하고 끊지 마세요. 모든 업체에 같은 10문항 스크립트로 전화하세요. 알아듣는지 3문항(사투리·억양, 한영 혼용 제품명, 숫자 되읽기), 대화 능력 2문항(중간에 끼어들기, 한 문장에 두 가지 용건), 실제 데이터를 조회하는지 대본을 외운 것인지 2문항, 상담원 연결 1문항, 감정과 침묵 1문항, 마지막으로 통화 기록이 남는지 1문항. 3분짜리 통화 한 통이면 두 시스템 차이의 80%가 드러납니다. 단, 무엇을 물어야 하는지 알고 있을 때의 이야기입니다.
업체의 데모 회선은 제안서나 견적서보다 정직한 정보원입니다. 하지만 "무엇을 물어야 하는지 아는 사람"에게만 정직합니다. 너무 많은 의사결정자가 전화를 걸어 듣기 좋은 목소리로 "전화 주셔서 감사합니다"라는 말을 듣고, 괜찮다고 느끼고, 그 업체를 선택합니다. 석 달 뒤 실제 운영을 시작하고 나서야 프런트 직원의 경상도 사투리를 못 알아듣고, 고객이 중간에 끼어들면 대화가 무너지고, 재고를 물으면 지어내기 시작한다는 사실을 알게 됩니다.
이 글은 그대로 읽으면 되는 스크립트를 드립니다. 각 질문이 어떤 능력을 시험하는지, 좋은 답변은 어떻게 들리는지, 위험 신호는 어떻게 들리는지 설명하고, 마지막에 두 업체를 같은 잣대로 비교할 채점표를 붙였습니다.
결론부터: 3분이면 80%가 보인다, 무엇을 물을지 안다면
전화 AI의 수준은 결국 네 가지로 결정됩니다. 알아듣는가, 대화가 흐트러지지 않는가, 답변이 조회한 것인가 지어낸 것인가, 감당하지 못할 때 사람에게 제대로 넘기는가. 이 네 가지는 모두 데모 회선에서 확인할 수 있고 기술 지식이 필요 없습니다. 스크립트 한 장이면 됩니다. 아래 표를 휴대폰에 띄워 두고 통화하면서 체크하세요.
| 번호 | 이렇게 말하세요 | 시험하는 것 | 좋은 답변 | 위험 신호 |
|---|---|---|---|---|
| 1 | 평소 속도로, 사투리를 섞어서 (예: "오늘 문 여셨습니꺼?") | 사투리·억양 인식 | 뜻을 이해하고 자연스럽게 답한다 | "다시 말씀해 주세요"가 2회 초과, 또는 동문서답 |
| 2 | "iPhone 17 Pro 수리랑 AirPods 케이스 고장 건으로요" | 한영 혼용 브랜드·모델명 | 모델명을 정확히 되읽는다 | 모델명을 잘못 듣고 확인 없이 진행, 또는 무시 |
| 3 | "제 번호는 010-1234-5678, 주문번호 A2026-0829예요. 다시 읽어 주세요" | 숫자열 인식과 되읽기 | 한 글자씩 정확히 되읽고 정정을 받는다 | 틀린 줄 모른다, 되읽기를 거부한다 |
| 4 | 설명 도중 끼어들기: "잠깐만요, 그게 아니라" | 끼어들기 처리(바지인) | 즉시 멈추고 듣는다 | 대본을 다 읽고 반응, 또는 목소리가 겹친다 |
| 5 | "시간 바꾸고 싶은데요, 그리고 주차 되나요?" | 한 문장 다중 의도 | 둘 다 처리하거나 순서를 밝힌다 | 두 번째 용건이 사라진다 |
| 6 | "오늘 오후 3시에 자리 있나요?" (업종에 맞는 실시간 재고 질문으로 교체) | 실제 시스템 조회 | 조회 동작이 있고 구체적으로 답한다 | 어느 시간대를 물어도 즉답 "있습니다" |
| 7 | 지식 베이스 밖 질문: "사장님 성함이 어떻게 되세요?" | 모르는 것에 대한 정직함 | 정보가 없다고 인정하고 대안을 제시 | 자신 있게 답한다 |
| 8 | "상담원 연결해 주세요" | 연결과 인계 | 연결을 안내하고 요약 후 넘긴다, 상담원이 다시 묻지 않는다 | 연결이 안 된다, 상담원이 "무엇을 도와드릴까요?"로 시작 |
| 9 | 짜증 난 말투로 말하고, 5초간 침묵 | 감정과 예외 처리 | 말투를 누그러뜨리고 연결 상태를 확인 | 감정을 무시, 침묵 후 말없이 끊는다 |
| 10 | 끊은 뒤 업체에: "방금 통화 기록 어디 있어요?" | 통화 기록과 가시성 | 몇 분 안에 요약·전문·기록 위치를 보여 준다 | 못 보여 준다, 녹음 파일뿐 |
1~3번: 알아듣는가
음성 인식은 전화 AI의 기초입니다. 기초가 기울면 위에 무엇을 올려도 소용없습니다. 한국의 인바운드 통화에서 특히 어려운 지점은 세 가지, 사투리와 억양, 한영 혼용, 숫자열입니다.
1번: 사투리와 억양
가게에 전화할 때 평소 말투로 하세요. 아나운서처럼 또박또박 발음하지 마세요. 사투리를 쓸 수 있으면 한두 마디 섞고, 아니면 연배 있는 동료나 가족에게 걸어 달라고 하세요. 인식 모델이 실제 고객의 말투에 맞게 조정되었는지를 시험합니다. 고객은 교과서 표준어로 말하지 않습니다.
좋은 답변은 "오늘 영업하느냐"는 뜻을 이해하고 자연스럽게 답하는 것입니다. 완전히 못 알아들었을 때는 이해한 부분을 되읽어 확인을 요청합니다. 위험 신호는 "다시 말씀해 주세요"가 연속 2회 이상이거나, 묻지도 않은 질문에 자신 있게 답하는 것입니다. 후자가 더 위험합니다. 실제 운영에서도 같은 자신감으로 고객에게 오답을 하기 때문입니다.
2번: 한영 혼용 브랜드명과 모델명
업종에서 실제로 나오는 제품명으로 시험하세요. 전자제품이면 "iPhone 17 Pro", "AirPods 케이스", 병원이면 "PRP랑 HIFU 예약". 한국어 문장 속 영어 단어가 이상한 소리로 쪼개지지 않는지, 모델명의 숫자와 알파벳이 빠지지 않는지를 봅니다.
좋은 답변은 응답 안에서 모델명을 정확히 되읽고, 나아가 "17 Pro인가요, 17 Pro Max인가요?"라고 확인하는 것입니다. 위험 신호는 모델명을 잘못 듣고 확인 없이 진행하거나, 모델명을 통째로 건너뛰고 "네, 수리라면……"으로 이어가는 것입니다.
3번: 숫자열을 되읽게 하기
"제 전화번호는 010-1234-5678, 주문번호는 A2026-0829입니다. 다시 읽어 주세요." 전화번호, 주문번호, 회원번호 뒷자리는 전화 상담에서 가장 자주 틀리고 가장 틀려서는 안 되는 데이터입니다. 되읽기를 요청하면 핵심 데이터를 스스로 확인하도록 설계되었는지도 알 수 있습니다.
좋은 답변은 한 글자씩 정확히 되읽고, 정정하면 틀린 부분만 고치는 것입니다. Pathors의 경험상 잘 만든 시스템은 "1", "7", "4", "10"처럼 헷갈리기 쉬운 숫자를 되읽을 때 천천히 또렷하게 읽습니다. 위험 신호는 틀렸는데 확인을 요청하지 않거나, "네, 기록했습니다"라고만 하고 읽어 주지 않는 것입니다. 그러면 실제 운영에서 무엇을 기록했는지 영원히 알 수 없습니다.
4~5번: 문답이 아니라 대화가 되는가
한 문장을 알아듣는 것과 사람과 "대화"하는 것 사이에는 큰 차이가 있습니다. 실제 발신자는 끼어들고, 화제를 바꾸고, 한 숨에 두 가지 용건을 말합니다.
4번: 중간에 끼어들기
영업시간이나 서비스 목록처럼 긴 설명이 시작되면 바로 끼어드세요. "잠깐만요, 그게 아니라." 업계에서는 바지인(barge-in)이라고 부르는데, 쉽게 말해 양보하느냐입니다.
좋은 답변은 여러분이 말을 시작한 뒤 약 1초 안에 멈추고 끝까지 듣는 것입니다. 이어서 "네, 어떤 점이 궁금하신가요?"라고 받아 주면 더 좋습니다. 위험 신호는 대본을 다 읽고 나서야 반응하거나, 두 목소리가 겹쳐 내용이 엉키는 것입니다. 이런 시스템의 실제 운영에서 가장 흔한 불만이 "혼자만 말하고 내 말은 안 듣는다"입니다.
5번: 한 문장에 두 가지 용건
"시간을 바꾸고 싶은데요, 그리고 주차 되나요?" 한 문장에 두 의도가 들어 있고, 둘 다 받아내는지를 시험합니다. 사실 이것은 뒤에서 LLM이 의미를 이해하는지, 아니면 구식 키워드 매칭이 첫 번째로 걸린 단어만 잡는지를 가르는 테스트입니다.
좋은 답변은 둘 다 처리하는 것입니다. 시간 변경을 먼저 마친 뒤 "그리고 아까 말씀하신 주차는……"이라고 스스로 돌아오거나, 처음부터 "먼저 시간을 변경해 드리고 주차 안내를 드리겠습니다"라고 순서를 밝힙니다. 위험 신호는 주차 건이 그냥 사라지는 것입니다. 다시 묻지 않는 한 돌아오지 않습니다.
6~7번: 실제 데이터 조회인가, 대본 암기인가
데모 회선에서 가장 "속이기" 쉬운 대목입니다. 대본만 외운 시스템은 목소리가 아무리 자연스러워도 말하는 FAQ 녹음기에 불과합니다.
6번: 시스템을 조회해야만 답할 수 있는 질문
업종에 맞는 실시간 재고를 물어보세요. 식당이면 "오늘 오후 3시에 자리 있나요", 병원이면 "내일 오전 김 원장님 진료 가능한가요", 숙박이면 "이번 주 토요일 트윈룸 몇 개 남았나요". 예약, 접수, 객실 관리 시스템에 실제로 연결되어 있는지를 시험합니다. 이것이 전화 AI와 버튼식 IVR의 가장 근본적인 차이입니다. 그 자리에서 일을 끝내느냐, 사람을 다른 곳으로 돌리기만 하느냐.
좋은 답변에는 눈에 띄는 조회 동작이 있습니다("확인해 드리겠습니다" 하고 0.5~1초 멈춤). 그다음 구체적인 결과가 옵니다. "3시는 가능하고 3시 반은 마감입니다." 다른 시간대를 물으면 답이 달라져야 합니다. 위험 신호는 즉답 "네, 있습니다. 기다리겠습니다"입니다. 세 시간대를 물었는데 전부 "있습니다"면 아무것도 조회하지 않은 것입니다. 업체가 "데모 회선은 데이터 미연결"이라고 하면, 최소한 테스트 데이터베이스로 조회 동작이라도 시연해 달라고 하세요.
7번: 지식 베이스 밖의 질문
데이터가 있을 리 없는 질문을 고르세요. "사장님 성함이 어떻게 되세요?" 또는 잘못된 전제를 심으세요. "주차 3시간 무료 맞죠?" (실제로는 없음). 모르는 것에 대해 정직하게 인정하는지, 자신 있게 지어내는지를 시험합니다. 연구에 따르면 자연스러운 질문의 약 25%는 잘못된 전제를 포함하고 50% 이상은 모호합니다(출처). 즉 실제 고객 질문의 상당 부분은 애초에 AI가 "직접 답해서는 안 되는" 것들입니다.
좋은 답변은 "그 부분은 제가 가진 정보가 없어서 담당자께 연결해 드리겠습니다" 또는 "3시간 무료 주차는 없고, 현재 주차 규정은……"입니다. 잘못된 전제를 바로잡는 것이 답하는 것보다 중요합니다. 위험 신호는 답을 하는 것입니다. 어떤 답이든 위험 신호입니다. "사장님은 김 씨입니다", "네, 3시간 무료입니다"는 실제 운영에서 민원과 보상의 원인이 됩니다. 지식 베이스 설계로 이를 막는 방법은 전화 AI 지식 베이스 구축 가이드를 참고하세요.
8번: 상담원 연결 요청
"상담원 연결해 주세요." 이유는 필요 없습니다. 이유를 물으면 "그냥 사람이랑 얘기하고 싶어요"라고 하세요. 세 가지를 시험합니다. 애초에 연결이 되는가(연결이 붙어 있지 않은 데모 회선도 있습니다), 연결 전에 요약하는가("말씀하신 시간 변경과 주차 문의를 담당자께 전달하겠습니다"), 연결된 뒤 처음부터 다시 설명해야 하는가.
좋은 답변은 붙잡지 않고, 연결하겠다고 명확히 말하며, 어떤 정보를 넘기는지 짧게 설명하는 것입니다. 전화를 받은 담당자는 여러분이 누구이고 무엇을 원하는지 이미 알고 있습니다. 데모 회선에 상담원이 없더라도 부재 시 처리 방식(메시지 남기기, 회신 전화)은 설명해야 합니다. 위험 신호는 "다른 도움이 필요하신가요?"를 반복하며 붙잡거나, 상담원의 첫마디가 "네, 무엇을 도와드릴까요?"인 것입니다. 그러면 앞의 3분이 헛수고가 됩니다. 연결 설계는 하나의 주제로 전화 AI 상담원 인계 설계에서 다룹니다.
9번: 감정과 예외 상황
두 단계입니다. 먼저 확실히 짜증 난 말투로 "벌써 세 번째 전화인데, 처리가 되는 거예요, 안 되는 거예요?"라고 말하고 반응을 들으세요. 그다음 AI가 질문할 때 일부러 5초간 아무 말도 하지 마세요. 짜증은 말투를 감지하고 조절하는지를, 침묵은 예외 처리를 시험합니다. 실제 통화에서 고객은 딴생각을 하고, 아이에게 불려 가고, 서류를 찾으러 갑니다.
좋은 답변은 짜증에 대해 말이 짧아지고, 한 번 사과한 뒤 바로 본론으로 들어가는 것입니다. 침묵에 대해서는 3~5초 뒤 "통화 가능하신가요?"라고 확인하고, 더 긴 침묵이 이어진 뒤에야 통화 종료를 안내합니다. 위험 신호는 말투를 무시하고 같은 대본을 계속 읽거나, 5초 침묵 뒤 한마디 없이 끊는 것입니다. 후자는 고객에게 시스템이 고장 났다고 느끼게 합니다.
10번: 통화가 끝난 뒤, 기록이 남는가
끊은 뒤 업체에 물어보세요. "방금 통화 기록이 어디 있나요? 볼 수 있나요?" 전화 AI의 가장 과소평가된 가치는 모든 통화에 기록이 남는다는 점입니다. 요약, 전문, 감지된 의도, 기록된 시스템(CRM, 예약 시트, 티켓). 이것이 실제 운영 이후 시스템을 관리하고 개선할 수 있는지를 결정합니다.
좋은 답변은 업체가 몇 분 안에 관리 화면을 열어 전문, AI가 생성한 요약, 여러분이 말한 전화번호와 주문번호가 필드로 정확히 잡혔는지를 보여 주는 것입니다. 위험 신호는 못 보여 주거나, "나중에 보내 드릴게요"라고 하거나, 녹음 파일뿐인 경우입니다. 구조화된 기록이 없으면 운영 이후 AI가 매일 고객에게 무슨 말을 하는지 전혀 볼 수 없습니다.
통화 후 채점 방법
10문항을 같은 표로 채점합니다. 문항당 0·1·2점입니다.
| 총점 | 권고 |
|---|---|
| 16~20점 | 다음 단계로. 자사의 실제 FAQ와 데이터로 PoC 진행 |
| 11~15점 | 기본은 갖춤. 0점 문항을 나열하고 제품 한계인지 데모 환경 한계인지 업체에 설명 요구 |
| 10점 이하 | 진행 비권장. 단, 0점이 모두 "데모 환경 데이터 미연결"처럼 검증 가능한 사유라면 예외 |
총점보다 중요한 규칙이 두 가지 있습니다. 첫째, 6번과 7번 중 하나라도 0점이면 그 즉시 불합격입니다. 인식은 조정할 수 있지만 답을 지어내는 시스템은 운영 첫날부터 리스크입니다. 둘째, 같은 시스템에 세 사람이 각각 전화하세요. 대표, 프런트나 상담 담당자, 프로젝트를 전혀 모르는 가족. 세 사람의 점수가 크게 갈리면 그 시스템은 "말 잘하는 사람"에게만 친절하다는 뜻입니다. 고객은 보통 사람입니다.
테스트할 때 흔한 오판
평가 실패의 대부분은 업체의 거짓말이 아니라 테스트하는 쪽이 이런 함정을 밟아서 생깁니다.
데모 회선은 무료이고 3분은 짧습니다. 차이는 전화를 걸 때 손에 이 10문항이 있느냐뿐입니다. 같은 스크립트로 두 업체에 걸고 같은 채점표로 비교하면, 제안서 열 권을 읽는 것보다 진실에 가까워집니다.
전화 AI가 무엇을 할 수 있고 비용이 어떻게 책정되는지 아직 정리 중이라면 먼저 전화 AI란 무엇인가: 2026 완전 가이드를 읽어 보세요. 6·7번 때문에 "AI가 대체 무엇을 근거로 답하는가"가 궁금해졌다면 전화 AI 지식 베이스 구축 가이드가 그 계층을 설명합니다.
이 스크립트는 당연히 Pathors에도 적용됩니다. AI 전화 고객 서비스 페이지에서 실제로 한 통 걸어 보고, 이 10문항으로 시험해 보세요.
자주 묻는 질문
전화 AI 테스트 통화는 한 통에 얼마나 걸어야 하나요?
3~5분입니다. 10문항을 순서대로 물으면 약 3분, 즉석에서 추가 질문을 해도 5분 안에 끝납니다. 한 통을 길게 하기보다 다른 시간대에 여러 번 거는 편이 좋습니다. 음성 시스템에는 편차가 있어 같은 질문도 두 번째는 다른 결과가 나올 수 있기 때문입니다.
어떤 전화로 걸어야 정확하게 평가할 수 있나요?
고객이 가장 많이 쓸 법한 방식으로 거세요. 일반 휴대폰, 스피커폰, 약간 시끄러운 환경. 조용한 회의실에서 헤드셋으로 거는 것은 이상적인 조건이라 실제 성능이 드러나지 않습니다. 가능하면 유선전화로도 한 통 걸어 보세요. 유선전화는 음성 압축 방식이 휴대폰과 다릅니다.
사투리도 테스트할 수 있나요?
할 수 있고, 해야 합니다. 식당, 병원, 지방 사업장에서는 인바운드 통화의 상당 비율에 사투리나 강한 억양이 섞여 있습니다. 1번 문항이 바로 그것을 위해 설계되었습니다. 업체가 "사투리 지원은 개발 중"이라고 하면 지원할 것인지, 언제 지원할 것인지 명확히 말하게 하고 계약서에 넣으세요. "아마 될 겁니다"는 받아들이지 마세요.
업체 데모 회선과 실제 운영 시스템은 같나요?
완전히 같지는 않습니다. 주된 차이는 데이터입니다. 데모 회선은 대개 샘플 데이터이거나 미연결 상태이고, 실제 운영에서는 예약 시스템, CRM, 지식 베이스에 연결됩니다. 6·7·10번에서 데모 회선으로 보는 것은 "능력"이므로, 운영 전에 자사 데이터로 한 번 더 검증하세요. 인식, 끼어들기, 연결 동작은 데모와 운영이 대체로 일치합니다.
같은 시스템에 몇 번 걸어야 하나요?
최소 3번, 서로 다른 세 사람이 겁니다. 대표, 현장 담당자, 프로젝트를 전혀 모르는 사람. 여기에 오전, 점심 피크, 저녁으로 시간대를 바꿔 각 1회씩 걸면 더 좋습니다. 세 사람의 점수가 크게 갈리면 그 시스템은 억양이나 말투를 가린다는 뜻이고, 평균 점수보다 그것이 더 중요합니다.
두 업체를 어떻게 비교하나요?
같은 10문항, 같은 발신자, 같은 주에 걸고 두 채점표를 나란히 놓습니다. 먼저 6·7번에 0점이 있는지 확인하고, 다음에 총점, 마지막으로 세 발신자 간 점수 차이를 봅니다. 총점이 비슷하면 10번의 관리 화면으로 결정하세요. 통화 기록이 읽기 쉽고 바로 개선에 쓸 수 있는 쪽이 운영 이후 관리가 편합니다.
