영어 고객 서비스를 완벽하게 처리하는 음성 AI 플랫폼을 사용하고 있습니다. 95% 이상의 정확도, 1초 미만의 응답, 행복한 고객. 대만에 배포합니다. 첫 번째 발신자는 같은 음절에 성조가 다른 거리 주소를 말하고 대만 호키엔 문장을 섞은 다음 대화 속도로 전화번호를 읊는다. 시스템은 대략 절반 정도를 정확하게 기록합니다. 발신자가 전화를 끊습니다.
이것은 엔지니어링 노력의 실패가 아닙니다. 이는 대부분의 ASR(자동 음성 인식) 시스템이 구축되는 방식과 중국어가 실제로 작동하는 방식, 특히 대만의 실제 고객 서비스 통화에서 말하는 방식 사이의 구조적 불일치입니다.
아시아 태평양 시장을 위한 음성 AI를 구축하거나 평가하는 회사의 경우 이러한 과제를 이해하는 것은 선택 사항이 아닙니다. 인상적인 제품 데모와 실제로 작동하는 프로덕션 배포의 차이입니다.
중국 ASR의 4가지 기술적 장벽
장벽 1: 톤이 모든 것을 변화시킵니다
영어는 스트레스 상황에 맞는 언어입니다. 중국어는 성조언어이다. 이 단 하나의 차이가 음성 인식의 어려움을 근본적으로 변화시킵니다.
중국어에서 음절 "ma"는 "어머니"(첫 번째 성조), "대마"(두 번째 성조), "말"(세 번째 성조) 또는 "꾸짖다"(네 번째 성조)를 의미할 수 있습니다. 유창하게 말하면 음조 경계가 흐려집니다. 즉, 화자는 음조를 부드럽게 하거나 문맥에 따라 이동하거나 빠르게 말할 때 완전히 밋밋하게 만듭니다. 주로 영어로 훈련된 ASR 엔진에는 이를 처리할 기본 메커니즘이 없습니다. 완전히 다른 음향 차원을 배워야 합니다.
특히 대만의 문제는 더욱 복잡해졌습니다. 대만 중국어는 본토 보통화와 체계적으로 성조 및 발음이 다릅니다. 주로 중국 본토 말뭉치를 대상으로 훈련된 모델은 대만어 사용자를 처리할 때 측정 가능한 편견을 가지고 있습니다. Taiwan Mobile의 myVoca ASR 모델은 정부 절차 오디오에서 약 97%의 문자 정확도를 달성한 것으로 알려졌지만 이는 깨끗하고 공식적인 연설입니다. 시끄러운 고객 서비스 통화에서는 정확도가 크게 떨어집니다.
장벽 2: 코드 전환이 표준임
대만에서는 단일 고객 서비스 통화에 일반적으로 중국어와 대만어 Hokkien(台어)이 모두 포함됩니다. 이는 가끔 발생하는 것이 아닙니다. 나이가 많은 인구의 경우 기본 통신 모드입니다. 발신자는 자신의 주문 번호를 중국어로 말한 다음 Hokkien으로 전환하여 문제를 설명하고 주소를 중국어로 다시 설명할 수 있습니다.
대부분의 ASR 아키텍처는 단일 언어 입력을 가정합니다. 단일 발화 내에서 두 언어가 번갈아 사용되면 신뢰도 점수가 무너집니다. 이 모델은 한 언어의 음향 공간에서 다른 언어의 음향 공간으로 음소를 강제로 맞추려고 시도하여 잘못된 출력을 생성합니다.
공개적으로 사용 가능한 Hokkien 음성 자료는 여전히 부족합니다. 포모사 음성 인식 챌린지는 대만 음성 인식 분야의 학술적 발전을 촉진했지만, 고객 서비스의 실제 패턴인 코드 전환 중국어-호키엔 대화에 대한 레이블이 지정된 데이터는 훈련 세트에 사실상 존재하지 않습니다.
장벽 3: 고유 명사는 약한 연결고리입니다
고객 서비스에서 가장 중요한 정보는 주소, 개인 이름, 제품 식별자인 경우가 많습니다. 이것이 바로 ASR이 중국어에서 최악의 상황을 처리하는 것입니다.
대만 주소를 생각해 보세요: "3중區중신로삼段"(Sanchong District, Chongxin Road, Section 3). "중"이라는 문자는 서로 다른 발음으로 두 번 나타납니다(chóng 대 zhòng). 숫자 "三"은 다른 의미론적 역할로 반복됩니다. 구역, 도로, 구역, 차선, 골목, 번호, 층 등의 전체 주소 형식은 짧은 발화 안에 엄청난 밀도의 숫자와 고유 명사를 담았습니다. 잘못 듣는 숫자 하나는 전체 주소를 무효화합니다.
개인 이름이 더 나쁩니다. 중국어 이름은 수천 개의 문자에서 파생되며 그 중 대부분은 동음어입니다. 익숙하지 않은 이름을 접한 ASR 엔진은 기본적으로 확률이 가장 높은 동음이의어를 사용합니다. 이는 거의 항상 잘못된 것입니다. 사용자 지정 사전이나 대화 흐름에 내장된 확인 루프 없이는 이 문제를 해결할 수 있는 안정적인 방법이 없습니다.
장벽 4: 전화 오디오 품질과 훈련 데이터
이 문제는 모든 언어에 걸쳐 발생하지만 의미를 전달하는 음조 구별이 전화 코덱에 의해 가장 저하되는 주파수이기 때문에 중국어 ASR에 불균형적으로 영향을 미칩니다.
대부분의 ASR 모델은 16kHz 이상의 샘플링 속도로 팟캐스트, YouTube, 스튜디오 녹음 등 광대역 오디오에 대해 교육되었습니다. 실제 전화 통화는 8kHz 협대역으로 전송되어 음조 정보를 전달하는 주파수 범위를 압축합니다. 배경 소음, 에코, 신호 끊김, 휴대폰 마이크의 음향 특성으로 인해 입력 품질이 더욱 저하됩니다.
깨끗한 오디오에서 95% 정확도로 벤치마킹된 모델은 실제 전화 입력에서는 쉽게 80% 미만으로 떨어질 수 있습니다. 잘못 인식된 모든 단어가 잠재적으로 거래 실패를 의미하는 고객 서비스 애플리케이션의 경우 이러한 격차는 용납될 수 없습니다.
중국어 시장용 음성 AI를 평가할 때 물어볼 사항
대만이나 기타 중국어권 시장에 배포할 음성 AI 플랫폼을 평가하는 경우 5가지 질문으로 진지한 솔루션과 화려한 데모를 구분할 수 있습니다.
ASR에 어떤 훈련 데이터가 사용되었습니까? 대답이 대만 관련 미세 조정이 없는 일반 다국어 모델(Whisper, Google STT)인 경우 대만 음성 패턴에서 측정 가능한 정확도 차이가 있을 것으로 예상됩니다.
코드 전환은 어떻게 처리합니까? "우리는 중국어와 호키엔을 지원합니다."는 "우리는 문장 중간 언어 전환을 처리할 수 있습니다."와는 다릅니다. 후자에는 대부분의 플랫폼에 없는 특수 모델 아키텍처와 교육 데이터가 필요합니다.
전화 품질 오디오의 정확도는 얼마나 됩니까? 깨끗한 테스트 세트가 아닌 실제 통화 녹음에 대한 벤치마크를 요구하십시오. 실험실 정확도와 전화선 정확도의 차이는 일반적으로 10% 포인트를 초과합니다.
사용자 정의 사전을 지원할 수 있습니까? 제품 이름, 주소, 회사별 용어 등은 인식 파이프라인에 삽입할 수 있어야 합니다. 이 기능이 없으면 시스템은 가장 중요한 정보에 지속적으로 실패하게 됩니다.
종단 간 대기 시간은 얼마나 됩니까? 응답에 2초가 걸린다면 음성 인식 정확도는 아무 의미가 없습니다. 자연스러운 대화의 임계값은 말하기 종료부터 응답 시작까지 약 800밀리초입니다. 중국어로 정확성과 속도를 모두 달성하려면 의도적인 아키텍처 균형이 필요합니다.
현지화는 번역이 아니다
핵심 통찰력은 간단하지만 자주 간과됩니다. 중국어 시장에 맞게 음성 AI를 현지화하는 것은 번역 문제가 아닙니다. 리엔지니어링 문제입니다.
음향 모델 훈련 데이터, 언어 모델 사전, 발음 사전, 대화 흐름 디자인, 대기 시간 최적화 등 스택의 모든 계층을 대상 언어 및 방언에 맞게 재구성해야 합니다. 중국어 지원을 기능 매트릭스의 체크박스로 취급하는 회사는 지속적으로 생산 성능이 저조할 것입니다.
이것이 바로 이러한 문제를 처음부터 해결하는 아시아 기반 음성 AI 회사의 생태계가 성장하고 있는 이유입니다. Taiwan Mobile의 myVoca부터 ASUS 자회사 AICS, 특정 수직 사용 사례를 위한 전문 스타트업에 이르기까지 공통점은 로컬 음성 데이터 및 도메인별 최적화에 대한 막대한 투자입니다.
Pathors에서는 악센트 인식 ASR 튜닝, 사용자 정의 사전 지원 및 전화급 오디오에 대한 대기 시간 최적화를 포함하여 첫날부터 대만 중국어 상황에 맞는 음성 AI 플랫폼을 설계했습니다. 대만 고객에게 서비스를 제공하는 모든 비즈니스의 경우 발신자가 말하는 내용을 정확하게 이해하는 능력이 다른 모든 비즈니스의 기반이 되기 때문입니다.
브랜든 루
구구
AI 기술을 활용하여 고객 서비스와 비즈니스 운영을 혁신하는 데 열정을 갖고 있습니다.