AI 전화조사 전에 꼭 알아야 할 통계: 유효 표본 1,068명, 신뢰수준, 표본오차와 면접원 효과 (2026)

개념 1: 신뢰수준과 표본오차, 1,068의 출처

비율(예: 만족한 고객의 비율)을 단순무작위추출로 추정할 때 필요한 표본 수는 다음과 같습니다.

n = z² × p(1−p) ÷ e²

계산 예시: 신뢰수준 95%, p = 0.5, e = 0.03이면 n = 1.96² × 0.25 ÷ 0.0009 = 1,067.1, 올림하여 1,068명입니다.

'95% 신뢰수준'은 같은 방법으로 여러 번 표본을 뽑으면 약 95%의 구간이 참값을 포함한다는 뜻입니다. '이번 구간에 참값이 95% 확률로 들어 있다'는 뜻이 아닙니다. 99%에서 ±3%를 유지하려면 약 1,844명이 필요합니다.

또한 ±3%는 p = 0.5일 때의 최댓값입니다. 결과가 10%인 문항이라면 같은 1,068명이라도 오차는 약 ±1.8%입니다.

개념 2: 표본 수 표와 하위집단 오차

핵심은 두 가지입니다. 오차는 표본 수의 제곱근에 반비례하므로 절반으로 줄이려면 표본이 네 배 필요합니다. 그리고 ±3%는 전체 표본에만 해당합니다.

계산 예시: 1,068명 고객만족도 조사에서 '최근 1년 신규 고객'이 200명이라면 이 하위집단의 오차는 약 ±6.9%입니다. '신규 고객 만족도 52%, 전체 48%'라는 4%포인트 차이는 하위집단 오차 범위 안이므로, 신규 고객이 더 만족한다고 결론 내릴 수 없습니다.

개념 3: 응답률, 왜 몇 배나 많은 번호에 거는가

1,068은 완료 수이지 발신 수가 아닙니다. 흔히 쓰는 지표는 접촉률(유효 번호 중 응답자와 접촉한 비율), 협조율(접촉한 적격자 중 완료한 비율), 응답률(적격 사례 전체 대비 완료 수)입니다. 미국여론조사학회 AAPOR의 '표준 정의'가 널리 쓰이는 기준입니다.

계산 예시 (설명용, 비율은 가정이며 업계 통계가 아님):

이 가정에서는 완료 1건당 약 12개 번호에 걸어야 하며 재발신은 포함하지 않았습니다. 응답률이 낮다고 결과가 곧 틀린 것은 아니지만, 다음 질문이 생깁니다. 응답하지 않은 사람은 응답한 사람과 같을까요?

개념 4: 표본오차와 비표본오차

표본오차는 일부에게만 묻기 때문에 생기는 무작위 오차로, 공식으로 계산할 수 있고 표본이 커지면 줄어듭니다. 비표본오차는 체계적이어서 표본을 늘려도 사라지지 않습니다.

보고서의 ±3%는 첫 번째인 표본오차만 다룹니다. 같은 주제의 두 조사가 8%포인트 차이 난다면, 원인은 대개 이 표 안에 있습니다.

개념 5: 면접원 효과, AI가 면접원이 되면 무엇이 바뀌나

같은 설문지라도 면접원에 따라 답이 체계적으로 달라집니다. 이를 면접원 효과라 하며, 면접원 내 상관계수 ρ로 측정할 수 있고 분산을 키웁니다.

설계효과 ≈ 1 + ρ × (면접원 1인당 평균 완료 수 − 1)

계산 예시: 면접원 20명이 1,068명(1인당 약 53명)을 나누어 맡고 ρ = 0.01(예시값)이라 하면 설계효과는 약 1 + 0.01 × 52 = 1.52입니다. 유효 표본은 약 701명으로 줄고 오차는 ±3.0%에서 약 ±3.7%로 커지지만, 보고서에는 여전히 ±3%라고 적힙니다.

면접원이 AI라면 모든 통화에서 같은 표현·어조·속도로 원문 그대로 읽으므로 면접원 간 차이라는 성분이 사라집니다. 이는 마케팅 문구가 아니라 통계적 성질입니다. 표현이 일정하면 측정 조건도 일정합니다.

반대 측면도 있습니다. 모든 통화가 한 명의 '면접원'을 공유하므로 스크립트가 유도적이면 편향이 상쇄되지 않고 모든 통화에 똑같이 적용됩니다. AI는 면접원 변동을 '스크립트가 중립적인가'의 문제로 바꾸므로 파일럿과 문항 검토가 더 중요해집니다. 음성 인식 오류와 모드 효과(기계 상대로는 답하는 방식이 달라짐)도 검증이 필요한 측정 오차입니다.

개념 6: 무응답 편향과 가중치, 고칠 수 있는 것과 없는 것

무응답 편향은 대략 무응답 비율 × 응답자와 무응답자의 차이입니다.

계산 예시: 응답률 30%, 응답자의 60%가 만족하지만 무응답자는 실제로 50%만 만족한다면, 참값은 0.3 × 60% + 0.7 × 50% = 53%인데 보고서는 60%라고 씁니다. 7%포인트의 편향으로 ±3%보다 훨씬 큽니다.

흔한 보정 방법이 가중치로, 표본 구성을 모집단에 맞춥니다. 계산 예시: 60세 이상이 전체 고객의 40%인데 표본에서는 30%라면 이들의 가중치는 40 ÷ 30 ≈ 1.33, 나머지는 60 ÷ 70 ≈ 0.86입니다.

가중치로 고칠 수 있는 것은 가중 변수(연령, 성별, 지역)의 구성비 불균형입니다. 고칠 수 없는 것은 같은 집단 안에서 응하는 사람과 응하지 않는 사람의 차이, 그리고 표본 틀에 아예 없는 사람입니다. 대가도 있어서 가중치 차이가 클수록 유효 표본이 작아집니다. 위 예에서는 1,068명의 유효 표본이 약 1,019명으로 줄고, 변수가 많고 가중치가 극단적일수록 오차는 더 커집니다.

개념 7: 음성 설문의 문항 표현과 순서 효과

설문을 '읽을 때'와 '들을 때' 응답자의 행동은 다릅니다.

이 효과들은 사람이든 AI든 나타나지만, AI는 설계를 한 글자도 다르지 않게 반복합니다. 좋은 설계면 모든 통화가 좋고, 편향된 설계면 모든 통화가 편향됩니다.

컴플라이언스 메모 (대만)