통계로 세상보기

하루가 멀다하고 대선 관련 후보간 지지도가 얼마라는 식에 정치조사 결과가 기사를
장식하고 있다.(대선이 코 앞이니 당연하다고 여긴다)

그리고 기사의 말미에는 적어도 조사회사, 조사일, 조사대상, 조사방법, 표본크기,
표본추출, 표본오차 등 기초적인 조사 정보를 기재하는데 얼마 전부터 응답율이 추가됐다.
당연히 발표해야하는 응답율을 그동안 밝히지 않은 것은 잘 못 됐고, 이제라도 응답율을
밝히는 것은 늦은 감이 있지만 환영할만 하다.

참고로 왜 응답율을 밝히는 것이 늦었야하면...
공직선거법 제108조(여론조사의 결과공지금지 등) 제4항에서 분명히 함께 밝힐 것을 법으로
명기했기 때문이다. 그것도 1997년에...

□ 공직선거법 제108조 (여론조사의 결과공표금지등)
④누구든지 選擧에 관한 輿論調査의 결과를 公表 또는 報道하는 때에는 調査依賴者와
調査機關·團體名, 被調査者의 선정방법, 표본의 크기, 조사지역·일시·방법, 표본오차율,
응답율, 질문내용등을 함께 公表 또는 報道하여야 하며...<新設 1997.11.14>
(중앙선거관리위원회 홈페이지 참고)

그런데 좀 낯선 기사를 하나 봤다.

- 이명박 지지율 하락, 범여 후보 상승

기사 내용은 본인들이 판단하길 바라고... 내가 관심있게 본건 조사 정보다.

"이번 조사는 27일부터 29일까지 3일간 전국 19세 이상 남녀 1642명
(총통화시도 2만6407명)을 대상으로 전화(Auto Calling System)로 조사했으며,
최대허용 표본오차는 95% 신뢰수준에서 ±2.42%p이다."

뭔가 어색하다.
다른 기사들은 응답율을 계산해서 기재하더구만 얘는 왜이래 ?

그래서 계산해 봤다.

응답율 = 조사 응답자 1,642 ÷ 조사 시도자 26,407 = 6.2%
헉 !!!

너무 했다. -_-;;
어떻게 이렇게 낮은 응답율이 나왔고, 또 이 결과를 기사화한 그 당당함이란...

응답율이 낮다는 기준은 다른 정치조사를 토대로 작성된 기사가 밝히고 있는 응답율의
대략적인 평균을 기준으로 했다.

- 李 vs 孫 64%＞16%, 李 vs 鄭 65%＞12% : 응답율 27.51%
- 박근혜 빠진 대선 레이스 판세, 이명박 32.4%→53% : 응답율 22.4%
- 박근혜 선호한 58% ‘李 선호’ 이동 : 응답율 17.2%
- [긴급 여론조사] 70%“이명박 차기 대통령 될 것” : 응답율 22.3%

최근 10일 동안 정치조사를 토대로한 기사 중 일부이다.
응답율 평균은 대충 20% 내외로 여겨지는데 반해 6.2%는 낮아도 너무 낮다.

이유는 ?
조사방법에 따른 차이다

리얼미터라는 회사에서 조사 했다는데, 응답자의 의견을 받는 방식을 전화로 했단다.
그런데 그 "전화"가 사람간 통화가 아닌 Auto Calling System이라는 기계를 통해서
한 거란다.
그런데 이게 통상의 ARS 시스템과는 뭐가 다른지 모르겠지만...
중요한건 (경험상) 사람은 기계와 통화하기 싫어한다는 거다.

여러 이유가 있겠지만 다른 기사의 조사방법과 응답율을 비교해 봤을때,
기계를 통한 조사 참여도(응답율)가 낮다는 것은 분명해 보인다.
그렇지 않고서야 유사한(?) 전화조사임에도 약 15% 가까이 응답율이 차이를 보이는
이유를 유추하기 어렵기 때문이다.

그리고 표본크기가 아무리 크더라도 이정도면 비표본오차의 영향을 간과할 수 없고 본다.
즉 해당 조사방법에 익숙한 사람만이 조사에 참여할 가능성이 높기 때문인데, 이는
조사방법에 대한 응답자의 익수한 정도가 정치조사가 요구하는 정치성과 상관관계를
갖는다면 이는 곧 조사 결과에 영향을 미치기 때문이다.

그리고 또 놀라운건 6.2%라는 낮은 응답율을 보이는 조사를 언론사가 기사화하여
발표했다는 것이다.

응답율이 1%라도 표본크기만 대충 크면 전혀 문제될게 없다는 식에 몰상식에서
출발하는거 같은데... 심히 우려되는 바다.
앞서와 같이 응답율의 높고 낮음은 조사 결과의 대표성과 직결된다는 것을
간과하고 있다.

조사의 대표성은 조사가 갖추어야 할 기본이다.
그런데 응답율이 낮다는 것은 해당 조사 자체에 참여하기 싫다는 것이고, 이는 역으로
적극적인 참여자만의 의견이 반영된다는 편향성을 갖게 된다.
그래서 인터넷 조사에 대한 정서적(?) 신뢰도가 낮은 것이다.

물론 정서적 신뢰도가 낮으니 무시해도 된다는 것은 아니다.
기술은 계속 발전하고 있으니 그에 따른 적절한 조사방법론을 개발하고 이론적 토대를
쌓아야지, 언제까지나 옛날 처럼 설문지 들이밀면서 정치조사를 할 순 없기 때문이다.

그러나 응답율 6.2% 라는건 아무리 인심 후하게 친다해도,
조사의 대표성엔 여전히 물음표를 던지지 않을 수 없는 낮은 수치다.