통계로 세상보기

아랫 기사의 서두 부분이다.

- 이-박 지지도, 10% 이내로 좁혀져...8.6%p

"한국사회여론연구소(KSOI,○○○소장)의 정기 여론조사 결과에 따르면,
○○○·○○○ 두 후보간 지지도 격차가 처음으로 10% 이내로 좁혀든 것으로
나타났다. 다소 '보수적인 조사' 결과를 보여온 KSOI 여론조사에서 두 후보간
격차가 한자릿수로 좁혀진 것은 이번이 처음이다."

이때 '보수적인 조사' 결과 라는게 뭔 소린지 도통 모르겠다.

여론조사든 시장조사든 간에 기본적으로 조사설계는 모집단(기사의 경우는 유권자)을
대표할 수 있는 표본을 어떻게 구성할 것인지, 적절한 표본의 크기는 얼마인지, 이때
분산이 최소가 되는 최적의 표본을 어떻게 선발할 것인지 등을 계산해내는 과정이다.
(빠듯한 조사일정 때문일수도 있겠고, 인력이 없어서도 있겠지만 통상의 시장조사 및
여론조사에서 이를 왜 중요시 여기지를 않는지 아직도 모르겠다.)

쉽게말해 조사설계는 조사목적을 얻기 위해 더하기 빼기 곱하기 나누기를 통해서
산출되는 것인데, 즉 감정의 개입 없는 통계적 계산과정을 거치는데 '보수적인 조사' 결과
라는 알듯모를듯한 용어를 썼다.
물론 다소라는 토를 앞에 달았지만...

혹시 조사설계시 계산되는 표본오차가 아닌 비표본오차를 일컫는 것일까 ?

표본오차는 말 그대로 전체가 아닌 표본만을 조사하기에 발생되는 통계적(확률적)으로
발생될 수 있는 오차를 말한다.
그리고 비표본오차는 앞서 얘기한 통계적 오차 외에 발생되는 모든 오차를 말한다.

조금 낯선 용어일거 같은데 이런 거다.

1번 응답자에게는 어느 후보를 지지하냐고 물어보면서 가,나,다 후보 순으로 물어본다.
2번 응답자에게는 똑같이 어느 후보를 지지하냐고 물어보면서 나,가,다 후보 순으로
물어본다.
3번 응답자에게는 똑같이 어느 후보를 지지하냐고 물어보면서 다,나,가 후보 순으로
물어보는 등 응답자에 따라 후보의 순서를 무작위로 나열하며 조사하지 않고,
1번,2번,3번 응답자 모두에게 가,나,다 후보 순으로 조사했을 때 의도하지 않은
치우침(편의,bias) 현상이 발생되 조사 결과에 영향을 미치는 경우가 있겠고...

우연찮게 (인기리에 방영된) '모래시계'가 방영되는 요일과 주류 소비량 조사 일정이
맞물려, 이 또한 의도하지 않은 치우침 현상이 발생되 조사 결과에 영향을 미칠 수도 있다.

또는 아무리 선의 일지라도 조사목적이 응답자에 노출돼 조사결과에 영향을 주는 경우도
있겠다. (이때문에 일반적인 여론조사에서 통계 종사자 및 광고 종사자는 조사대상에서
기본적으로 제외된다.)

그리고 인터넷이란 매체를 통해서 조사를 진행한다든지 또는 기계음 나는 ARS를 이용해
전화조사를 진행한다든지 해서, 해당 조사방법에 익숙치 않은 응답자들은 배제되는 경우도
치우침이 발생될 소지가 다분하다.

그러나 최악의 경우는 오용에 해당되는...
여름 휴가철을 의도적으로 겨냥해 도심 통행량 조사를 진행하여 의도된 치우침이 발생되게
할 수도 있다. (물론 가정이다)

이런 것들이 비표본오차로 분류되고 오차를 발생시키게 되지만 다행인 것은
표본크기가 크면 클수록 비표본오차의 영향력은 줄어든다는 것이다.
그래서 500명 여론조사한거랑 1000명 여론조사한거랑 결과가 같을 수가 없다.
(같은 25%, 35% 나왔어도 분산이 다르므로 애초부터 같을래야 같을 수도 없다.)

이럴진데 ('다소'라는 토를 달았지만) '보수적인 조사' 결과란 도대체 무엇을 말하는걸까.

조사 결과의 해석을 보수적으로 한다는 것인가 ?
(통계적으로는 신뢰수준을 낮게 적용한 경우로 볼 수 있는데, 이때는 역으로 제2종오류가
발생될 확률이 높아진다.)
아니면 조사설계에 인위적인 의도가 개입 됐다는 것인가 ?
(조사가 맞고 틀리고를 떠나 잘못된 조사로 전혀 신뢰할 수 없다.)
그도 아니라면 단순히 기자의 관점이라는 것인가 ?
그렇다면 역으로 다소 '진보적인 조사' 결과 란 그럼 뭔가 ?