통계로 세상보기

일전에도 잠깐 얘기했지만, 비표본오차/표본추출 등에 문제를 얘기하는건 배 부른 소리로,
통상의 오프라인조사는 응답자 구하기가 점점 더 어려워지고 있다.
즉 응답률이 낮아지고 있는 현상황에서 교과서적인 얘기만 떠들어 봤자 기대 이상의
생산성을 바라는건 어쩌면 욕심일 것이다.

그런 관점에서 짧은 생각이지만 온라인조사가 대안일 수 있다고 보는데,
온라인조사의 큰 한계는...

▶ 온라인(인터넷) 사용자만이 조사에 참여 할 수 있다 → 대표성 결여
▶ 능동적으로 참여한 응답자에게서만 응답 받을 수 있다 → 대표성 결여/편의 발생
▶ 조사 내용이 응답자에게 정확히 전달된 상태에서 응답한 것인지 확신할 수 없다
    → 비표본오차 발생

즉 부정확한 조사로써, 어쩌면 온라인조사 자체는 이 한계를 벗어날 수 없을 지도 모르겠다.

그런데 앞서도 얘기 했듯이, 대표성이 부족하기 때문에 '사이비'조사라고 마냥 무시하기에는
오프라인조사 상황이 녹녹치 않다는거다.
즉 대안을 찾아야될 시점이라 보고,
그 대안을 어디서 찾을 것인지
그리고 그 한계를 어떻게 극복할 것이지를
연구하는게 좀더 생산적이라고 봤을때,
온라인조사에 대해 좀더 능동적으로 접근할 필요성이 있다고 본다.
(아마도 통계 전공자가 이글을 본다면 콧방귀도 안 뀔 거다. -_-;;)

그래서 논문을 찾아보던중 흥미있는걸 찾았다.

안주아, 2002, "자발적 참여에 기초한 온라인 여론조사의 타당성 확인을 위한 추적조사",
한국방송학보, 16권2호, 213-241.

결론은 역시나 예상대로다.

▶ 결과 해석은 상당히 유보적 견지에서 판단
▶ 장기간 조사할 것
▶ 조사기간 동안 결과를 공개하지 말 것
▶ 모집단을 정확히 대표 할 수 없다는 것을 실증적으로 증명한 것
▶ 추후 다양한 영역에서의 검증 필요

쉽게말해 자발적 참여 온라인조사는 아니올시다 인데... 나 또한 동감한다.
그렇지만 시장은 이미 변화하고 있다.

- 온라인 조사 시장, 2007년 2,100억 원에 이를 것

물론 업계의 조사방법은 앞서 논문의 방법과는 다르다.
(업계에서는 응답자풀을 이용한 조사를 주로 한다. 그리고 시장규모도 영~ 동의하기
어려운 수치다.)

그러나...
여러 문제점을 자타가 인정함에도 불구하고 이 성장세는 무엇을 말하는 것일까?
미흡한 부분이 많지만, 현실적 대안은 온라인조사라는 시각은 아닐까?

내 아무리 개구멍 출신이지만... 난감하다.
과학은 현실과 타협하면 안되기 때문이다. 타협하는 그 순간 객관성을 잃어버릴테니...

그리고 다른 논문도 몇개 눈에 띄었다.

김영권 외 3명, 2000, "다중 추출틀 조사기법을 적용한 인터넷 조사와 전화조사의 사례연구",
한국조사연구학회 추계학술대회 발표논문집, 141-154.
조성겸 외 2명, 2005, "인터넷 여론조사의 정확도 관련요인", 조사연구, 6권 2호, 51-74.

위에 논문을 보면, 앞서 안주아와는 다른, 응답자풀을 이용한 조사방법으로 했을때
어느 정도에 성과를 보인 것으로 여겨진다.
그렇다고 대표성과 편의 문제를 완전히 해결했다고 여겨지지는 않는다.

김영권 외 논문은 서로 다른 추출방법을 하나로 결합해 결과를 유도하여 대표성을 보완하는
방법을 제안했고, 조성겸 외 논문은 응답자(모집단) 특성에 따른 가중치를 이용해 편의를
축소하는 방법을 제안했는데 이 두 논문 모두 정치조사를 사례로 작성되어 있다.
그런데 정치조사를 제외한 다양한 조사에서 응답자 특성을 먼저 알기는 현실적으로
어려운 부분이 상당히 많다는 한계가 있다.
(여기서 한계는 비용(인력)과 시간이다.)

그래서 논문 말미에, 후속 연구가 필요하다고 얘기하지 않는가.
그렇다해도 일정부분 성과를 거뒀다고 의미를 부여하고 싶다.

그런데 표본론에서 다루는 확률추출은 오프라인조사에서는 현실적 이유 즉 비용(인력),
시간  때문에 거의 이용하지 못하고, 거의 대부분에 조사를 유의추출을 사용한다.
즉 통계가 제시하는 표본추출방법이 아니라는거다.
그렇게 봤을때 오프라인조사 또한 대표성과 편의, 비표본오차의 한계를 어차피 안고 있으나,
현재 일반화된 조사방법이라는 주도권을 장악하고 있기에 비교 대상이 된것 뿐이라고 감히
평가한다.
(이 글을 현업 사람들이 본다면 아마도 육두문자 내뱉을 것이다.)

인터넷 검색을 통해 접해본 논문이 몇 편 되지도 않고 내용을 모두 소화할 능력도 없지만,
다각적인 연구가 진행된다면 온라인조사도 무시하고 넘길 조사방법은 아니라는
일말의 희망을 가져본다.