넌센스

Population 2008년 07월 22일 16시

- 온라인 패널 리서치, 계층별 맞춤조사 효과 커

위에 기사를 보면 온라인 패널 리서치가 효과적이란다.
근거는...

충분한 패널이 확보되면 기업체의 요구에 따라 특정 계층을 대상으로 설문조사를 빠르게 진행할 수 있다.

마케팅조사는 소비자의 심리나 마케팅 전략을 파악하기 위해 단계적, 심층적인 조사가 필요하기 때문에 전화조사로는 한계가 있다. 응답자들이 긴 문항에 답변하는 것을 싫어하기 때문.

온라인은 이를 보완할뿐더러 동영상, 사진 등 멀티미디어를 리서치에 활용할 수 있다는 것이 장점이다.

가정의 전화 보급률이 낮아지고, 방문 조사 역시 보안 등의 이유로 환경이 점차 악화되고 있어, 온라인 리서치가 유력한 대안으로 떠오르고 있다.

통계청 조사에 따르면 우리나라 인구의 75%가 인터넷을 사용할 정도로 인터넷 보급률이 높아 대표성도 확보하고 있다.

홍보성 기사에 너무 큰 기대를 한 내 불찰이지만...
그래도 너무 했다.
인터넷 사용자 인구 비율을 내세우며 대표성을 얘기한 대목에선 썩소(?)를 보낼 만큼
무개념의 극치다.

위에 기사는
다양한 조사방법 중에서 전화조사와 온라인 조사를 비교하면서 은영 중에
온라인 조사를 일반화하고 있다.
그리고 계층별 맞춤조사에서는 효과가 크다면서도 효과의 정의에 대한 얘긴 없다.

오프라인 조사 환경의 악화 때문에 나 또한 온라인 조사에 호감을 갖긴 하지만,
응답자 풀을 이용한 조사가 대표성 있단 얘긴 한번도 못 들어봤다.
즉 대표성이 입증되지 않은 조사방법이 일반화될 순 없는거다.
(기존 조사방식은 발생되는 문제점과는 별개로 이미 헤게모니를 장악한 상태다.)

그리고 효과란,
아마도 효율을 효과라 한거 같은데...
통계에서 말하는 효율이란 간단히 말해 분산을 가리킨다.
그래서 표본론에서 표본추출시 분산을 낮추는 추출방법을 연구하는 것이다.

그런데 기사 어디에도 어떤 통계적 근거도 없이 계층별 맞춤조사에 효과가 크다고 말하니
눈만 베렸다.
아마도 업계가 푸는 썰(?)을 그냥 받아적은거 같은데...
공부 좀 해라.

그리고 만약에 응답자 풀을 이용한 온라인 조사가 효과적이라면 
오프라인 조사에서도 응답자 풀을 이용할 생각을 왜 안 했을까?
간단하다.
대표성이 없기 때문이다.

예전에 온라인 조사가 시장에 나타날때 기존 조사회사들이 뭐라고 공격했냐면...
표본의 대표성이 없다
응답을 신뢰할 수 없다
즉 시장조사의 근본이 훼손된 조사로 치부했다.

그러던 이들이 표변한 이유는?
돈 때문이다.
오프라인 조사 환경이 악화되다보니 조사 비용이 증가했다.
그러나 고객이 이를 수용하질 않았다. (또는 못했나 -_-a)
손해보는 장사는 할 수 없으니 한쪽을 포기한거다.
뭘?
데이타를...

그런데 시장조사는 기본적으로 통계학에 근간을 두고 있는데,
이를 포기했다고 말 할 순 없는 노릇.
그래서 오프라인 조사와 온라인 조사의 데이타 품질 간 차이 유무를 입증하려는 노력을
하고 있다.

이지영 외1명, 2006, "온라인 패널 조사와 오프라인 대인면접 조사 간 데이터 품질 비교 :
신뢰도와 타당도를 중심으로", 마케팅연구, 21권 4호.

위 논문의 연구 방법은 뭔 소린진 모르겠지만, 결론 부분에...

온라인 조사는 오프라인 조사와 데이터 품질상 최소한 대등한 수준이며, 평가차원에 따라서는 종종 더 우수한 데이터품질을 보이는 것으로 나타났다.

라고 했다. 그러나...

본 연구 결과에 근거하여 온라인 조사의 경우 어떠한 형태의 조사를 하더라도 오프라인 조사보다 최소한 대등한 수준의 데이터 품질을 얻을 수 있다고 결론을 내리는 것은 위험하다.

라고 연구 성과를 제한했다. 그러면서...

첫째, 본 연구에서는 '표본대표성'과 관련된 문제는 다루지 않았다. (중략)
둘째, (중략) 다른 다양한 형태의 척도에 대한 온라인 데이터의 품질에 대해서는 평가하지 못하였다. (중략)
셋째, (중략) 일반 인터넷 사용자로 구성된 표본에 대한 일반화 측면에서는 어느 정도 한계점이 존재한다. (중략)

라고 연구 한계를 기술했다.

만약 위에서 말한 연구 한계 중 첫번째 만이라도 해결된다면 기존 오프라인 조사는
역사 속으로 사라지고, 응답자 풀을 이용한 온라인 조사가 헤게모니를 장악하는
새시대(?)가 열릴 것이다.

But 그러나...
표본이 대표성을 가질려면 포함확률이 0 보다 커야하는데, 이는 절대 불가능하다.
왜냐하면...
한국인터넷진흥원 자료에 따르면 2007년 인터넷 이용자 인구는 대략 3,482만명이다.
그리고 온라인 조사 업계 1위를 달린다는 회사의 응답자 풀 크기는 약 42만명이니
응답자 풀 참여율이 약 1.2% 밖에 되지 않을 정도로 극히 낮다.
그러니 포함확률을 논한다는 자체가 우스운 것이고 대표성 얘긴 꺼낼수도 없는 것이다.
(그래서 차이 유무에 대한 연구는 더러 보여도 대표성에 대한 연구는
눈에 띄지 않는 것일게다.)

여기서 한국마케팅여론조사협회 회장이 인터뷰한 기사를 잠깐 보자.

- 광고와 리서치, 순망치한

그 중에서...

또한 마케팅 조사에서는 인구사회학적인 대표성 뿐만 아니라 특정 경험의 대표성이랄까, 통계적 유의미성 보다는 실체적 유의미성이 중요할 때가 있습니다.

결국 기존의 방법이나 통계적 유의성에 집착할 것이 아니라 다양하고 새로운 기법, 또 실체적 유의미성에 더 접근하려고 하는 열린 마음이 필요할 것 같다라는 생각이 들어요.

위 얘기를 내 방식으로 정리하면...

더이상(?) 시장조사의 근간을 통계학에 두지 않겠습니다. 땅땅땅

벌써 부터 그래왔으면서도 기존 오프라인 조사에서 나타나는 문제점에 대한 반성 없이
통계적인양 떠벌리던 습성을 버린다고하니, 커밍아웃 한 것을 차라리 환영할 정도다.

내가 온라인 조사에 호감을 가지면서도 넘지 못하는 선이 하나 있는데...
사실을 사실이 아니라고 그 누구도 말하진 않을 것이다.
그렇다면 온라인 조사의 대표성을 어떻게 담보할 것인지 말해주렴?

트랙백 주소 :: http://instatistics.officetutor.org/trackback/970

댓글을 달아 주세요