여론조사, 믿어도 될까?
스크롤 이동 상태바
여론조사, 믿어도 될까?
  • 정진호 기자
  • 승인 2016.09.02 13:21
  • 댓글 0
이 기사를 공유합니다

신뢰수준·오차범위·표본 등 유의해서 살펴봐야

(시사오늘, 시사ON, 시사온= 정진호 기자) 

▲ 지난 3월 국민대학교 북악정치포럼 연단에 선 리얼미터 이택수 대표 ⓒ 뉴시스

여론조사에 대한 반응은 극단적으로 나뉜다. 앞서는 쪽은 결과를 맹신하고, 뒤지는 쪽은 신뢰성 자체를 의심한다. 그러나 두 가지 모두 정답과는 거리가 먼 반응이다. 여론조사가 여론을 정확히 측정한다는 것도, 적은 표본의 조사만으로 전체 의견을 가늠하기 어렵다는 것도 모두 편견이다.

흔히 여론조사 결과를 의심하는 사람들은 “5천 만의 인구 중 몇 천 명만을 조사해놓고 ‘여론’이라고 말할 수 있느냐”고 이의를 제기한다. 이는 여론조사의 원리는 정확히 이해하지 못한 데서 발생하는 잘못된 해석이다.

선거와 여론조사는 방식 자체가 다르다. 선거가 ‘100명 중 몇 명이 A후보·B후보를 지지하는지’에 대한 것이라면, 여론조사는 ‘100명 중 A후보자의 지지자가 특정 구간에 분포할 확률’을 구하는 것이다. 응답자가 적기 때문에 여론을 정확히 반영할 수 없다는 오해는 여기서 비롯된다. 사람들은 여론조사를 ‘미니 선거’라고 믿기 때문에 응답자가 많을수록 여론을 더욱 정확히 측정할 수 있다고 생각한다. 하지만 여론조사는 ‘확률’을 조사하는 것이므로, 통계학의 정리(定理) 중 하나인 ‘대수의 법칙’을 따른다.

대수의 법칙은 어떤 일이 일어날 확률이 p일 경우, 그 일을 반복 시행하는 횟수가 늘어날수록 그 평균값이 p에 근접하게 되는 원리를 말한다. 즉, 조사의 대상이 되는 집단을 전수 조사하지 않더라도 수천 번만 같은 조사를 반복 수행해 보면 결과는 특정 값에 근접하게 나타난다는 뜻이다. 여론조사 전문가들은 반복 시행 횟수가 2000회 정도면 p값에 이미 근접해 있을 확률이 높다고 본다. 대다수 여론조사 기관들이 응답자 수를 2000명 수준으로 결정하는 이유가 여기에 있다.

그렇다면 여론조사를 무조건 신뢰해야 할까? 그렇지는 않다. 여론조사 정확도를 높이려면, 모집단의 여론을 충실히 반영할 수 있는 표본을 추출할 수 있어야 한다. 여기서 모집단이란 통계적인 관찰의 대상이 되는 집단 전체를 말하며, 표본은 모집단을 대표하는 집단으로 연구에 실제 참여하는 집단을 일컫는다. 대통령 선거에 대한 여론조사라면, 모집단은 투표권을 가진 대한민국 국민 전체며, 표본은 여론조사 기관이 선택한 조사 대상이 된다.

문제는 표본 추출 방식이다. 여론조사를 실시할 경우, 목적에 따라 표본을 달리해야 한다. 가령, 대통령 선거 관련 여론조사를 하면서 특정 지역·특정 연령에서 표본을 많이 뽑으면 결과가 왜곡될 가능성이 높다. 무상급식에 대한 여론조사를 수행할 때는 응답자의 아이가 현재 아이가 학교에 다니고 있는지 그렇지 않은지에 따라 결과가 크게 달라질 것이다. 여론조사 목적에 부합하는 표본이 선택되지 않을 경우, 여론조사 결과와 실제 여론의 괴리는 커질 수밖에 없다. 몇 명을 대상으로 조사했는가 하는 것보다는 누구를 대상으로 조사했는지가 더 중요한 셈이다.

응답률도 살펴봐야 한다. 이론적으로는 2000~2500명 정도의 응답자만 확보하면 신뢰할 수 있는 여론조사로 본다. 그러나 만약 10만 명에게 전화를 걸어 2000명에게만 응답을 받았다면, 이는 문제가 될 수 있다. 응답률이 낮으면 그만큼 여론조사에 관심이 많거나, 시간적 여유가 있는 사람들이 여론조사에 응답했을 확률이 높다. 이렇게 되면 여론조사 결과는 특정 집단의 의견을 과대 대표할 가능성이 크다.

이에 대해 〈리얼미터〉의 이택수 대표는 지난 3월 국민대학교 북악정치포럼 강연에서 “공직선거법상 여론조사를 밤 10시까지밖에 못하는데, 20~30대는 집에 그 시간에 잘 없다”며 “가상의 번호로 시작하는 핸드폰 번호를 제공해 여론조사를 수행하는 안심번호 여론조사를 도입해 휴대전화로 (조사)하면 응답률이 훨씬 높고 정확하다”고 여론조사의 신뢰성을 높일 수 있는 대안을 제시하기도 했다.

신뢰수준과 표본오차도 확인해야 한다. 95%의 신뢰수준이란 95% 믿을 수 있다는 의미가 아니라, 표본을 달리해서 100번 같은 조사를 수행하면 95번은 비슷한 결과가 나온다는 의미다. 예를 들어 신뢰수준 95%에 표본오차가 +-2%인 여론조사 결과가 있고, A후보의 지지율이 75%, B후보의 지지율이 25%라면, 같은 조사를 다른 표본을 뽑아 100번 시행했을 때 95번은 A후보 지지율이 73~77%, B후보 지지율이 23~27% 범위 내에서 나온다는 뜻이다. 즉, 신뢰수준이 충분히 높고 오차범위가 좁아야만 믿을 수 있는 여론조사라고 할 수 있다.

프랑스 에콜 폴리테크니크의 질 도웩 교수는 자신의 저서를 통해 “응답자의 수를 모집단 크기와 비교하는 것은 옳지 않다”며 “중요한 것은 응답자의 절대적인 숫자이지, 모집단의 크기에 따라 맞춰진 응답자의 숫자가 아니다”라고 밝혔다. 이어 “다만 여론조사에 지나친 정확성을 부여해서는 안 된다”면서 “충분히 높은 신뢰 수준에 폭이 좁은 오차 범위를 보이는 신뢰 구간, 모집단을 대표하는 응답자, 앞뒤가 맞는 결과 등이 보장돼 있다 하더라도 오차가 원래 허용했던 범위보다 클 가능성은 항상 남아 있다”고 지적했다.

 

담당업무 : 국회 및 국민의힘 출입합니다.
좌우명 : 인생 짧다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.