[시사오늘·시사ON·시사온=조서영 기자]
“여론조사가 뭐이래?” 여의도 정치권에서 심심찮게 들려오는 소리다.
여기 두 개의 여론조사가 있다. 10월 22일과 23일 이틀 간 ‘국민의힘 대선 후보’에 대해 물었다는 점에서 맥락을 같이 한다. 하지만 조사 결과는 정반대였다.
<뉴데일리>와 <시사경남> 의뢰로 <PNR(피플네트웍스리서치)>가 조사한 결과, 윤석열 전 검찰총장(35.8%)이 홍준표 의원(29.4%)을 6.4%포인트 앞섰다. 반면 <데일리안>이 <여론조사 공정(주)>에 의뢰해 실시한 조사에 따르면, 홍 의원(38.6%)이 윤 전 검찰총장(34.8%)을 3.8%포인트 앞섰다.
이러한 차이는 더불어민주당 이재명 대선 후보와의 가상 양자 대결에서 더욱 극명하게 드러났다. <뉴데일리> 조사에서 윤석열-이재명의 양자 대결은 41.8% 대 36.5%로 5.3%포인트였으나, 홍준표-이재명은 39.5% 대 37.6%로 1.9%포인트에 불과했다. 반면 <데일리안> 조사에서 윤석열-이재명의 양자 대결은 45.9% 대 39.1%로 6.8%포인트 차이에 불과했으나, 홍준표-이재명은 50.9% 대 35.3%로 15.6%포인트나 차이 났다.
그렇다면 같은 조사 기간 동안 비슷한 궁금증을 해결하기 위해 실시한 두 여론조사의 결과는 왜 달랐을까. <시사오늘>은 이를 세 가지 원인으로 분석했다.
1. 질문: 경쟁력 vs 예측도
먼저 설문지를 살펴보자. 두 여론조사는 ‘본 설문의 순서’와 ‘질문의 내용’이 달랐다. <뉴데일리>는 ‘대선 공감도’ 이후 ‘국민의힘 대선 후보 적합도’를 물었으나, <데일리안>의 경우 ‘문재인 대통령 국정 수행 평가’와 ‘정당 지지도’ 다음 ‘국민의힘 대선 후보 예측도’를 물었다.
본 질문을 하기 직전 질문이 결과에 영향을 끼치곤 한다. 예를 들어 특정 후보에 대한 부정적인 이슈에 대해 어떻게 생각하는지를 물은 뒤, 다음 질문에서 선호도를 물을 경우 그 후보가 부정적인 평가를 받을 가능성이 높아진다. 그러나 두 여론조사의 경우에는 본 설문의 순서가 다소 차이가 있었으나, 영향을 주진 않았을 것으로 보인다.
문제는 본 질문의 내용이다. <뉴데일리>는 ‘적합도’를, <데일리안>은 ‘예측도’를 물었다. 뉴데일리는 “국민의힘 대통령 후보 경선에 출마한 다음 인물들 중 누가 대통령 후보로 선출되는 것이 당선 경쟁력이 높다고 생각하십니까”라고 물었다. 즉 어떤 후보가 됐으면 하는지에 대한 ‘선호도’ 조사가 아닌, ‘승리 가능성’을 따진 질문이었다. 반면 데일리안은 “누가 국민의힘 대통령 후보가 될 것으로 예측하십니까?”라고 물어 차이가 있었다.
이와 관련 이은영 휴먼앤데이터 소장은 “뉴데일리는 경쟁력 문항이라 조금 더 객관적으로 응답할 수 있는 반면, 데일리안이 물은 예측도는 주관이 강한 답변을 얻어내게 되는 질문”이라 해석했다. 이 소장은 27일 <시사오늘>과의 통화에서 “‘누가 될 것 같냐’는 질문은 응답자의 바람이나 희망이 투영될 가능성이 높다”고 설명했다.
한편 두 여론조사 모두 ‘1) 원희룡 2) 유승민 3) 윤석열 4) 홍준표’를 ㄱㄴㄷ 순으로 배치하고, 선택형 객관식으로 순환했다는 점에서 동일했다.
2. 조사 방법: 85% vs 100%
여론조사 기관들의 선거 적중률이 높아진 것은 달라진 조사 방법 때문이다. 그중에서도 2010년 이후에 도입한 ‘RDD(임의전화걸기·Random Digit Dialing)’와 2018년 도입된 ‘안심번호’가 큰 역할을 했다. 이택수 리얼미터 대표는 “조사 방법에 따라 얼마든지 격차를 조절할 수 있다”며 “그 정확성은 샘플링, 즉 어떤 표본을 대상으로 하느냐에서 비롯된다”고 설명했다.
이 대표는 지난 4월 한 강연에서 “지금껏 선거 예측 실패가 잦았던 이유는 전화번호부에 등재된 유선 전화 사용 가구만을 대상으로 조사했기 때문”이라 분석했다. 그러나 2010년 RDD 도입이 비등재 가구까지 조사할 수 있는 길을 열었다. 이는 0000~999까지의 무작위로 추출된 번호로 전화를 걸기 때문에 가능한 결과였다. 여기에 2018년 이동 통신 3사로부터 안심번호를 받게 되면서, 무선 전화 가구를 포함해 표본의 정확성이 더욱 높아졌다.
뉴데일리는 무선과 유선 전화 비율을 섞었다. 무선 85%와 유선 15% 자동 응답(ARS) 방식을 사용했다. 반면 데일리안은 무선 100% 자동 응답으로 진행했다. 과연 15%포인트의 조사 방법의 차이가 결과를 뒤바꿨을까. 15%의 유선 비율이 정확도에 얼마나 영향을 끼쳤을지는 장담할 수 없으나, 유·무선 비율을 조정해 조사하는 것이 연령의 균형을 맞출 수 있다는 입장이 있다.
이 대표는 “통신사로부터 안심번호를 받을 수 있지만, 알뜰 폰은 예외”라며 “보통 어르신들이 쓰는 알뜰 폰과 유선 전화 비율이 비슷하다고 전제한다면, 유·무선 비율을 조정해 조사하는 것이 합리적이라 판단한다”고 말했다.
한편 뉴데일리는 1001명이 최종 응답을 했으며, 응답률은 4.4%였다. 데일리안은 1002명으로 응답률은 5.1%로 비슷했다. 표본오차는 95% 신뢰수준에 ±3.1%로 동일했다. 아울러 응답자의 지역·성·연령의 분포 역시 유의미한 차이를 보이지 않았다.
3. 정치적 성향?
들쑥날쑥한 결과는 유권자로 하여금 여론조사의 신뢰도를 낮추고 있다. 그러나 자세히 뜯어보면, 조사 기관마다 질문의 표현이나 조사 방법 등의 미세한 차이가 있다. 그러한 차이가 모여 표본이 달라지고, 달라진 표본이 달라진 어감의 질문을 받으면 결과 역시 달라질 수밖에 없다.
그러나 유권자들은 이러한 결과를 세세하게 분석할 시간이 없다. 요약된 기사 제목 역시 속단하게 만드는 데 한 몫 한다. 때문에 결과에 따라 조사하는 기관의 정치적 성향을 의심하거나, 이를 의뢰한 언론사의 성향을 탓하는 편이 쉬워졌다.
이은영 휴먼앤데이터 소장은 이를 ‘하우스 이펙트(House Effect)’라 설명했다.
이 소장은 “조사 결과가 일반적이지 않거나 특이할 경우 의뢰한 매체가 어딘지, 여론조사 회사가 어딘지 눈 여겨 보게 된다”고 전제한 뒤 “조사 기관 이미지가 결과에 영향을 주긴 하지만 수치상으로는 확인이 안 된다”고 말했다.
이어 “의뢰한 언론사만 보도하는 것이 아니라 타 언론에서 인용 보도하게 되면서, 여기에 유권자들의 판단이 들어가면 하우스 이펙트가 생긴다”며 “그 효과가 실제 투표 결과에 영향을 미치는지는 연구 과제”라고 덧붙였다.
* 본 기사에 인용된 여론조사의 자세한 조사개요와 결과는 중앙선거여론조사심의위원회 홈페이지(http://www.nesdc.go.kr)를 참조하면 된다.
좌우명 : 행복하게 살자