매일경제

여론(輿論·Public Opinion)은 사회 다수의 일반적인 의견이다. 첨예한 이슈를 다룰 때 중요한 기준이 된다. 여론에 부합하는 결정이 정당성을 갖기 때문이다. 문제는 여론의 실체가 모호하다는 것이다. 다양한 의견 중에 어느 것이 여론인지 확실히 짚어내기 어렵다. 여론을 알려고 조사를 실시하지만 여론조사 결과를 놓고 신뢰성 공방이 벌어진다. 같은 이슈를 놓고 비슷한 때에 했는데 딴판의 결과가 나오기도 한다.

하루가 멀다 하고 쏟아져 나오는 여론조사 결과, 어떻게 읽고 어떻게 해석해야 할까. 여론조사의 세계로 들어가 본다. 2편은 여론조사를 둘러싼 세간의 의문과 그 답이다. 기사에서 소개되는 여론조사 결과의 자세한 내용은 중앙선거여론조사심의위원회(여심위) 또는 여론조사업체 홈페이지에서 확인할 수 있다.

내 주변=나와 비슷한 생각
개인이 가진 관계의 보폭은 구성원 전체의 성향을 아우를 수 없다. 연령·지역·경제력이 비슷한 사람들의 경우 사회적 경험과 이해관계가 비슷하다. 구성원 전체를 세분화해 인구수에 맞게 표본을 뽑아 의견을 묻는 여론조사에 비하면 개인의 생각과 그 주변의 의견은 상대적으로 치우쳤을 가능성이 있다.

여론조사업체 관계자는 "'내 주변'에 있는 사람은 상당수 '나'와 비슷한 생각을 가지고 있다"면서 "여론조사의 가장 큰 순기능은 이 사회 안에 나와 다른 생각을 가진 사람이 얼마나 많은지를 확인할 수 있다는 것"이라고 설명했다.

지역조사와 전국조사

지역 조사와 전국 조사의 차이에서도 이런 모습을 엿볼 수 있다. 한국갤럽의 최근 조사다. 지난 6일 발표한 광주·전남 지역 대통령 직무수행 평가(뉴시스·무등일보·사랑방신문 의뢰로 5~6일 광주·전남 성인 남녀 1003명을 대상으로 RDD 전화면접 무선 81%·유선 19% 조사, 신뢰수준 95%에 표본오차 ±3.1%포인트, 응답률 19.5%)에선 대통령 직무수행에 대해 '잘하고 있다'가 72.0%, '잘못하고 있다'가 18.8%였다.

표본 초과로 조사 중단 경우 있어
결론적으로 가능성이 낮은 얘기다. 일단 자동응답(ARS) 방식의 경우 나이 등을 조건으로 중간에 조사를 일방적으로 중단하는 건 불가능하다. 전화면접의 경우도 CATI(컴퓨터를 통한 전화조사 관리) 시스템에 조사 과정이 기록되기 때문에 결과 조작을 위해 임의로 전화를 끊는 것이 사실상 어렵다. 이의 제기가 있을 경우 여심위가 사실을 확인해 공표·보도를 금지하고 1000만~3000만원의 과태료를 부과한다.

다만 노년층의 전화를 끊는 일이 생기는 경우가 있다. 정확한 여론조사의 전제 조건은 모집단을 대표할 수 있는 적정 표본을 확보하는 것이다. 그런데 이미 노년층에 대한 표본이 미리 할당한 목표치를 넘어서는 수준으로 수집됐을 가능성이 크다. 여론조사는 행정안전부 주민등록인구 통계를 기준으로 성별·연령·지역에 따라 목표 응답자 수를 할당한다.

노년층 응답 상대적으로 많아
일반적으로 경제활동 비율이 높은 청·장년층에 비해 시간적 여유가 많은 노년층은 상대적으로 응답하는 사람이 많다. 코리아리서치가 지난 16일 발표한 20대 대통령선거 2019년 정치·사회현안 여론조사(MBC 의뢰로 14~15일 전국 성인 남녀 1009명을 대상으로 RDD 전화면접 무선 79%·유선 21% 조사, 신뢰수준 95%에 표본오차 ±3.1%포인트, 응답률 14.7%)의 표본을 예로 들 수 있다.

연령대별로 60세 이상의 조사 목표할당은 267명이었지만, 실제로 조사 완료된 인원은 295명이었다. 반면 19~29세는 173명 목표에 155명, 30대는 164명 목표에 152명이 조사에 응했다. 노년층 표본이 더 많아 오히려 가중값을 통해 보정했다.

응답률과 신뢰도의 상관관계에 대해선 전문가들 사이에서도 견해차가 있다. 한편에선 응답률이 너무 낮을 경우 응답한 사람과 아닌 사람의 의견 분포가 동일하다고 보기 어렵다고 지적한다. 조사 주제나 질문 자체가 편향돼 중간 이탈자가 많았을 가능성도 제기한다.

반대편에선 표본의 대표성만 확보된다면 응답률은 크게 중요하지 않다고 반박한다. 조사 품질을 결정하는 요인은 다양하기 때문에 단순히 응답률이 낮다고 부정확한 조사라고 단정할 수 없다는 것이다.

응답률 50.1%와 14.1%, 5.1%의 차이?

이와 관련해 참고해 볼만한 사례가 있다. 2017년 10월 20일 발표된 신고리 원전 5·6호기 공론화 1차 시민참여조사(신고리 공론화위원회 의뢰로 2017년 8월 25일~9월 9일 전국 성인 남녀 2만6명을 대상으로 가상번호 활용 무선 87.1% RDD 유선 12.9% 혼합 전화면접 조사, 신뢰수준 95%에 표본오차 ±0.69%포인트, 응답률 50.1%) 결과와 같은 시기 이뤄진 정당지지율 여론조사들이다.

비슷한 시기에 응답률 14.1%를 기록했던 한국갤럽의 정당지지도 조사(8월 29~31일 전국 성인 남녀 1003명을 대상으로 RDD 전화면접 무선 86%·유선 14% 조사, 신뢰수준 95%에 표본오차 ±3.1%포인트)에선 민주당 48.0%, 자유한국당 8.0%, 국민의당 7.0%, 바른정당 7.0%, 정의당 6.0%, 기타·무당층 24.0%가 나왔다.

응답률 5.1%였던 tbs/CBS 의뢰로 리얼미터 조사(8월 28일~9월 1일 전국 성인 남녀 2531명을 대상으로 RDD 무선 전화면접 10%·ARS 유선 20%·무선 70% 조사, 신뢰수준 95%에 표본오차 ±1.9%포인트)에선 민주당 51.3%, 한국당 16.4%, 바른정당 6.5%, 국민의당 6.4%, 정의당 6.2%, 기타·무당층 13.2%였다.

전체적인 경향은 비슷했다. 1강(민주당) 1중(한국당) 3약(국민의당·바른정당·정의당)의 형세였다. 다만 정당지지율의 구체적인 숫자에선 차이가 나타났다. 특히 민주당 지지율과 기타·무당층 비율에서 차이가 있었다.

응답률이 영향을 미쳤을 가능성이 있다. 다만 세 조사 간에 조사 방식과 질문의 차이가 있어 단언하긴 어렵다. 신고리 1차 조사와 리얼미터 조사에선 재질문이 없었고, 한국갤럽 조사에는 없다·모르겠다·응답거절의 경우 "그럼 어느 정당에 조금이라도 더호감이 가십니까?"라는 재질문이 있었다. 신고리 1차 조사와 한국갤럽 조사는 전화면접 100%였고, 리얼미터 조사는 ARS 90%에 전화면접을 10% 혼용했다.

‘콜백' 확대 필요성
표본의 대표성을 높인다는 측면에서 '콜백'을 확대하는 것이 필요하다는 의견이 있다. 국내 여론조사 기관들은 제한된 비용과 조사 시간을 이유로 제대로 콜백을 시행하지 않는 경우가 많다. 통화 중이거나 전화를 받지 않아 접촉이 이뤄지지 않은 접촉 실패 사례를 따로 집계해 공개하긴 하지만, 응답률 계산에는 반영하지 않는다.

접촉 실패로 다른 응답자를 추가로 찾아나갈수록 표본의 대표성은 떨어질 가능성은 커진다. 이른바 '토픽 인터레스트(주제에 대한 관심도)'의 문제다. 여론조사에서 가장 이상적인 상황은 사안에 대해 일반인 평균 수준으로 관심을 가진 사람이 일상적인 생활 가운데 조사에 응해 솔직하게 답하는 것이다. 관심도가 떨어지는 사람들이 전화를 아예 받지 않거나 거절하는 일이 반복되면, 갈수록 표본은 해당 주제에 관심도가 높은 사람들로 채워져 나갈 수밖에 없다. 당연히 결과도 더 극단성을 띨 수밖에 없다.

표본 수보다 인구 비례가 더 중요
그러나 표본의 숫자가 여기서 더 커진다고 해서 결과가 유의미하게 달라지지는 않는다는 게 중론이다. 표본의 숫자보다는 인구에 비례하게 표본을 뽑아 대표성을 확보했는지 여부가 더 중요하다는 평가다.

일각에선 이른바 '표본 왜곡' 문제를 제기하기도 한다. 여론조사 업체가 특정 정당·정치인에 유리한 결과가 나오도록 표본 추출 단계부터 왜곡을 한다는 주장이다. 하지만 현실적으로 어렵다는 게 여론조사 업체들의 반박이다. 통신사 가상번호를 제공받거나 RDD 방식으로 표본 추출을 진행하는 과정에서 원하는 표본만 뽑아내기는 불가능에 가깝고, 결과를 통제하는 건 더 어렵다는 것이다.

가상번호를 통한 표본 추출을 왜곡하려면 통신사까지 끌어들여야 한다. RDD 방식에서 유선 조사는 국번과 전화번호 패턴을 고려해 표본을 왜곡할 수 있다는 주장이 있지만, 여심위가 이 과정을 모두 보고받아 확인하고 있기 때문에 현실성이 떨어진다.

[백상경 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]