[에브리뉴스=김종원 기자] “우리나라 여론조사 전문기관에서 서베이 도구로 목소리를 녹음해 들려주고 응답자가 입력하는 방식의 ARS(Automated Response System), 그리고 면접원이 질의하고 응답을 기록하는 면접조사 CATI(computer assisted telephone interviewing) 방식이 널리 사용되고 있는데, 지난 대선 여론조사에서 ARS 방식이 상대적으로 더 정확했다”는 연구 결과가 발표됐다.

한양대 행정학과 이건 교수가 한국행정연구원에서 발행하는 행정포커스에 기고한 ‘ARS 여론조사 결과는 항상 신뢰하기 어려운가?’ 제하의 연구 논문 중에서 발췌한 내용이다.

이건 교수는 “ARS가 일상적인 조사 방식으로 뿌리내리고 있음에도 이에 대한 평가는 그리 호의적이지 못하다. 얼마 전 여당 전당대회 당 대표 선거를 앞두고 한 당 대표 후보는 상대 후보의 높은 지지율에 대해서 ARS 여론조사라서 그 결과를 그리 신뢰하지 않는다는 발언을 한 바 있다”며 “ARS 조사 결과에 대한 냉소적인 시각 및 불신 풍조에 앞서 이 조사 결과에 대한 체계적인 평가는 미흡한 실정이라 할 수 있다”고 연구 배경을 밝혔다.

이 교수는 지난 대선기간 여론조사 업체들이 수행했던 조사 결과를 토대로 ARS와 CATI 방식에서 도출됐던 조사 결과를 실제 선거 결과와 비교·분석함으로써 ARS 조사 결과의 신뢰도를 평가했다.

분석 대상은 2021년 11월 19일부터 선거 전 조사 공표가 허용된 마지막 조사인 2022년 3월 7일까지 중앙선거관리위원회 중앙선거여론조사심의위원회 홈페이지에 등록된 350개 여론조사 결과라고 밝혔다.

이 교수는 “그림 3과 그림 4는 응답률과 오차율(투표율-각 조사에서 획득한 지지율의 차이)과의 관계를 두 조사방식별로 보여주고 있다. 오차율이 0으로 되어 있는 파랑색 수평실 선은 지지율과 투표율이 같은 경우를 의미한다. 그림 3 의 경우, ARS와 CATI에 의한 관측치들이 수평실선(오차율=0) 위에 퍼져있는데, 이는 두 조사에 의한 지지율이 과소 추정(underestimation)됐음을 보여주고 있다. 그러나 ARS 대부분의 관측치는 오차율 5%를 중심으로 0 ∼15% 사이에 모여 있으나, CATI 관측치는 5%∼25%보 다 광범위하게 흩어져있는 모습을 보인다. 이는 ARS보다 CATI 방식이 조사별로 지지율의 편차가 큰 반면 ARS방식에 의한 조사 지지율의 변동성은 상대적으로 적었음을 함의 한다“고 밝혔다.

또한 “두 후보 지지율 자료에서 오차율과 응답률의 관계가 ARS와 CATI에서 상이하다는 점을 들 수 있다. 윤석열 후보 지지율 자료의 경우, ARS 조사에서는 오차율과 응답률의 관계가 부정적인(negative) 반면 CATI 조사에서는 양자의 관계가 긍정적인(positive) 것으로 나타났다. 다시 말하면, ARS에서는 응답률이 증가함에 따라 오차율이 감소하는 반면, CATI에서는 응답률이 증가함에 따라 오차율도 동반 상승한다는 점이다. 이재명후보 지지율 자료의 경우, ARS에서는 오차율과 응답률이 부정적(negative) 관계인 반면 CATI에서는 오차율과 응답률의 관계가 없음이 판명됐다. 종합해보면, ARS 조사에서 응답률의 제고는 오차율을 감소시키는 요인이 확인된 반면, CATI 조사에서는 응답률이 오히려 오차율을 증대시키거나 오차와 관계가 없는 것으로 나타났다”고도 했다.

이 교수는 “지난 대선을 앞두고 치러졌던 여론조사에서 후보자 득표율을 예측하는 데 있어 CATI 방식에 비해 ARS 방식이 상대적으로 더 정확했다고 말할 수 있는데, 이는 ARS 조사 방식이 편향적이라는 일반통념과는 다소 거리가 있는 결과이다. 이 결과를 가지고 ARS가 CATI보다 항상 우월한 조사 방식이라고 말할 수 없지만 동시에 항상 열등한 조사 방식이라고 폄하할 수도 없다. 정치 여론조사 결과는 조사 수행 당시의 정치적 맥락에 의해 많은 영향을 받는다. 작년의 경우 ‘정권 심판론’을 주장하는 적극적 투표층의 사람들이 CATI보다 ARS 방식에 의해서 조사 표본에 많이 선정됐고, 이 응답자들이 실제 선거일에 적극적으로 투표에 참여함으로써 나온 결과로 해석된다”고 결론을 맺었다.

김종원 기자 다른기사 보기