필립 테틀락 - 정치 전문가의 예측은 얼마나 정확한가

출처: Wired

번역: 인지심리 매니아

Philip Tetlock 은 내가 좋아하는 학자 중 한 사람이다. 나는 가끔 농담으로 모든 케이블 뉴스는 화면 밑에 다음과 같은 자막을 표시해야 한다고 말한다. 그 자막 내용은 다음과 같다. "이 토론의 참여자들은 자신이 무슨 말을 하는지 모르고 있음이 과학적으로 밝혀졌습니다. 이들이 지껄이는 말은 오로지 엔터테인먼트를 위한 것입니다." 그 다음 1984년부터 진행된 테틀락의 가장 유명한 연구를 언급해야 할 것이다.

1984년 당시는 냉전이 다시 불붙은 상황이었다. 레이건은 악의 제국이라는 거친 표현을 사용했고 정치학자들은 미국의 대외정책에 관해 입장이 나누어졌다. 유화파(doves)는 레이건이 불필요할 정도로 소련에 적대적이라고 생각했다. 반면 강경파(hawks)는 소련에대해 호전적으로 대응해야 한다고 생각했다. Tetlock은 어떤 그룹의 의견이 정답일지 궁금했고, 학자들의 예측을 모니터링하기 시작했다.

몇년 후 레이건이 퇴임한 다음 테틀락은 이 학자들의 입장을 다시 살펴봤다. 그의 결론은 냉정했다: 모두 다 틀렸던 것이다. 유화파는 레이건의 호전적인 태도가 냉전을 악화시켰다고 생각했다. 그들은 소련이 지정학적 입지를 굳히고 외교문제에 있어서 마찰을 빚을 것이라고 예상했었다. 하지만 진실은 정확히 반대였다. 미하일 고르바초프가 1985부터 정권을 잡은 것이다. 소련은 깜짝 놀랄 내부 개혁을 실행하기 시작했다. "악의 제국"이 글라스노스트를 실행한 것이다.

하지만 강경파 역시 나을 건 없다. 고르바초프가 자유화 개혁을 시작한 이후, 강경파는 소련의 변화를 얕보았다. 그들은 악의 제국은 여전히 악하다고 말했다; 고르바초프는 공산당의 도구일 뿐이었다. 강경파는 전체주의 국가에서 진정한 개혁이 일어날 수 없다고 생각했다.

학자들의 예측력이 엉터리라는 사실에 고무된 테틀락은 소규모 실험을 대규모 실험 프로젝트로 바꿨다. 그들은 수백명의 정치 전문가를 선별한 다음 - 정치나 경제 트렌드에 관해 조언을 해 주며 먹고 사는 사람 - 이들에게 미래 사건에 대한 예측을 하게 했다. 그는 매우 많은 질문들을 던져봤다. 조서 부시 대통령이 재선에 성공할까? 남아프리카 공화국에 인종차별 정책이 평화롭게 끝날까? 퀘벡이 캐나다에서 탈퇴할까? 닷컴 거품이 터질까? 전문가들은 각 사건에 대해 가능한 결과들의 발생확률을 평정했다. 그 다음 테틀락은 전문가들의 사고 과정을 조사해서, 그들이 어떤 식으로 결론에 이르는지 알아냈다.

테틀락이 데이터를 분석하자 전문가들의 예측 실패가 뚜렷해졌다. 그들이 세계 사건에 대해 통찰을 제공하고 돈을 받음에도 불구하고, 그들의 예측이 맞을 확률은 우연 수준보다 낮았다. 테틀락이 했던 질문의 대부분은 세 가지 가능한 시나리오를 포함했다. 그런데 학자들이 정답을 맞출 확률은 33퍼센트보다 낮았다. 즉 다트를 던지는 침팬지가 학자들보다 예측력이 더 뛰어나다는 말이다. 이 결과는 그의 훌륭한 저서 Expert Political Judgment에 잘 요약되어 있다.

테틀락은 현재 훨씬 야심찬 프로젝트를 착수중이다. 그는 전문가, hedgehogs, 그의 추후 연구에 대해 친절하게 답변해 주었다.

Lehrer : 당신은 지난 몇 십년 동안 현실 정치 전문가를 관찰해 왔습니다. 각 전문가마다 다른 점이 있나요?

Tetlock : 제가 2005년에 냈던 책인 Expert Political Judgment는 정치와 경제 전문가들이 내놓은 예측의 정확성에 관한 20년간의 연구가 요약되어 있습니다. 우리는 또 전문가들의 '사고 방식'을 관찰했고 그 결과 전문가마다 스타일이 다르다는 사실을 찾았습니다.

어떤 전문가는 하향식 사고를 사용합니다: 정치를 연역적인 방법으로 사고하는 겁니다. 그들은 인간 본성, 사회, 경제에 대한 큰 전제를 특수한 사례에 적용하려고 합니다. 그들은 미래에 대한 자신의 예측에 대해 자신감을 가지는 경향이 있습니다. 그 리고 그들은 쉽게 분류가 가능합니다. 어떤 것은 Keynesian 예측이고, 어떤 것은 자유시장 근본주의적 예측이고, 어떤 것은 최악의 환경론적 예측이고, 어떤 것은 기술결정론적 예측으로 분류됩니다. 반면 어떤 전문가들은 상향식 사고를 보입니다: 정치를 귀납적인 방법으로 관찰하는 겁니다. 그들은 자신의 결론에 대해 확신을 덜 하는 편이고, 모순된 사실들을 통해 결론에 도달합니다(어떤 경우는 정치적으로 왼쪽의 입장에서, 어떤 경우는 오른쪽의 입장에서).

우리는 큰 가정을 가진 전문가를 'hedgehogs(큰 가정 하나를 알고 있다)'라고 부르고, 귀납적인 전문가들을 'foxes(많은 것을 알고 있지만 큰 전제는 알지 못한다)'라고 부릅니다.

Lehrer : 그럼, 전문가들의 서로 다른 사고 방식이 예측의 정확성과 관련있습니까?

Tetlock : 정확도를 평가하기 위해선 "큰 수의 법칙"이 중요합니다. 바보의 예측이라도 운이 좋아서 몇 번 맞을 수는 있습니다. 문제는 일관성입니다. 그래서 우리 실험은 300명의 전문가로부터 30,000개의 예측을 얻어냈습니다. 우리는 예측의 정확성과 일관성과 상관있는 요인을 검증했습니다. 이데올로기가 핵심 요인인가? 박사 학위가 예측력과 상관있을까? 분류된 정보에 관해 과거 알고 있는 것이 있는가? 하지만 수많은 가설들이 상관없는 것으로 드러났습니다. 예측의 정확성과 일관성을 가장 일관되게 예측하는 요인은 바로 "사고 방식"이었습니다. 귀납적이고, 자기 비판적이고, 겸손한 사고방식을 가진 전문가가 큰 이론을 알고 있는 사람보다 예측력이 뛰어났습니다(fox가 hedgehogs보다 뛰어났다).

Lehrer : 최근 프로젝트는 이전에 했던 연구들을 확장한 것으로 알고 있습니다. 이번 프로젝트에 관해 설명해 주시겠습니까?

Tetlock : 이 프로젝트는 미국 정부의 Intelligence Advanced Research Projects Agency의 지원을 받아 진행하고 있습니다. 이 프로젝트의 목적은 정치나 국가안보 영역에서 예측력을 높일 수 있는 방법을 찾는 것입니다. 우리는 다음 세가지 조건을 가진 사람을 실험 참가자로 모집하고 있습니다: 자신의 사고방식에 관해 관심이 있는 사람, 세계에서 일어나는 일에 관심이 많은 사람, 자신의 관심사를 실천으로 옮길 수 있는 사람(우리가 다양한 전문가 집단에게 제공할 도구를 숙지하려면 시간이 꽤 걸릴 것입니다).

Lehrer : 당신의 관심사 중 하나는 전문가가 내놓은 예측의 정확성을 향상시키는 데 있습니다. (우리 정치토론이 전문가의 의견에 크게 영향을 받는 점을 고려할 때, 매우 중요한 질문입니다). 당신은 이런 개선이 가능하다고 생각합니까? 아니면 우리 일상은 예측불가능하기 때문에, 우연 수준에도 못 미치는 전문가의 말을 들을 수 밖에 없는 겁니까?

Tetlock : 개선의 여지가 얼마나 있냐는 질문에 관해선 급진적인 회의주의와 중도적인 회의주의를 나누는 것이 좋습니다. 급진적 회의주의는 세상을 예측할 수 있는 여지가 전혀 없다고 믿습니다. 따라서 뛰어난 예측이란 없다는 것입니다(뛰어난 예측이란 운이 좋았다는 말과 같은 말이다).

워렌 버핏은 운이 좋았을 뿐입니다: 만약 우리가 동전을 많이 던진다면, 그 중 어떤 사람은 앞면이 10번 혹은 15번 연속해서 나오는 경우가 있을 겁니다. 이와 유사하게, 당신이 수많은 예측가에게 예측을 부탁한다면, 그들 중 일부는 뛰어난 예지력을 보일 겁니다.

나는 중도적인 회의론자이며, 그 정도까지 극단적으로 생각하지는 않습니다. 나는 오랫동안 우연 수준이나 단순 추정 알고리즘을 뛰어넘는 예측력을 보이는 사람들의 존재를 부정하지 않습니다(이런 사람들은 fox이거나 hedgehogs이다). 하지만 이런 사람들을 사건이 발생하기 전에 찾아내는 것은 어렵습니다. 게다가 이런 사람들은 평균으로의 회귀를 보이는 경우가 많습니다(그들의 예측력이 시간이 경과함에 따라 평균으로 다시 떨어지는 것을 의미함).

이런 주장들을 균형있게 받아들여서, 나는 예측력을 개선할 수 있지만 그 여지는 작다고 생각합니다. 하지만 이런 작은 개선이 사회에는 매우 중요할 수 있습니다. 정확성이 10이나 20% 개선되도 수십억 달러를 절약할 수 있기 때문입니다.

Lehrer : 당신은 이 연구에서 어떤 참가자를 찾고 있습니까? 

Tetlock : 내가 전에 언급했듯이, 우리는 세 가지 특성을 기준으로 사람 모집하고 있습니다 : 자신의 사고 방식에 관심이 있는 사람(그리고 맹점과 오류를 고치려는 사람), 세계에서 일어나는 일에 관심이 많은 사람. 각 참여자는 1년 동안 총 10시간씩 연구에 참여하게 될 겁니다(1년 참여하는 데 150달러를 드릴 예정입니다). 우리는 또 최소한의 학력을 갖춘 자를 필요로 합니다(최소 학사 학위 이상).

이 연구에 지원하려면 아래 사이트를 방문해 주세요.www.goodjudgment.info