인지심리 매니아

글: 인지심리 매니아

열길 물 속은 알아도 한 길 사람 속은 모른다고 했다. 당신이 연쇄살인범의 재범 여부를 판단하는 임상 전문가라고 판단해 보자. 범죄자의 사진, 이력, 학력을 훑어보지만 여전히 답이 없다. 이 범죄자가 다시 범죄를 저지를 확률은 얼마나 될까? 어떤 정보를 근거로 재범 여부를 판단할 것인가?

일반인에게도 쉽지 않은 이 문제는 전문가도 마찬가지다. 아니, 어쩌면 이 분야에서는 일반인과 전문가를 구분할 수 없을지도 모른다. 재범율을 예측하는 전문가? 수 년간 훈련을 하면 범인 얼굴만 보고도 다시 범행을 저지를지 예언할 수 있을까?

전문가는 특정 요건을 갖춘 영역에서만 배출된다. 자신의 예측이 맞는지 틀리는지 즉각적인 피드백이 주어지는 영역의 경우 전문가가 탄생할 수 있다. 예를 들어, 일기예보의 경우 일기예보 전문가가 있을 수 있다. 일기예보의 경우 예보자의 예측이 맞는지 틀리는지 정확한 피드백을 받을 수 있고(다음 날 하늘을 쳐다보면 된다), 예보자는 반복된 피드백을 통해 학습을 하고 전문가가 된다. 즉, 학습이 가능한 분야인 것이다(Learnability, Bolger and Wright, 1994)^[각주:1]

문제는 정답이 없어서 학습이 불가능한 경우다. 세계 정세에 관한 예언이 대표적인 경우에 해당한다. 자신을 전문가로 자처하는 수많은 사람들이 이런 저런 예언을 내놓는다. 미국이 장기침체의 늪에 빠질것이라는 전망과 곧 회복될 거라는 전망. 하지만 누구 말이 맞을지 알 수 없다. 정확한 피드백이 없기 때문이다. 과연 주가 등락폭이 어느 정도 되어야 회복 또는 침체라고 말할 수 있는가? 설사 경기가 일시 회복되었더라도 다른 쪽에서 이는 일시적인 회복이며 다시 침체될 거라고 주장하면 어떻게 되는가? 더군다나 이런 피드백은 그 자리에서 관찰되지 않으며, 적어도 수십년의 관찰을 필요로 한다. 결국 정답 없는 싸움이 되고 만다. 정답이 없는 문제를 푸는 데 정답자가 있을리 없다. 그러니 누구라도 자신을 정답자이자 이 분야의 전문가라고 주장할 수 있다. 하지만 사실 전문가가 있을 수 없는 분야인 것이다
(필자는 이 문제에 관련해서 테틀락의 인터뷰를 다룬 적이 있다. 자세한 내용은 2011/08/07 - [인지심리학/의사결정/추론] - 필립 테틀락 - 정치 전문가의 예측은 얼마나 정확한가 을 참조바람)


그럼 범죄자의 재범 여부를 예측하는 것은 두 경우 중 어디에 해당할까? 기존 연구에 의하면, 범인의 재범을 예측하는 일은 불행히도 정답이 없는 영역같아 보인다(e.g., Monahan, 1984^[각주:2]; Quinsey, Harris, Rice, & Cormier, 1998^[각주:3]). 하지만 재범 여부가 예측불가능하다고 해서 전문가의 판단 없이 형을 집행하는 것은 위험하다. 풀어준 범인이 또 다시 살인을 하면 어떻게 할까? 한니발 렉터 박사가 다시 길거리를 배회한다면?(물론 렉터 박사는 일반인이 보기에도 재범의 가능성이 커 보인다).  반대로, 재범의 의지가 없는 범인을 위험하다고 판단해서 감방에 영원히 가두는 것은 어떤가? 이 분야에는 어쨌든 전문가가 꼭 필요할 듯 싶다.

Murray et al(2011)^[각주:4]은 위험 행동을 예측하는 전문가가 존재할 수 있는지 연구했다. 우선 그들은 일반인과 전문가, 준전문가가 범죄자의 재범 여부를 판단할 때 차이점을 보이는지 알아보고자 했다. 또, 이들이 재범 여부를 판단할 때 범죄자의 내부적(예: 고의나 동기 등), 외부적 요인(예: 어쩔 수 없는 상황 등)을 고려하는지 여부도 조사했다.

연구자들이 진행한 실험은 3 X 3 X 2 혼합 설계로 구성되었다. 독립 변인은 전문성의 수준(일반인/준전문가/전문가)과 시나리오(살인,폭행,무장강도), 귀인(내귀인/외귀인)이었다. 종속변인은 참가자의 rating 점수(양형, 범죄자의 책임, 범죄자의 위험성 등)다. 

연구자들은 일반인과 준전문가(법심리학을 전공중인 학생), 전문가(법정에서 실제 일하고 있는 임상 전문가)를 뽑은 다음, 3가지 시나리오(살인, 폭행, 무장강도)를 보여줬다. 이 때 시나리오의 내용을 조작해서,  범죄자의 범행을 내부적 또는 외부적 원인 탓으로 설명했다. 참가자들은 시나리오를 다 읽은 다음, 유인물 마지막에 있는 질문지를 작성했다. 질문지는 범죄자의 어느 정도의 벌을 받아야 하는지, 범죄자에게 얼만큼 책임이 있는지, 범죄자가 얼마나 위험한지 등을 물었다.

요인이 많은 만큼 실험 결과도 다소 복잡하다. 하지만 가장 중요한 결과만을 뽑아서 정리했다.


 


두 그래프 중 위에 있는 그래프를 주목해 보자. 위 그래프는 각 집단이 범죄자의 책임여부를 판단할 때 내/외귀인에 영향을 받은 정도를 보여준다. 재미있는 사실은 전문가가 일반인과 비슷한 판단 양상을 보인다는 점이다.  전문가는 일반인과 마찬가지로 외부적 요인보다 내부적 요인(예: 고의)으로 저지른 범행에 큰 책임을 물었다. 마치 전문가가 일반인처럼 내외부적인 요인에 큰 영향을 받아서 객관적인 판단을 내리지 못한 것처럼 보인다. 준전문가만이 유일하게 내/외부 요인의 영향을 가장 적게 받았다. 다른 질문에 대한 평정점수도 이와 비슷한 양상을 보였다.

결국 전문가나 일반인이나 똑같은 판단을 내린다면, 전문가의 존재 이유가 없다. 하지만 판단을 똑같이 내린다고 해서 판단을 내리는 과정도 똑같은 것은 아니다. 일반적으로, 일반인은 문제를 접할 때 문제 해결에 필요치 않은 단서들에 휘둘리거나 휴리스틱(어림법)을 사용하는 경향이 있다. 그러다가 어느 정도 교육을 받고 나면, 자신의 직관을 배제하고 객관적인 기준에 근거한 판단을 하는 경향이 있다. 하지만 전문가가 될 무렵이면 휴리스틱을 다시 사용하게 된다. 이 때 전문가는 준전문가가 활용하지 못하는 내외부적 요인들을 문제해결 시 고려하는 능력을 지닌다.  따라서 의사결정이나 예측의 질은 일반인이나 준전문가보다 나을 수 있는 것이다.

그럼 범인의 재범 여부를 판단할 때는 누구의 판단이 더 정확할까? 내외부적 요인을 배제하고 객관적 기준에 근거한 준전문가의 판단? 아니면 상황적 요인을 고려하는 전문가의 판단? 두 사람 중 누구의 판단이 더 정확할지는 알 수 없다. 이를 알려면 보다 많은 연구가 필요해 보인다. 하지만 한 가지는 확실해 보인다. 범인의 재범 여부를 판단함에 있어서, 일반인과 준전문가는 최소한 차이가 있다는 사실이다.

출처: Wired

번역: 인지심리 매니아

Philip Tetlock 은 내가 좋아하는 학자 중 한 사람이다. 나는 가끔 농담으로 모든 케이블 뉴스는 화면 밑에 다음과 같은 자막을 표시해야 한다고 말한다. 그 자막 내용은 다음과 같다. "이 토론의 참여자들은 자신이 무슨 말을 하는지 모르고 있음이 과학적으로 밝혀졌습니다. 이들이 지껄이는 말은 오로지 엔터테인먼트를 위한 것입니다." 그 다음 1984년부터 진행된 테틀락의 가장 유명한 연구를 언급해야 할 것이다.

1984년 당시는 냉전이 다시 불붙은 상황이었다. 레이건은 악의 제국이라는 거친 표현을 사용했고 정치학자들은 미국의 대외정책에 관해 입장이 나누어졌다. 유화파(doves)는 레이건이 불필요할 정도로 소련에 적대적이라고 생각했다. 반면 강경파(hawks)는 소련에대해 호전적으로 대응해야 한다고 생각했다. Tetlock은 어떤 그룹의 의견이 정답일지 궁금했고, 학자들의 예측을 모니터링하기 시작했다.

몇년 후 레이건이 퇴임한 다음 테틀락은 이 학자들의 입장을 다시 살펴봤다. 그의 결론은 냉정했다: 모두 다 틀렸던 것이다. 유화파는 레이건의 호전적인 태도가 냉전을 악화시켰다고 생각했다. 그들은 소련이 지정학적 입지를 굳히고 외교문제에 있어서 마찰을 빚을 것이라고 예상했었다. 하지만 진실은 정확히 반대였다. 미하일 고르바초프가 1985부터 정권을 잡은 것이다. 소련은 깜짝 놀랄 내부 개혁을 실행하기 시작했다. "악의 제국"이 글라스노스트를 실행한 것이다.

하지만 강경파 역시 나을 건 없다. 고르바초프가 자유화 개혁을 시작한 이후, 강경파는 소련의 변화를 얕보았다. 그들은 악의 제국은 여전히 악하다고 말했다; 고르바초프는 공산당의 도구일 뿐이었다. 강경파는 전체주의 국가에서 진정한 개혁이 일어날 수 없다고 생각했다.

학자들의 예측력이 엉터리라는 사실에 고무된 테틀락은 소규모 실험을 대규모 실험 프로젝트로 바꿨다. 그들은 수백명의 정치 전문가를 선별한 다음 - 정치나 경제 트렌드에 관해 조언을 해 주며 먹고 사는 사람 - 이들에게 미래 사건에 대한 예측을 하게 했다. 그는 매우 많은 질문들을 던져봤다. 조서 부시 대통령이 재선에 성공할까? 남아프리카 공화국에 인종차별 정책이 평화롭게 끝날까? 퀘벡이 캐나다에서 탈퇴할까? 닷컴 거품이 터질까? 전문가들은 각 사건에 대해 가능한 결과들의 발생확률을 평정했다. 그 다음 테틀락은 전문가들의 사고 과정을 조사해서, 그들이 어떤 식으로 결론에 이르는지 알아냈다.

테틀락이 데이터를 분석하자 전문가들의 예측 실패가 뚜렷해졌다. 그들이 세계 사건에 대해 통찰을 제공하고 돈을 받음에도 불구하고, 그들의 예측이 맞을 확률은 우연 수준보다 낮았다. 테틀락이 했던 질문의 대부분은 세 가지 가능한 시나리오를 포함했다. 그런데 학자들이 정답을 맞출 확률은 33퍼센트보다 낮았다. 즉 다트를 던지는 침팬지가 학자들보다 예측력이 더 뛰어나다는 말이다. 이 결과는 그의 훌륭한 저서 Expert Political Judgment에 잘 요약되어 있다.

테틀락은 현재 훨씬 야심찬 프로젝트를 착수중이다. 그는 전문가, hedgehogs, 그의 추후 연구에 대해 친절하게 답변해 주었다.

Lehrer : 당신은 지난 몇 십년 동안 현실 정치 전문가를 관찰해 왔습니다. 각 전문가마다 다른 점이 있나요?

Tetlock : 제가 2005년에 냈던 책인 Expert Political Judgment는 정치와 경제 전문가들이 내놓은 예측의 정확성에 관한 20년간의 연구가 요약되어 있습니다. 우리는 또 전문가들의 '사고 방식'을 관찰했고 그 결과 전문가마다 스타일이 다르다는 사실을 찾았습니다.

어떤 전문가는 하향식 사고를 사용합니다: 정치를 연역적인 방법으로 사고하는 겁니다. 그들은 인간 본성, 사회, 경제에 대한 큰 전제를 특수한 사례에 적용하려고 합니다. 그들은 미래에 대한 자신의 예측에 대해 자신감을 가지는 경향이 있습니다. 그 리고 그들은 쉽게 분류가 가능합니다. 어떤 것은 Keynesian 예측이고, 어떤 것은 자유시장 근본주의적 예측이고, 어떤 것은 최악의 환경론적 예측이고, 어떤 것은 기술결정론적 예측으로 분류됩니다. 반면 어떤 전문가들은 상향식 사고를 보입니다: 정치를 귀납적인 방법으로 관찰하는 겁니다. 그들은 자신의 결론에 대해 확신을 덜 하는 편이고, 모순된 사실들을 통해 결론에 도달합니다(어떤 경우는 정치적으로 왼쪽의 입장에서, 어떤 경우는 오른쪽의 입장에서).

우리는 큰 가정을 가진 전문가를 'hedgehogs(큰 가정 하나를 알고 있다)'라고 부르고, 귀납적인 전문가들을 'foxes(많은 것을 알고 있지만 큰 전제는 알지 못한다)'라고 부릅니다.

Lehrer : 그럼, 전문가들의 서로 다른 사고 방식이 예측의 정확성과 관련있습니까?

Tetlock : 정확도를 평가하기 위해선 "큰 수의 법칙"이 중요합니다. 바보의 예측이라도 운이 좋아서 몇 번 맞을 수는 있습니다. 문제는 일관성입니다. 그래서 우리 실험은 300명의 전문가로부터 30,000개의 예측을 얻어냈습니다. 우리는 예측의 정확성과 일관성과 상관있는 요인을 검증했습니다. 이데올로기가 핵심 요인인가? 박사 학위가 예측력과 상관있을까? 분류된 정보에 관해 과거 알고 있는 것이 있는가? 하지만 수많은 가설들이 상관없는 것으로 드러났습니다. 예측의 정확성과 일관성을 가장 일관되게 예측하는 요인은 바로 "사고 방식"이었습니다. 귀납적이고, 자기 비판적이고, 겸손한 사고방식을 가진 전문가가 큰 이론을 알고 있는 사람보다 예측력이 뛰어났습니다(fox가 hedgehogs보다 뛰어났다).

Lehrer : 최근 프로젝트는 이전에 했던 연구들을 확장한 것으로 알고 있습니다. 이번 프로젝트에 관해 설명해 주시겠습니까?

Tetlock : 이 프로젝트는 미국 정부의 Intelligence Advanced Research Projects Agency의 지원을 받아 진행하고 있습니다. 이 프로젝트의 목적은 정치나 국가안보 영역에서 예측력을 높일 수 있는 방법을 찾는 것입니다. 우리는 다음 세가지 조건을 가진 사람을 실험 참가자로 모집하고 있습니다: 자신의 사고방식에 관해 관심이 있는 사람, 세계에서 일어나는 일에 관심이 많은 사람, 자신의 관심사를 실천으로 옮길 수 있는 사람(우리가 다양한 전문가 집단에게 제공할 도구를 숙지하려면 시간이 꽤 걸릴 것입니다).

Lehrer : 당신의 관심사 중 하나는 전문가가 내놓은 예측의 정확성을 향상시키는 데 있습니다. (우리 정치토론이 전문가의 의견에 크게 영향을 받는 점을 고려할 때, 매우 중요한 질문입니다). 당신은 이런 개선이 가능하다고 생각합니까? 아니면 우리 일상은 예측불가능하기 때문에, 우연 수준에도 못 미치는 전문가의 말을 들을 수 밖에 없는 겁니까?

Tetlock : 개선의 여지가 얼마나 있냐는 질문에 관해선 급진적인 회의주의와 중도적인 회의주의를 나누는 것이 좋습니다. 급진적 회의주의는 세상을 예측할 수 있는 여지가 전혀 없다고 믿습니다. 따라서 뛰어난 예측이란 없다는 것입니다(뛰어난 예측이란 운이 좋았다는 말과 같은 말이다).

워렌 버핏은 운이 좋았을 뿐입니다: 만약 우리가 동전을 많이 던진다면, 그 중 어떤 사람은 앞면이 10번 혹은 15번 연속해서 나오는 경우가 있을 겁니다. 이와 유사하게, 당신이 수많은 예측가에게 예측을 부탁한다면, 그들 중 일부는 뛰어난 예지력을 보일 겁니다.

나는 중도적인 회의론자이며, 그 정도까지 극단적으로 생각하지는 않습니다. 나는 오랫동안 우연 수준이나 단순 추정 알고리즘을 뛰어넘는 예측력을 보이는 사람들의 존재를 부정하지 않습니다(이런 사람들은 fox이거나 hedgehogs이다). 하지만 이런 사람들을 사건이 발생하기 전에 찾아내는 것은 어렵습니다. 게다가 이런 사람들은 평균으로의 회귀를 보이는 경우가 많습니다(그들의 예측력이 시간이 경과함에 따라 평균으로 다시 떨어지는 것을 의미함).

이런 주장들을 균형있게 받아들여서, 나는 예측력을 개선할 수 있지만 그 여지는 작다고 생각합니다. 하지만 이런 작은 개선이 사회에는 매우 중요할 수 있습니다. 정확성이 10이나 20% 개선되도 수십억 달러를 절약할 수 있기 때문입니다.

Lehrer : 당신은 이 연구에서 어떤 참가자를 찾고 있습니까? 

Tetlock : 내가 전에 언급했듯이, 우리는 세 가지 특성을 기준으로 사람 모집하고 있습니다 : 자신의 사고 방식에 관심이 있는 사람(그리고 맹점과 오류를 고치려는 사람), 세계에서 일어나는 일에 관심이 많은 사람. 각 참여자는 1년 동안 총 10시간씩 연구에 참여하게 될 겁니다(1년 참여하는 데 150달러를 드릴 예정입니다). 우리는 또 최소한의 학력을 갖춘 자를 필요로 합니다(최소 학사 학위 이상).

이 연구에 지원하려면 아래 사이트를 방문해 주세요.www.goodjudgment.info