상대방의 입술을 봐야 대화를 정확히 이해한다

출처: Psychology today
번역: 인지심리학 매니아


고 등학교 시절, 나는 1983년 여름을 비디오 게임을 고치면서 보냈다. 나는 전자공학을 조금 아는 편이었는데, 내 집 주변에 게임 센터(video arcades. 오락실? - 역자주)는 나를 고용해서 고장난 게임을 고치게 했다. 내 주위 동료가 작은 라디오를 가지고 있어서 난 여름 내내 노래를 들어야만 했다.

내 가 하루에 두번씩이나 들었던 곡은 폴리스의 'Every Breath You Take"였다. 이 노래의 가사는 대부분 잘 들렸다("Every breath you take, every move you make..."). 그러나 그 중 한 문장이 유독 들리지 않았다. 그 문장은 내 귀에 이렇게 들렸다. "I'm a pool hall ace..." 솔직히 이 문장은 뜻이 맞지 않는다. 나는 Synchronicity(어떤 장치를 말하는지 잘 모르겠음 - 역자 주)를 카세트에 붙여서 가사를 읽을 수 있었다. 알고 보니 그 문장은 "Now my foot heart aches.'였다.



곡의 가사를 잘 이해하려면 어떻게 해야 할까?

노래가 흘러나올때 가수를 보는 것이 도움이 된다. Alexandra Jesse와 Dominic Massaro는 2010년 6월에 Psychonomic & Review에 게재한 논문에서 이 문제를 다뤘다.

우리는 말 소리 이해가 귀에서 이루어진다고 생각한다. 결국 대화는 청각을 통해 이루어지는 것이니까 말이다. 그러나, 대부분의 사람들은 대화시 상대방의 입술 움직임을 통해 정보를 얻기도 한다.

인 간이 여러가지 정보를 종합해서 말소리를 이해한다는 사실에 관한 증거가 많다. 대표적인 예가 말소리의 시각적 효과를 일컫는 맥걸크(McGurk) 효과이다. 이런 상황을 상상해보자. 우리는 어떤 사람이 특정 음절을 발음하는 소리를 듣는다.(이 사람은 '바'라고 발음하고 있다). 그와 동시에 그 사람의 입이 소리와 다른 음절을 발음하는 걸 본다(그 사람의 입은 '가'라고 발음하고 있다). 만약 우리가 소리에만 집중한다면 '바'라는 소리를 듣겠지만, 소리와 함께 입술을 같이 보게 된다면 우리는 그 중간소리인 '다'를 듣게 된다.

이 맥걸크 효과를 직접 체험하고 싶다면 아래 링크를 클릭해서 Dominic Massaro의 웹사이트를 방문하는 것도 좋을 것이다.

http://mambo.ucsc.edu/psl/dwmdir/01_5.mov

이 논문에서 연구자들은 참가자에게 에비타라는 연극에서 나오는 'Don't Cry for me Argentina'라는 곡을 동영상으로 보게 했다. 즉, 참가자들은 소리로 음악을 듣는 동시에 가수의 얼굴을 보게 되는 것이다. 과제를 조금 어렵게 하기 위해서 연구자들은 이 음악에 노이즈를 첨가하여 가사를 듣기 어렵게 만들었다. 그 결과 소리와 영상을 같이 본 조건이 영상만 보거나 소리만 들은 조건보다 가사를 더 정확하게 인식했다. 이 결과는 여러가지 의미를 지니고 있다. 이 결과는 우리가 왜 전화상에서 사람과 대화하는 게 더 어려운지 설명해 준다. 우리가 사람과 얼굴을 마주보고 대화할 때는 소리 외에 시각적인 정보를 통해서 말소리를 이해한다. 그러나 전화상에서는 오로지 청각에만 의존해야 하기 때문에 이해가 어려운 것이다.

많 은 연구들이 운전 중 휴대폰을 사용할 경우 주의가 많이 소모되어서 사고를 일으킬 확률을 증가시킨다고 설명하고 있다. 휴대폰이 보다 많은 주의를 사용하게 하는 이유는 운전자가 오로지 청각적인 단서만으로 말소리를 이해해야 하기 때문이다.

결국, 노래를 부르다가 가사를 틀리는 실수를 줄이려면 옆에 가사를 놓는 것이 최선이다.