공감각과 맥걸크(McGurk) 효과

출처: Cognitive Daily

번역: 인지심리학 Mania

 

우리는 그 동안 공감각에 대해 여러 번 논의를 했었다. 한가지 자극을 접했는데(예를 들어서 시각이나 청각) 여러 감각 양상을 경험하는 것은(맛이나 영상, 색)확실히 신기한 일이다. 예를 들어 어떤 사람은 특정 단어나 글자를 보거나 들으면 특정 냄새를 떠올리기도 한다. 어떤 사람은 특정 얼굴을 보고 특정 색이나 auras를 떠올리기도 한다. 공감각은 비교적 관찰하기 힘든 현상이지만 가짜 현상은 아니다. 공감각을 경험하는 사람의 경험은 비교적 일관성이 있고 반복관찰이 가능하다.

 

하지만 연구자들이 해결 못한 한가지 문제가 있다. 바로 공감각이 일어나는 과정에 관한 것이다. 단어를 들으면 색상이 떠오르는 일반적 형태의 공감각을 떠올려보자. 어떤 공감각자(synesthete를 이렇게 번역함 – 역자 주)는 “neat”라는 단어를 들을 때마다 녹색을 본다. 이 공감각자는 단어를 처음 발견했을 때 공감각을 경험했을까, 아니면 그 단어의 의미를 이해했을 때 공감각을 경험했을까?

 

Gary Bargary 연구팀은 이 문제를 맥걸크(McGurk Effect)효과를 이용해서 해결하고자 했다. 맥걸크 효과는 우리가 들은 어떤 단어가 시각적 단서에 의해 영향을 받는 현상을 말한다. 아래 동영상을 통해 이 현상을 경험할 수 있다.

첫 번째 장면에서 나는 “neat neat peat peat”라는 소리를 “neat peat neat peat”라는 영상과 합성했다. 대부분의 사람들은 이 단어들을 “neat meat peat peat”라고 들었다. 동영상의 두 번째 장면에서 실제 정답을 들을 수 있다. 내 입술이 “p”와 “m”(n을 m으로 잘못 쓴 것 같다 – 역자 주)을 말할 때 유사한 움직임을 보였기 때문에 “neat”라는 소리와 “peat”라는 영상이 보는 사람으로 하여금 “meat”로 들리게 하나 것이다. 사람들은 시각과 청각 자극을 모두 사용해서 틀린 결정을 내렸다.

 

이 현상은 공감각이 청각자극의 지각에서 발생하는지, 또는 단어의 의미를 지각할 때 발생하는지 구분하는데 도움이 된다. 연구팀은 단어 리스트를 만들어서 이 맥걸크 효과를 만들어냈다. 리스트는 다음과 같다.

이 들은 각 단어 당 세가지 동영상을 보여줬다(무선적인 순서로). 실험에 참가한 12명은 단어와 색을 동시에 경험하는 공감각자들이었다. full-McGurk 조건의 경우 영상에서는 “peat”발음하고 소리는 “neat”로 들린다. 다른 조건은 영상만 제시되고, 백색소음이 같이 제시된다(소리 제외 조건). 마지막 조건은 말하는 사람의 얼굴을 모자이크 처리하고 소리만이 제시되었다. 분리된 컴퓨터 모니터 화면에는 참가자들이 경험한 색상 array가 제시된다. 참가자가 동영상을 보고 난 뒤 자신이 경험한 색상을 클릭하게 된다. 그 다음 실험자에게 자신이 들은 단어가 무엇이었는지를 말하게 된다. 참가자가 반응하게 될 색상 표는 아래와 같다.

그 림에서처럼 공감각자들은 맥걸크 효과를 경험했는지 여부에 따라 매우 다른 색상을 골랐다. 참가자 S21의 경우 영상만 봤을 땐 밝은 파랑을 경험했다가, 단어만을 들었을 땐 녹색을 경험했고, 맥걸크 효과에서는 파란색을 경험했다. 재미있는 사실은 이들이 시각적 단서만 봤을 때 몇몇 참가자가 단어를 구분했음에도 불구하고 아무런 색상을 경험하지 못했다는 사실이다. 단어가 무엇인지 몰랐던 경우에는 참가자 중 아무도 색상을 경험하지 않았다.

 

그러나 이 결과에서 나온 색상차이는 진정한 차이가 아닐 수 있다. 우리는 녹색과 파란색이 본질적으로 같은 색상군이라고 지적할 수 있다. 그래서 연구자들은 이 결과를 다시 분석했다. 즉 맥걸크 효과를 경험하지 않은 경우(audio-only와 audiovisual에서 전부 “neat”라고 경험한 경우)와 경험한 경우(audio에서는 bay라고 듣고 audiovisual에서는 day라고 들은 조건) 색상 선택에 일관성을 비교했다. 그 결과는 다음과 같다.

 

이 그래프는 9명의 참가자의 색상 선택의 일관성 차이이다. 연구자들은 색상들이 아래와 같은 RGB color space에서 서로 얼마나 떨어져 있는지를 계산했다.

색 상들이 서로 멀리 떨어져 있을수록 color difference가 큰 것이다. 결과표에서 볼 수 있듯이 한 사람을 제외하곤 이 차이가 유의미했다. 참가자들은 맥걸크 효과를 경험했을 때 그렇지 않은 경우보다 일관성 없는 색상을 선택한 것이다.

 

 

연 구팀은 이 결과가 공감각이 단어의 후기 처리과정에서 일어남을 의미한다고 설명한다. 맥걸크 효과는 다양한 감각 인풋을 통합하는 과정에서 일어나게 되고, 공감각은 이 과정이 일어난 후에 발생한다(결국 청각 자극만 들어간 경우와 청각+시각 자극으로 인해 정보가 달라진 경우 공감각 경험 간 차이가 있게 된다 – 역자 주) . 만약 그렇지 않다면 맥걸크 효과를 경험하지 않았을 때와 경험한 경우의 공감각 차이는 없을 것이다.

 

Bargary G, Barnett KJ, Mitchell KJ, & Newell FN (2009). Colored-speech synaesthesia is triggered by multisensory, not unisensory, perception. Psychological science : a journal of the American Psychological Society / APS, 20 (5), 529-33 PMID: 19476587