시각 작업 기억은 물체를 구조적으로 표상한다

글 : 인지심리 매니아

최근 미국인지과학회가 최우수로 선정한 인지과학 박사학위논문들이 발표되었다. 오늘은 그 중 시각 작업 기억 분야를 연구한 논문^[각주:1]을 소개하고자 한다.

이 논문의 저자는 학제적 연구를 통해 시각 작업 기억이 대상을 구조적으로 표상한다고 주장하고 있다. 

1. 시각 작업 기억의 최소 단위

기존 인지심리학 연구들은 시각 기억이 대상(object)의 숫자에 영향을 받지만, 대상이 지닌 특징의 수에는 영향을 받지 않는다고 설명해 왔다. 예를 들어 두 개의 동그라미를 기억하는 경우와 빨강과 파랑 동그라미를 기억하는 경우, 후자(색상이라는 특징이 추가되었다)가 전자보다 기억하기 더 어려운 건 아니라는 것이다. 하지만 이 주장에 반대되는 연구 결과도 관찰되었다. 대상의 수가 동일하더라도 특징의 수(색상, 기울기 등)가 늘어나면 기억하기 더 어려워지는 현상을 발견한 것이다. 

저자는 이 모순을 해결하기 위해 hierarchically structured feature-bundle이 시각 작업 기억의 최소 단위라고 주장한다. 

사진출처: 논문에서 인용

인간이 a라는 장면을 머리 속에 기억할 때, 그 표상은 온전한 object(B) 또는 각각 분리된 특징(C)의 형태를 띄지 않는다. 대신 완전한 object와 특징을 모두 포함하는 hierarchically structured feature-bundle(D)로 표상된다. 

이 모델은 특징의 경우 어느 정도 독립된 저장 공간을 가지고 있기 때문에, 외워야 할 특징의 숫자가 늘어나도 기억하는 데 큰 무리가 없다고 설명한다. 반면 새 물체(즉 새로운 bundle)를 기억해야 할 경우, 기억에 추가적인 비용이 들어간다고 설명한다. 따라서 기억이 대상의 수에 영향을 받는 경우를 설명할 수 있다.  또, 이 모델은 특징의 저장 공간이 ‘어느 정도' 독립적이라고 설명했다. 따라서 동일한 대상 안이라도 특징의 숫자가 너무 많아지면 기억이 힘들어 질 것이다(필자는 이렇게 이해했다). 따라서 같은 대상 안에서 특징의 수가 늘어나면 기억이 어려워지는 경우를 설명할 수 있다. 결국 기존 연구 결과들의 모순을 설명할 수 있는 것이다.

2. Ensemble statistics bias

인간은 물체를 지각할 때 패턴 속에서 통계치를 발견한다. 예를 들어, 여러 개의 도형을 볼 경우 평균 크기, 평균 기울기 등을 매우 빠르게 계산해낸다. 이 통계치를 Ensemble statistics라고 한다.

Ensemble statistics는 시각 작업 기억이 정보를 효율적으로 부호화하도록 돕는다. 수박이 여러 개 있는 사진을 보여준 다음 특정 위치에 있던 수박의 크기를 기억해 보라고 할 경우를 상상해 보자. 우리는 사진을 볼 때 이미 수박들의 평균 크기를 무의식적으로 계산한 다음 이 수치를 토대로 수박의 크기를 기억한다. 즉, 패턴의 통계치를 기반으로 기억을 하기 때문에 그만큼 기억하기 쉬워지는 것이다. 만약 Ensemble statistics 없이 물체의 크기를 따로따로 기억해야 한다면 작업 기억에 큰 부담이 될 것이다.

저자들은 Ensemble statistics가 기억에 미치는 영향을 알아보기 위해 실험을 진행했다. 참가자들은 아래 그림처럼 빨간 또는 파란색 점들이 섞여 있는 그림을 본다. 그 다음, 연구자들은 참가자가 특정 위치에 있던 점의 크기를 정확히 기억하는지 검사했다.

사진출처: 논문에서 인용

연구 결과, 참가자들은 해당 위치의 점이 파란색일 때 점이 훨씬 컸다고 기억했다. 즉, 파란색 점의 평균 크기가 해당 점의 크기를 기억하는 데 영향을 미친 것이다. 연구자들은 이 효과를 직접적으로 알아보기 위해 동일한 점의 색깔을 빨강 또는 파랑으로 조작한 다음 크기를 물어봤다. 동일한 점임에도 불구하고 색상이 파란색인 경우 참가자는 점의 크기가 컸다고 기억했다. 

결국 인간은 물체의 개별적 특징 뿐만 아니라 물체들의 평균적 특징도 함께 표상한다는 것이다. 우리는 이런 구조적 부호화 때문에 시각 정보를 효율적으로 다룰 수 있다.

3. 정보 압축

인간은 주변 환경의 구조적, 통계적 정형성(statistics regularity)에 민감하다. 예를 들면, 우리는 뜨거운 열의 중심부는 노란색이고 주변부는 붉은 색을 띤다는 사실을 알고 있다. 이런 통계적 정형성은 한낮의 태양부터 양초의 촛불에 이르기까지 일관되게 나타난다. 

이 통계적 규칙은 우리가 기억을 효과적으로 하는 데 도움을 준다. 저자들은 이 가설을 검증하기 위해 실험을 진행했다. 참가자들은 아래 그림처럼 8개의 색으로 이루어진 4개의 원을 보게 된다. 1초가 지난 다음, 이번에는 색상이 모두 제거된 원이 제시된다. 참가자는 그 중 까맣게 표시된 원의 색상이 무엇이었는지 기억하면 된다. 

사진출처: 논문에서 인용

연구자는 참가자를 Uniform 조건과 Patterned 조건으로 나누었다. Uniform 조건의 참가자는 색상의 짝이 무선적으로 구성된 원들을 보게 된다(원과 테두리의 색상 조합이 무선적이다). 반면, Patterned 조건의 참가자는 규칙성이 있는 색상 조합에 노출된다. 예를 들면 빨간색 원이 노란 테두리와 함께 나타날 확률을 80%로 조작하는 식이다.

실험 결과, patterned 조건의 참가자는 uniform 조건의 참가자보다 색상의 회상률이 높았다. 이 효과는 실험 횟수가 거듭될수록 더욱 커졌다. 연구자들의 주장의 의할 때, 이 결과는 참가자들이 실험이 진행되는 동안 빨간색이 노란 테두리와 함께 나타난다는 사실을 무의식적으로 배웠기 때문이다. 이 통계적 규칙성이 중심원의 색상을 기억하는 데 도움이 되었던 것이다.

연구자들은 통계적 정형성이 정보를 압축하기 때문에 효율적인 기억을 가능하게 한다고 생각했다. 이를 검증하기 위해 인간이 색상 간 규칙을 학습하는 과정을 베이지안 모델로 만든 다음, 색상을 비트로 바꿔서 기억해야 할 양이 어느 정도인지 계산해냈다. 그 결과, uniform과 patterned 집단 간 기억해야 할 정보량에는 차이가 없었다. 그럼에도 불구하고 patterned 집단의 수행이 높았던 이유는 통계적 정형성이 정보를 압축했기 때문이라고 볼 수 있다. 

                                                                                                                

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

그 동안의 연구들은 시각 기억을 연구할 때 기억해야 할 항목의 개수에만 관심이 있었다. 또, 항목들을 묶어서 기억(청킹)하는 경우 항목이나 특징 간 위계적 구조를 고려하지는 않았다. 이 논문은 우리의 시각 기억 표상이 훨씬 복잡할 수 있음을 보여준다. 우리는 대상을 특징 별로 나누어서 기억하는 동시에 그것을 구조적으로 조립한 완전한 대상으로도 기억하며, 거기에 다른 물체에서 발견한 통계적 규칙까지 적용한다. 

1. Structured Representations in Visual Working Memory, Timothy F. Brady, Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology, 2012 [본문으로]