상향식-하향식 접근법

출처: a replicated type

번역: 인지심리 매니아

전쟁은 이제 시작되었다.인지 모델링의 세계에서 벌어질 전쟁.그 정도는 아닐지라도 최소한 상당한 소동이 있을 것이다.Trends in Cognitive Sciences에 게시된 두 논문은 인지를 각각 다른 현미경을 통해 바라보면서 그 장점을 설명하고 있다 .

확률적 모델링을 지지하는 학자로는 Thom Griffiths, Nick Chater, Charles Kemp, Amy Perfors와 Joshua Tenenbaum이 있다. Representing (non-symbolically) emergentist 접근 방식을 지지하는 학자로는 James McClelland, Matthew Botvinick, David Noelle, David Plaut, Timothy Rogers, Mark Seidenberg과 Linda B 스미스가 있다.이번 논쟁은 결코 가벼운 싸움이 아니다.

그러나, 최초의 전쟁터는 이렇게 복잡한 다이어그램을 사람들이 어떻게 이해할 수 있는지 여부가 될 것이다.나는 (첫 번째 두 이미지 참조)이 결정을 독자에게 맡긴다.

핵심 문제는 어떤 접근법이 대부분의 인지 현상을 잘 설명하는지에 있다.David Mar의 단계적 설명은 문제의 '계산(computational)'적 특징, 그 문제의 '알고리즘적' 기술, 실제로 과정들이 두뇌하여 구현되는 방법에 대한 '실행적'설명을 포함한다.구조화된 확률론(Structured proabilistic)의 경우 하향식(top-down) 처리방식을 지지하는 반면, 발현주의(Emergentism)는 상향식(bottom-up) 접근법을 지지한다.

구조적 접근

구조적 확률론은 '문제를 해결하기 위해 얼마나 많은 정보가 필요한가?'와 같은 질문이 적절하다고 설명한다. 어떤 표상이 필요하고, 학습에 어떤 제약이 있을까? 질적으로 다른 접근 방법이 각각 다른 영역과 추론에 적용될 수 있다.

계층적 구조의 경우 모델이 상위 수준의 정보에 의해 영향을 받을 수 있음을 의미한다. 예를 들어, 당신이 돌고래는 어류라고 믿고 있는데 누군가 '돌고래는 어류처럼 보이지만 사실 포유류다'라고 말했다면 당신은 곧 입장을 바꾸게 된다. 반면 확률적 입장은 연결주의 모델이 상위 수준의 정보를 그렇게 쉽게 통합할 수 없으며, 단지 작은 정보에 의해서 인간의 마음이 바뀔 수는 없다고 주장한다.이들은 또 구조적 접근은 인지적 문제와 분리될 수 있다고 주장하는데, 예를 들면 구조를 학습하는 것과 원인-결과의 강도를 학습하는 것이 그런 경우라는 것이다.연결주의 모델은 이런 두 측면을 통합했지만, 연결주의 모델이 문제를 어떻게 해결하는지 설명하기 힘들다.

발현적 접근

발현적 학설은 세 가지 반박을 한다. 첫째로, 그들은 세 개의 처리 단계 - 계산, 알고리즘, 실행 -에 동등한 비중을 둔다. 둘째, '하향식'접근 방식은 부정확한 표상과 구조를 이론으로 구축할 위험이 있다고 주장한다. 이 학자들은 인지가 어떻게 구조화되어 있는지 보다, 구조가 데이터를 통해 어떻게 통합될지를 주장한다. 그들은 구조화된 접근법을 가정할 경우 뇌가 문제를 최적으로 해결할 수 없을 수도 있다고 말한다.아래는 범주화의 새로운 모델을 묘사한 다이어그램이다.이 그림은 대상과 속성 간 관계를 학습하는 신경 네트워크를 설명하고 있다.

 

발현적 접근법의 장점이 논문에서 극적으로 보여지고 있다: 다음 그래프는 시간 경과에 따른 표상의 output 활성화를 보여준다.놀랍게도, 이 표상이 모델에서 전혀 나타난 적이 없음에도 불구하고 '염소'가 우세하다. 이것이 어쩌면 새로운 네트워크 상에서 발견한 deep goat-bias의 증거일까? 아니면 오타일까?.

 

마지막으로 발현적 학설은 구조적 접근이 발달과정의 요소들을 설명할 수 없다고 주장한다.어린이는 학습곡선과 함께 이와 반대되는 행동을 보이는데, 이런 현상은 새로운 학설로는 설명할 수 있지만, 문제를 최적으로 접근하는 모델에서는 설명할 수 없다.

인지적 양초의 양 끝을 밝히다

나는 문제가 어떻게 구조화되어있는지에 가정하는 발현적 학설이 위험하다는 데 동의한다.내 연구 중 일부는 구조적 접근이 언어학습에 대해 가지고 있는 가정이나, 이중언어같은 언어학습의 '전이'와 관련이 있다.

나는 또한 Griffiths 연구에서처럼 구조적 확률 모델이 문제 해결을 위한 정보량을 결정할 수 있다는 입장에 동의하지 않는다. 예를 들어 사람이 시각적 감각을 이용해 집 안을 돌아다니는 등의 시각적 항행(visual navigation)을 생각해보자.초기 접근법은 우리가 주변 환경에 대한 내부적 지도를 필요로 한다고 설명했다. 내부적 지도는 우리가 현재 어디있고, 우리가 어디를 향하고 있는지 등의 정보를 말한다.연구는 이 문제를 매우 높은 수준에서부터 접근했다. 그러나, Zeil, Hofmann & Chahl는 (2003) 현재 위치와 대상 위치에서 취한 영상의 픽셀별 차이를 통해 문제를 효과적으로 해결할 수 있다고 했다.중요한 점은, 이 실험이 주위가 시끄러운 실제 상황에서 진행되었고 인공적인 실험실에서 진행되지 않았다는 점이다.이 실험은 개미와 꿀벌이 작은 두뇌를 지니고 있음에도 불구하고 길을 정확하게 찾아가는 이유를 설명하는 수도 있다. -이 세상에는 저차원의 시스템이 활용할 수 있는 복잡한 정보들이 널려 있다.

이와 동시에, 발현적 학설은 그들이 입력정보를 표상하는 방식을 통해 문제에 대한 가정을 만든다.위의 모델에서 개체, 양상, 관계는 이미 나누어져 있다.이 모델은 새로운 형태에 관계를 발전시킬 수 없는 것이다.

두 진영 사이에서도 견해의 정도에 따라 차이가 있다. 발현적 접근법은 메카니즘에 초점을 맞춘다. - 뇌가 문제를 어떻게 해결하는가.구조적 확률 접근은 왜 뇌가 문제를 그런 방식으로 해결하는지에 초점을 맞춘다.

난 이 논쟁이 어떻게 진행될지 흥미롭다. 연결주의와 동적 시스템 연구자들이 서로 대립하게 된지 그리 오래되지 않았고, 현재도 이들은 베이지안에 얽매이지 않는다. 현재 상향식, 하향식 접근법을 동시에 사용하는 모델들도 있다. Friston의 dynamic expectation - maximisation 모델은 모델의 계층 구조를 사용하지만, 이 모델은 학습시 neural net처럼 작동하고, 산출의 경우 베이지안 모델처럼 작동한다.결국, 이러한 방식 모두 인지의 이해와 인공 지능 시스템의 발전에 기여를 할 수 있다.

Reference

• Griffiths, T., Chater, N., Kemp, C., Perfors, A., & Tenenbaum, J. (2010). Probabilistic models of cognition: exploring representations and inductive biases Trends in Cognitive Sciences, 14 (8), 357-364 DOI: 10.1016/j.tics.2010.05.004
• McClelland, J., Botvinick, M., Noelle, D., Plaut, D., Rogers, T., Seidenberg, M., & Smith, L. (2010). Letting structure emerge: connectionist and dynamical systems approaches to cognition Trends in Cognitive Sciences, 14 (8), 348-356 DOI: 10.1016/j.tics.2010.06.002
• Zeil J, Hofmann MI, & Chahl JS (2003). Catchment areas of panoramic snapshots in outdoor scenes. Journal of the Optical Society of America. A, Optics, image science, and vision, 20 (3), 450-69 PMID: 12630831