딥러닝의 한계 넘어 ‘감각운동 AI’로 진화하는 인공지능
2D 시각에서 3D 인식까지… 인간처럼 ‘세상을 이해하는’ AI가 온다

AI 기술의 급격한 발전 속에서 또 한 번의 패러다임 전환이 다가오고 있다. 지금까지는 연산량을 키우고 모델을 키우는 ‘스케일링의 법칙’을 따르는 방식이 주류였다면, 이제는 인간의 뇌를 닮은 ‘세계 모델(World Model)’이 새로운 대안으로 주목받고 있다.

트랜스포머 아키텍처 이후 MAMBA, JAMBA 등 다양한 확장 시도가 이어지고 있지만, 이는 딥러닝의 범주 안에서의 실험일 뿐이라는 한계도 존재한다. 이에 따라 인간처럼 환경을 인지하고 예측할 수 있는 ‘뇌 기반 AI’에 대한 연구가 활발히 이루어지고 있다.

‘보는 AI’를 넘어서 ‘이해하는 AI’로

우리의 뇌는 2D로 들어온 시각 정보를 바탕으로 3D 공간을 상상하고, 그 공간 안에서 예측과 판단을 한다. 이 과정을 인공지능이 구현하려는 시도가 바로 ‘세계 모델’이다. 최근 오픈AI의 영상 생성 AI ‘Sora’는 이러한 세계 모델 개념의 시작점으로 평가받고 있으며, 실제로 사람처럼 ‘세상의 구조’를 예측하며 영상을 생성한다.

스탠퍼드대학교 페이페이 리(Fei-Fei Li) 교수는 ‘월드랩스(World Labs)’라는 스타트업을 통해 2D 이미지를 기반으로 3D 공간을 재구성하고, 그 안을 실제로 ‘경험할 수 있는’ 시연을 공개했다. 시각 정보를 넘어 공간 이해로 확장된 이 모델은, AI가 현실을 더 인간처럼 받아들이고 작동하는 방향으로 나아가고 있다는 신호다.

<천개의 뇌>와 ‘감각운동 AI’

딥러닝을 넘어서는 새로운 뇌 기반 AI의 대표적인 이론은 신경과학자 제프 호킨스(Jeff Hawkins)의 저서 천개의 뇌에 기반을 두고 있다. 그는 인간의 뇌가 다양한 감각과 운동을 통해 ‘세계에 대한 모델’을 학습한다고 설명한다.

그의 스타트업 ‘누멘타(Numenta)’는 이를 바탕으로 ‘감각운동 AI(Sensorimotor AI)’라는 새로운 패러다임을 제안했다. 기존 딥러닝처럼 거대한 파라미터와 GPU에 의존하는 방식이 아니라, CPU만으로도 GPU급 성능을 낼 수 있는 경량화된 아키텍처를 구현해냈다는 설명이다. 실제로 누멘타는 CES 2024에서 관련 기술을 공개했고, 최근에는 이를 오픈소스로 공개하며 연구 확장을 유도하고 있다.

‘뇌’를 닮아가는 인공지능

AI는 이제 단순히 데이터를 학습하고 언어를 생성하는 도구에서 벗어나, 세상을 ‘모델링’하고 ‘예측’하는 수준으로 진화하고 있다. 인간의 뇌처럼 복잡한 현실을 다층적 구조로 인식하고 대응할 수 있는 AI가 등장한다면, 우리는 지금보다 훨씬 더 직관적이고, 효율적이며, 지능적인 도구와 함께하게 될 것이다.

AI가 더 똑똑해지려면, ‘컴퓨터’가 아닌 ‘뇌’를 닮아야 한다는 말. 지금 이 순간, 그 말이 현실이 되어가고 있다.

[참고자료]

제프 호킨스, 『천개의 뇌』 (2021, 예스24)

Fei-Fei Li, World Labs 시연 발표 (2024)

누멘타(Numenta) 공식 자료

OpenAI Sora 모델 발표