영상 출처:
핵심 내용
1. 왜 딥러닝을 믿었는가?
수츠케버는 2002~2003년 무렵부터 AI에 관심을 가졌으며, 당시 컴퓨터는 사실상 “학습”을 하지 못했다고 말합니다.
그는 인간과 컴퓨터의 가장 큰 차이가 학습 능력이라고 생각했고, 이를 해결하는 기술이 AI 발전의 핵심이라고 판단했습니다.
이 과정에서 Geoffrey Hinton의 연구를 접하게 되었고, 신경망이 미래의 AI를 이끌 것이라고 확신하게 되었다고 설명합니다.
2. GPT는 단순한 문장 예측기가 아니다
인터뷰에서 가장 중요한 주장 중 하나는 다음과 같습니다.
언어모델은 다음 단어를 예측하도록 학습되지만, 그 과정을 수행하기 위해서는 현실 세계를 이해하는 내부 모델을 형성해야 한다.
예를 들어 소설, 뉴스, 과학 문헌 등을 학습하는 과정에서 모델은:
- 사람의 행동
- 물리 세계
- 사회 구조
- 상식
등에 대한 추상적 표현을 내부적으로 구축하게 된다는 설명입니다.
3. 규모(Scale)의 힘
수츠케버는 현대 AI의 발전이 특별한 알고리즘 때문이라기보다
- 더 큰 모델
- 더 많은 데이터
- 더 강력한 GPU
- 더 긴 학습 시간
덕분에 가능했다고 강조합니다.
AlexNet 시절과 GPT-4 시대를 비교하면 학습에 사용된 연산량이 수백만 배 증가했다고 설명합니다.
4. AGI는 가능한가?
그는 인간 지능이 특별한 마법이 아니라 물리적 뇌에서 발생하는 현상이라면,
충분히 강력한 인공 신경망도 인간 수준 지능에 도달할 수 있다
고 주장합니다.
즉 AGI는 원리적으로 가능하며, 현재의 딥러닝 접근법이 그 방향으로 가고 있다는 입장입니다.
5. 가장 놀라웠던 사실
인터뷰 마지막에 수츠케버는 AI 연구 20년 동안 가장 놀라운 점으로 다음을 꼽습니다.
“결국 처음부터 같은 아이디어가 맞았다는 것”
즉,
- 인공 뉴런
- 신경망
- 역전파 학습
이라는 오래된 개념이 규모를 키우자 실제로 강력한 지능을 만들어냈다는 점이 가장 놀라웠다고 말합니다.
한 문장으로 정리
이 영상은 “GPT-4와 AGI의 핵심은 새로운 마법 같은 알고리즘이 아니라, 신경망을 엄청난 규모로 확장했을 때 나타나는 지능의 창발성(emergence)” 이라는 일리야 수츠케버의 철학을 설명하는 인터뷰입니다.