논문명: Language Models are Few-Shot Learners
저자: Tom B. Brown et al.
발표: NeurIPS 2020
1. 연구 배경 (Background)
GPT-3가 등장하기 이전의 자연어 처리(NLP)는 대부분 대규모 텍스트로 모델을 사전학습(Pre-training)한 후, 특정 작업에 맞는 데이터셋을 이용해 Fine-tuning하는 방식이 주로 사용되었습니다.
BERT, GPT-1, GPT-2와 같은 사전학습 언어 모델의 등장으로 다양한 자연어 처리 작업의 성능이 크게 향상되었지만, 실제 새로운 작업을 수행하려면 여전히 해당 작업에 맞는 수천~수만 개의 학습 데이터와 추가적인 Fine-tuning 과정이 필요한 경우가 많았습니다.
반면 인간은 새로운 문제를 배울 때 반드시 수천 개의 예제를 필요로 하지 않습니다.
예를 들어,
영어 → 프랑스어
cat → chat
dog → chien
apple → ?
처럼 몇 개의 예제만 보여주어도 새로운 작업의 규칙을 파악할 수 있습니다.
GPT-3 논문은 여기에서 중요한 질문을 제기합니다.
“언어 모델의 크기를 충분히 키운다면, 별도의 Fine-tuning 없이 단순히 몇 개의 예제를 보여주는 것만으로 새로운 작업을 수행할 수 있을까?”
이를 검증하기 위해 OpenAI는 당시 가장 큰 규모 중 하나였던 1,750억(175B)개의 파라미터를 가진 GPT-3를 학습하였습니다. 이는 이전 세대 GPT-2의 15억 파라미터보다 약 100배 이상 큰 규모입니다.
2. 연구 목적 (Objective)
GPT-3의 핵심 목표는 단순히 더 큰 언어 모델을 만드는 것이 아니었습니다.
연구진은 언어 모델의 규모를 크게 확장했을 때 새로운 작업을 학습하는 능력이 어떻게 변화하는지 확인하고자 하였습니다.
특히 기존처럼 새로운 NLP 작업마다 모델의 파라미터를 다시 학습시키는 Fine-tuning 대신,
- Zero-shot Learning
- One-shot Learning
- Few-shot Learning
환경에서 모델이 얼마나 높은 성능을 낼 수 있는지를 평가하였습니다.
즉,
“모델의 파라미터를 업데이트하지 않고도 프롬프트 안의 설명과 몇 개의 예제만으로 새로운 문제를 해결할 수 있는가?”
를 검증하는 것이 이 연구의 가장 중요한 목적입니다.
이러한 방식은 이후 In-Context Learning이라는 개념으로 대규모 언어 모델(LLM)의 핵심 특징 중 하나가 되었습니다.
3. 연구 방법 (Method)
GPT-3는 GPT-2와 마찬가지로 Transformer 기반의 Decoder-Only Autoregressive Language Model입니다. Transformer Block에서는 Dense Attention과 Locally Banded Sparse Attention을 함께 사용합니다. GPT-3는 약 570GB 규모의 정제된 텍스트 데이터로 학습되었으며, 약 3000억 개의 토큰을 사용했습니다.
즉, 앞에 등장한 단어(Token)들을 바탕으로 다음에 등장할 Token을 예측하는 방식으로 학습됩니다.
기본적인 학습 방식은 다음과 같습니다.
입력 문장
I love artificial
모델 예측
intelligence
즉,
이전 Token → 다음 Token 예측
이라는 매우 단순한 학습 목표를 대규모 데이터에 반복적으로 적용합니다.
GPT-3의 가장 큰 모델은 다음과 같은 규모를 가집니다.
- 파라미터 수: 175 Billion (1,750억 개)
- Transformer Layer: 96개
- Attention Head: 96개
- Hidden Dimension: 12,288
- FFN Size: 49,152
- Context Window: 2,048 Tokens
또한 연구에서는 모델 크기에 따른 성능 변화를 분석하기 위해 125M부터 175B까지 총 8개의 서로 다른 크기의 모델을 학습했습니다.
학습 데이터에는 대규모 웹 데이터를 중심으로 다음과 같은 데이터셋이 사용되었습니다.
- Common Crawl
- WebText2
- Books1
- Books2
- Wikipedia
최종 학습에는 약 3,000억 Token이 사용되었습니다.
GPT-3 논문의 가장 중요한 특징은 모델 구조 자체보다 학습된 모델을 사용하는 방법에 있습니다.
Zero-shot
예제를 하나도 제공하지 않고 작업에 대한 설명만 제공합니다.
Translate English to French:
cheese →
모델은 설명만 보고 정답을 생성해야 합니다.
One-shot
작업 설명과 함께 예제 하나를 제공합니다.
sea otter → loutre de mer
cheese →
모델은 하나의 예제를 참고하여 문제를 해결합니다.
Few-shot
여러 개의 예제를 Prompt 안에 제공합니다.
sea otter → loutre de mer
peppermint → menthe poivrée
plush giraffe → girafe peluche
cheese →
모델은 이러한 패턴을 분석하고 새로운 입력에 대한 답을 생성합니다.
중요한 점은 이 과정에서 Gradient Descent나 Weight Update가 전혀 발생하지 않는다는 것입니다.
즉,
Prompt 안에서 문맥과 예제를 이해하여 새로운 작업을 수행합니다.
이것이 GPT-3 논문에서 보여준 In-Context Learning의 핵심 개념입니다.
4. 실험 (Experiment)
GPT-3는 다양한 자연어 처리 작업에서 평가되었습니다.
대표적인 실험 분야는 다음과 같습니다.
- Language Modeling
- Question Answering
- Translation
- Reading Comprehension
- Cloze Test
- Common Sense Reasoning
- Sentence Completion
- Word Scrambling
- Arithmetic
- News Article Generation
특히 연구진은 동일한 문제를
Zero-shot → One-shot → Few-shot
환경으로 나누어 평가하였습니다.
이를 통해 단순히 모델 크기가 증가했을 때 성능이 좋아지는지를 넘어,
모델 크기가 증가하면서 문맥 속 예제를 이용하는 능력(In-Context Learning)이 얼마나 발전하는지
분석하였습니다.
논문에서는 모델의 규모가 커질수록 Zero-shot 성능도 향상되었지만, 특히 Few-shot 성능이 더욱 빠르게 증가하는 경향을 확인했습니다.
5. 실험 결과 (Result)
GPT-3는 별도의 Fine-tuning을 수행하지 않았음에도 다양한 NLP Benchmark에서 높은 성능을 기록했습니다.
특히
- Translation
- Question Answering
- Cloze Test
- Reading Comprehension
- Language Modeling
등에서 강력한 성능을 보여주었으며, 일부 작업에서는 기존의 Fine-tuning 기반 State-of-the-Art 모델과 경쟁할 수 있는 수준의 성능을 기록했습니다.
가장 중요한 결과는 모델 크기가 커질수록 Few-shot Learning 능력이 크게 향상되었다는 점입니다.
즉,
Model Size ↑ → In-Context Learning Performance ↑
라는 관계가 관찰되었습니다.
GPT-3는 단순히 문장을 생성하는 것뿐만 아니라,
- 몇 개의 예제를 보고 새로운 단어 사용법 파악
- 단어 순서 복원
- 간단한 산술 연산
- 새로운 형식의 문장 생성
- 문맥에 따른 새로운 작업 수행
등 학습 과정에서 명시적으로 하나의 Task로 정의되지 않았던 다양한 문제에서도 일정 수준의 적응 능력을 보여주었습니다.
또한 GPT-3가 생성한 일부 뉴스 기사에서는 인간 평가자가 AI가 생성한 글과 인간이 작성한 글을 구분하기 어려운 수준의 결과가 나타났습니다.
이 연구를 통해 대규모 언어 모델이 단순한 문장 생성 모델을 넘어, Prompt에 주어진 정보를 바탕으로 새로운 작업에 적응할 수 있는 범용적인 언어 시스템으로 발전할 가능성이 제시되었습니다.
6. 장점과 한계 (Pros & Cons)
장점
- 1,750억 개의 파라미터를 가진 초대규모 언어 모델의 가능성을 입증
- 별도의 Fine-tuning 없이 다양한 NLP Task 수행
- Zero-shot / One-shot / Few-shot Learning 능력 입증
- In-Context Learning의 가능성을 본격적으로 보여줌
- 하나의 모델로 번역, QA, 문장 생성, 추론 등 다양한 작업 수행
- 모델 규모 증가와 성능 향상의 관계를 체계적으로 분석
- 이후 대규모 언어 모델(LLM)과 Prompt 기반 AI 발전에 큰 영향을 줌
한계
- 175B개의 파라미터로 모델 크기가 매우 큼
- 학습 및 추론에 막대한 GPU 자원과 비용 필요
- 일부 추론 및 상식 문제에서는 성능이 여전히 부족함
- Prompt의 표현이나 예제에 따라 성능 변화가 발생할 수 있음
- 학습 데이터에 포함된 Bias와 유해한 표현을 생성할 가능성 존재
- 인터넷 기반 대규모 학습 데이터로 인해 Benchmark 데이터가 학습 데이터에 포함되는 Data Contamination 문제가 발생할 수 있음
- 생성한 문장이 자연스럽더라도 실제 사실과 일치한다는 보장이 없음
- 모델이 커졌다고 해서 모든 종류의 추론 능력이 안정적으로 향상되는 것은 아님
특히 GPT-3의 가장 큰 한계 중 하나는 문장을 자연스럽게 생성하는 능력과 실제로 내용을 이해하거나 정확한 사실을 말하는 능력이 동일하지 않다는 점입니다.
따라서 생성 결과가 매우 자연스러워 보여도 잘못된 정보를 생성할 수 있습니다.
7. 개인적인 평가 (Comment)
GPT-3는 새로운 Transformer 구조를 제안한 논문이라기보다, 기존 Transformer 기반 언어 모델의 규모를 극단적으로 확장했을 때 어떤 새로운 능력이 나타나는지를 보여준 연구라는 점에서 의미가 있습니다.
특히 가장 중요한 기여는 In-Context Learning의 가능성을 본격적으로 보여주었다는 점이라고 생각합니다.
기존 머신러닝에서는 새로운 문제를 해결하려면 일반적으로
Dataset 준비 → Training → Fine-tuning → 새로운 Model
이라는 과정이 필요했습니다.
하지만 GPT-3는
Pre-trained Model + Prompt + Examples → 새로운 Task 수행
이라는 새로운 패러다임을 보여주었습니다.
즉, 모델의 Weight를 다시 학습시키는 대신 자연어와 예제를 이용해 모델에게 새로운 문제를 설명하는 방식이 가능하다는 것을 보여준 것입니다.
이는 오늘날 ChatGPT를 비롯한 다양한 LLM에서 사용되는 Prompt Engineering, Few-shot Prompting, In-Context Learning의 중요한 기반이 되었습니다.
물론 GPT-3가 실제로 사람처럼 새로운 개념을 ‘학습’하는 것인지, 아니면 대규모 학습 데이터에서 얻은 패턴을 문맥에 맞게 활용하는 것인지에 대해서는 여전히 많은 논의가 필요합니다.
그럼에도 불구하고 GPT-3는 “언어 모델의 규모를 키우면 단순한 성능 향상을 넘어 새로운 형태의 능력이 나타날 수 있다”는 가능성을 보여주었으며, NLP 연구가 개별 Task 중심의 모델에서 범용적인 Large Language Model 중심으로 변화하는 데 중요한 전환점이 된 연구라고 생각합니다.
오늘날에는 GPT 계열뿐만 아니라 Llama, Gemini, Claude, Qwen 등 다양한 대규모 언어 모델이 등장했지만, Prompt에 Instruction과 Example을 제공하여 하나의 모델로 다양한 작업을 수행한다는 현대 LLM의 기본적인 사용 방식은 GPT-3 논문에서 매우 명확하게 드러납니다.
Transformer와 GPT의 발전 과정을 공부하는 사람이라면 GPT-1과 GPT-2 이후 반드시 읽어볼 가치가 있으며, 특히 오늘날 LLM에서 매우 중요한 In-Context Learning과 Few-shot Learning이 왜 주목받기 시작했는지 이해하기에 좋은 논문이라고 생각합니다.
한 가지는 꼭 기억해두면 좋아요. GPT-3 논문의 핵심을 한 문장으로 요약하면:
“모델을 충분히 크게 만들면, Weight를 다시 학습하지 않고도 Prompt 속 몇 개의 예제만 보고 새로운 Task를 수행할 수 있다.”
그래서 GPT-1 → GPT-2 → GPT-3 흐름을 공부할 때는 GPT-1 = 사전학습+Fine-tuning, GPT-2 = Zero-shot과 범용 언어 모델 가능성, GPT-3 = Few-shot/In-Context Learning의 본격적인 등장으로 잡으면 흐름이 아주 깔끔합니다.