GPT의 시작, Pre-training & Fine-tuning 패러다임을 제시하다
논문
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever,
Improving Language Understanding by Generative Pre-Training (OpenAI, 2018)
link:https://www.mikecaptain.com/resources/pdf/GPT-1.pdf
오늘날 LLM(Large Language Model)은 ChatGPT를 비롯해 Llama, Qwen 등 다양한 AI 모델의 핵심 기술로 자리 잡았습니다.
그렇다면 오늘날의 LLM은 어디에서 시작되었을까요?
그 흐름을 이해하기 위해 반드시 살펴봐야 하는 연구 중 하나가 바로 2018년 OpenAI에서 발표한 「Improving Language Understanding by Generative Pre-Training」, 흔히 GPT-1이라고 부르는 논문입니다.
이 논문의 핵심 아이디어는 놀라울 정도로 간단합니다.
대규모 라벨 없는 텍스트 데이터로 먼저 언어 모델을 사전학습(Pre-training)한 뒤, 원하는 NLP 작업에 맞게 추가 학습(Fine-tuning)하자.
오늘날 GPT 계열과 LLM에서 너무나 자연스럽게 사용되는 Pre-training → Fine-tuning 패러다임을 본격적으로 보여준 중요한 연구입니다.
1. 연구 배경 (Background)
GPT-1 이전의 자연어 처리(NLP)는 대부분 특정 작업(Task)에 맞는 모델을 각각 학습하는 방식이 중심이었습니다.
예를 들어,
- 감성 분석(Sentiment Analysis)
- 자연어 추론(Natural Language Inference)
- 질문 응답(Question Answering)
- 문장 유사도(Semantic Similarity)
- 텍스트 분류(Text Classification)
와 같은 작업마다 별도의 라벨링된 데이터셋을 준비하고 모델을 학습해야 했습니다.
하지만 사람이 직접 정답을 붙여야 하는 라벨링 데이터(Labeled Data)를 대규모로 구축하는 것은 많은 시간과 비용이 필요합니다.
반면 인터넷에는 책, 기사, 웹 문서 등 엄청난 양의 라벨이 없는 텍스트(Unlabeled Text)가 존재합니다.
그렇다면 이런 질문을 할 수 있습니다.
“인터넷에 존재하는 방대한 텍스트를 먼저 학습시킨 다음, 그 지식을 여러 NLP 문제에 활용할 수 있지 않을까?”
GPT-1은 바로 이 문제에서 출발했습니다.
또한 2017년 Google이 발표한「Attention Is All You Need」에서 Transformer 구조가 등장하면서, RNN이나 LSTM 없이 Attention만으로 문맥을 효과적으로 학습할 수 있는 기반이 마련되었습니다.
GPT-1은 이러한 Transformer 구조와 대규모 비지도 사전학습(Unsupervised Pre-training)을 결합하여 범용적인 자연어 처리 모델의 가능성을 보여주었습니다.
2. 연구 목적 (Objective)
GPT-1의 핵심 목표는 대규모 비라벨 텍스트에서 일반적인 언어 표현을 먼저 학습한 뒤, 비교적 적은 양의 라벨링 데이터만으로 다양한 NLP 작업을 수행하는 것입니다.
기존 방식이 다음과 같았다면,
Task A → Model A
Task B → Model B
Task C → Model C
GPT-1은 하나의 사전학습 모델을 여러 작업에 활용하고자 했습니다.
Large-scale Text
↓
Generative Pre-training
↓
Pre-trained Transformer
↓
Fine-tuning
↓
Classification / NLI / QA / Similarity
즉, 특정 문제 하나만 잘 해결하는 모델이 아니라 먼저 언어 자체를 학습하고 그 능력을 다양한 문제로 전이(Transfer)하는 모델을 만드는 것이 핵심 목표였습니다.
3. 연구 방법 (Method)
GPT-1의 학습 방법은 크게 두 단계로 구성됩니다.
Step 1. Unsupervised Pre-training
첫 번째 단계에서는 대규모 비라벨 텍스트를 이용하여 Transformer를 사전학습합니다.
GPT-1은 Autoregressive Language Modeling 방식을 사용합니다.
쉽게 말하면,
앞에 등장한 단어들을 보고 다음 단어를 예측합니다.
예를 들어,
나는 오늘 학교에 → ?
라는 문장이 있다면 모델은 앞의 문맥을 바탕으로 다음에 등장할 가능성이 높은 단어를 예측합니다.
예를 들어 “갔다”, “간다”와 같은 단어의 확률이 높아질 수 있습니다.
이를 반복하면서 모델은 단순히 단어만 외우는 것이 아니라,
- 문법
- 단어 간 관계
- 문장의 구조
- 의미적 관계
- 문맥(Context)
등 다양한 언어 패턴을 내부 파라미터에 학습하게 됩니다.
이것이 Generative Pre-training입니다.
Step 2. Supervised Fine-tuning
사전학습이 끝나면 두 번째 단계에서는 특정 NLP 작업에 맞는 라벨링 데이터를 이용하여 모델을 Fine-tuning합니다.
예를 들어 감성 분석이라면,
“이 영화 정말 재미있다.” → Positive
“스토리가 너무 지루하다.” → Negative
와 같은 데이터를 이용해 이미 언어를 학습한 GPT를 추가 학습합니다.
즉,
Pre-training = 언어 자체를 먼저 공부
Fine-tuning = 특정 문제를 푸는 방법을 추가로 공부
라고 이해하면 쉽습니다.
이러한 Pre-training → Fine-tuning 구조는 이후 현대 NLP와 LLM 발전에서 매우 중요한 학습 패러다임으로 자리 잡게 됩니다.
4. 모델 구조 (Architecture)
GPT-1은 Decoder-only Transformer 구조를 사용합니다.
원래 「Attention Is All You Need」에서 제안된 Transformer는 크게
Encoder + Decoder
구조로 구성되어 있습니다.
하지만 GPT-1은 전체 Transformer를 그대로 사용하는 것이 아니라 Decoder-only Transformer 구조를 활용합니다.
GPT-1의 주요 구성은 다음과 같습니다.
- 12개의 Transformer Layer
- 768차원의 Hidden State
- 12개의 Attention Head
- 약 1억 1,700만 개(117M)의 파라미터
- Masked Multi-Head Self-Attention
- Position-wise Feed Forward Network
- Byte Pair Encoding(BPE) 기반 토큰화
특히 GPT의 중요한 특징은 Causal Masking입니다.
예를 들어 다음과 같은 문장이 있다고 하겠습니다.
나는 오늘 사과를 먹었다
“사과를”이라는 Token을 처리할 때 모델은 앞에 있는
나는 / 오늘
은 볼 수 있지만 뒤에 있는
먹었다
는 볼 수 없습니다.
즉,
과거 Token → 볼 수 있음
미래 Token → 볼 수 없음
이러한 구조 덕분에 GPT는 자연스럽게 다음 Token을 예측하는 생성형 언어 모델(Generative Language Model)로 동작할 수 있습니다.
5. 학습 데이터 (Dataset)
GPT-1의 사전학습에는 BooksCorpus 데이터셋이 사용되었습니다.
BooksCorpus는 약 7,000권 이상의 미출간 도서로 구성된 대규모 텍스트 데이터셋입니다.
논문에서 책 데이터를 선택한 중요한 이유 중 하나는 일반적인 짧은 문장 데이터보다 긴 문맥(Long-range Context)과 연속적인 텍스트 구조를 학습하기에 적합했기 때문입니다.
모델은 이러한 대규모 텍스트를 읽으면서 다음 Token을 지속적으로 예측합니다.
Token₁ → Token₂ 예측
Token₁, Token₂ → Token₃ 예측
Token₁, Token₂, Token₃ → Token₄ 예측
…
이 단순한 학습 과정을 대규모 데이터에서 반복함으로써 모델 내부에 일반적인 언어 표현 능력을 형성합니다.
6. 실험 (Experiment)
GPT-1의 중요한 특징은 하나의 사전학습 모델을 다양한 NLP 벤치마크에 적용했다는 것입니다.
논문에서는 총 12개의 NLP Task를 대상으로 성능을 평가했습니다.
대표적인 작업은 다음과 같습니다.
- Natural Language Inference
- Question Answering
- Semantic Similarity
- Text Classification
사용된 주요 데이터셋에는
- SNLI
- MultiNLI
- SciTail
- QNLI
- RTE
- Story Cloze
- RACE
- ROCStories
- SST-2
- MRPC
- QQP
- STS-B
등이 포함됩니다.
특히 각 Task마다 완전히 새로운 모델 구조를 만드는 대신, 입력 형식을 Transformer가 처리할 수 있는 형태로 변환하여 동일한 사전학습 모델을 다양한 작업에 활용했습니다.
7. 실험 결과 (Result)
GPT-1은 12개의 평가 Task 중 9개에서 당시 최고 수준(State-of-the-Art)의 성능을 달성했습니다.
특히 중요한 점은 단순히 하나의 NLP 문제에서 좋은 성능을 보인 것이 아닙니다.
하나의 대규모 사전학습 모델이 서로 다른 여러 NLP 문제에서 높은 성능을 낼 수 있다는 것을 실험적으로 보여주었습니다.
이를 통해 다음과 같은 가능성이 확인되었습니다.
대규모 비라벨 데이터
↓
Language Model Pre-training
↓
General Language Representation
↓
다양한 Downstream Task로 Transfer
즉, 대규모 텍스트에서 먼저 학습한 언어 지식이 특정 NLP 작업의 성능 향상으로 이어질 수 있음을 보여주었습니다.
8. 핵심 아이디어: Generative Pre-training
GPT라는 이름은
Generative Pre-trained Transformer
의 약자입니다.
각 단어에는 GPT의 핵심 철학이 그대로 담겨 있습니다.
Generative
앞의 Token을 기반으로 다음 Token을 예측하는 생성형 언어 모델입니다.
Pre-trained
특정 작업을 수행하기 전에 대규모 텍스트를 이용하여 먼저 언어를 학습합니다.
Transformer
RNN이나 LSTM이 아닌 Transformer 기반 구조를 사용합니다.
따라서 GPT의 핵심을 한 문장으로 정리하면 다음과 같습니다.
Transformer를 이용하여 대규모 텍스트에서 다음 Token 예측을 먼저 학습하고, 그 과정에서 얻은 언어 능력을 다양한 NLP 작업에 활용하는 모델
이라고 볼 수 있습니다.
9. 장점과 한계 (Pros & Cons)
장점
- 대규모 비라벨 텍스트를 효과적으로 활용
- Pre-training → Fine-tuning 패러다임의 효과 입증
- 하나의 사전학습 모델을 다양한 NLP Task에 적용 가능
- Transformer 기반 생성형 언어 모델의 가능성 제시
- 라벨링 데이터에 대한 의존도 감소
- 이후 GPT-2, GPT-3 등 GPT 계열 모델 발전의 직접적인 기반 마련
- 현대 LLM 발전에 중요한 방향성 제시
한계
- GPT-1은 약 117M 파라미터로 현재 LLM과 비교하면 매우 작은 규모
- 단방향(Causal) Attention을 사용하기 때문에 양방향 문맥 표현에는 구조적 제약이 있음
- 각 Downstream Task마다 별도의 Fine-tuning이 필요
- 모델 성능이 사전학습 데이터의 품질과 규모에 크게 영향을 받음
- 오늘날 LLM처럼 강력한 Zero-shot / Few-shot 능력을 보여주는 단계까지는 도달하지 못함
- 긴 문맥을 처리하는 능력 역시 현대 LLM과 비교하면 제한적임
10. GPT-1이 중요한 이유
GPT-1을 지금의 ChatGPT와 직접 비교하면 모델 규모나 성능 면에서 큰 차이가 있습니다.
하지만 GPT-1의 진짜 가치는 성능 자체보다 방향성에 있습니다.
2017년 「Attention Is All You Need」가 Transformer라는 강력한 구조를 제안했다면,
2018년 GPT-1은 그 Transformer를 이용해
“대규모 텍스트를 먼저 읽게 하면 다양한 언어 문제를 더 잘 풀 수 있다.”
는 가능성을 보여주었습니다.
이후 GPT 계열은 이 아이디어를 계속 확장합니다.
Transformer (2017)
↓
GPT-1 (2018): Pre-training + Fine-tuning
↓
GPT-2 (2019): 더 큰 모델 + Zero-shot 가능성
↓
GPT-3 (2020): In-context Learning + Few-shot Learning
↓
Instruction Tuning / RLHF
↓
ChatGPT
↓
현대 LLM
따라서 GPT-1은 단순히 초기 NLP 모델 중 하나라기보다, 오늘날 Generative AI와 LLM으로 이어지는 GPT 계열의 출발점이라는 점에서 매우 중요한 논문입니다.
11. 개인적인 평가 (Comment)
「Improving Language Understanding by Generative Pre-Training」은 오늘날 LLM의 발전 과정을 이해하기 위해 반드시 살펴볼 가치가 있는 논문이라고 생각합니다.
특히 이 논문의 가장 중요한 의미는 단순히 새로운 Transformer 모델을 하나 제안했다는 데 있지 않습니다.
“특정 문제를 해결하기 위해 처음부터 모델을 학습하는 것이 아니라, 먼저 대규모 데이터에서 일반적인 언어 능력을 학습한 뒤 그 능력을 다양한 문제에 활용한다.”
라는 방향을 성공적으로 보여주었다는 점이 핵심입니다.
이 아이디어는 이후 GPT-2와 GPT-3를 거치면서 모델의 규모와 데이터의 규모를 키울수록 더 다양한 언어 능력이 나타날 수 있다는 방향으로 발전했고, 오늘날의 ChatGPT를 비롯한 다양한 LLM으로 이어졌습니다.
특히 「Attention Is All You Need」가 현대 LLM의 구조적 기반인 Transformer를 만들었다면, GPT-1은 그 Transformer를 어떻게 대규모 언어 학습에 활용할 것인지 보여준 중요한 연결고리라고 볼 수 있습니다.
오늘날의 GPT, Llama, Qwen과 같은 대규모 언어 모델은 GPT-1과 완전히 동일한 학습 방법을 사용하는 것은 아니지만, 대규모 데이터에서 사전학습을 통해 일반적인 언어 능력을 먼저 획득한다는 핵심 철학은 현대 LLM에서도 계속 이어지고 있습니다.
따라서 Transformer 이후 LLM이 어떻게 발전했는지를 공부하고 있다면,
Attention Is All You Need → GPT-1 → BERT → GPT-2 → GPT-3 → ChatGPT/LLM
순서로 살펴보는 것을 추천합니다.
GPT-1은 지금의 기준에서는 작은 모델이지만, “언어 모델을 먼저 크게 학습하고 그 능력을 다른 문제로 전이한다”는 현대 LLM의 핵심 흐름을 본격적으로 보여준 역사적인 연구라고 평가할 수 있습니다.