04. 어떻게 학습되나

LLM은 보통 3단계를 거쳐 완성된다. "방대한 지식 습득 → 말투·형식 교정 → 사람 취향 맞추기" 순이다.

① 사전학습(Pre-training)   방대한 텍스트로 '세상의 패턴'을 통째로 학습
        ↓
② 파인튜닝(Fine-tuning)    질문-답변 형식 등 특정 방식으로 다듬기
        ↓
③ RLHF                    사람 피드백으로 '더 선호되는 답'을 하도록 조정

1. 사전학습 (Pre-training)

• 책·웹·코드 등 엄청난 텍스트를 읽으며 "다음 토큰 예측"을 끝없이 연습한다.
• 이 단계에서 문법·상식·세계 지식·추론의 밑바탕이 형성된다.
• 가장 비싸고 오래 걸리는 단계다(대형 모델은 수개월, 막대한 비용).
• 결과물은 "아는 건 많지만 말을 잘 못 거는" 상태 — 질문에 답하기보다 그냥 글을 이어 쓰려 한다.

2. 파인튜닝 (Fine-tuning)

• 사전학습된 모델을 특정 용도·형식에 맞게 추가 학습한다.
• 대표적으로 지시 튜닝(Instruction tuning): "질문에는 답을 한다", "요청받은 형식으로 쓴다" 같은 대화·지시 수행 방식을 익힌다.
• 비유: 백과사전을 통째로 외운 사람에게 "면접 답변하는 법"을 가르치는 것.
• 기업이 자사 데이터로 용도 특화 모델을 만들 때도 이 단계를 쓴다. (→ 09. 파인튜닝 vs RAG)

3. RLHF (사람 피드백 기반 강화학습)

RLHF = Reinforcement Learning from Human Feedback

• 모델이 낸 여러 답을 사람이 '이게 더 낫다'로 평가하고, 그 선호를 모델에 반영한다.
• 덕분에 더 도움이 되고, 안전하고, 공손한 답을 하게 된다.
• 비유: 글 잘 쓰는 사람에게 "이런 답은 좋고, 저런 답은 무례하다"는 피드백을 반복해 취향을 맞추는 것.

:::info 왜 같은 질문에 모델마다 답 '태도'가 다른가 밑바탕(사전학습)은 비슷해도, 파인튜닝·RLHF에서 무엇을 선호하도록 조정했는지가 달라서 말투·거절 기준·안전성이 제품마다 다르다. :::

중요한 함의

• 지식 시점이 고정된다: 사전학습 데이터의 수집 시점 이후는 모른다 → 최신 정보는 07. RAG나 검색으로 보완.
• 학습에 내 데이터가 쓰일 수 있다: 서비스에 입력한 내용이 학습/보관되는지는 제품 정책마다 다르다 → 보안·프라이버시 관점에서 꼭 확인. (→ 12. 로컬 LLM)

다음

이렇게 학습해도 왜 사실을 틀리게 지어낼까? → 05. 환각과 한계