03. LLM은 어떻게 동작하나

LLM의 동작은 ① 토큰으로 쪼개고 → ② 다음 토큰을 예측하고 → ③ 반복, 이 세 단계로 요약된다.

1. 토큰 — AI가 글을 보는 단위

LLM은 글자나 단어가 아니라 토큰(token) 이라는 조각 단위로 글을 다룬다. 토큰은 대략 단어 또는 단어의 일부다.

"보안은 중요하다"  →  [보안] [은] [ 중요] [하다]   (예시, 실제 분할은 모델마다 다름)
"security"        →  [sec] [urity]

• 영어는 대략 1단어 ≈ 1~1.5토큰, 한국어는 더 잘게 쪼개진다.
• 비용·길이 제한이 모두 토큰 수 기준이다. (→ 컨텍스트 윈도, 06. 프롬프트)

2. 다음 토큰 예측

LLM의 본질적인 동작은 단 하나다. "지금까지의 토큰들 다음에 올 토큰의 확률"을 계산한다.

입력:  "대한민국의 수도는"
예측:  서울 (92%) · 부산 (3%) · 평양 (1%) · ...
→ 가장 확률 높은 '서울'을 고른다

이걸 한 토큰씩 반복해서 문장을 완성한다. 그래서 답변이 왼쪽부터 주르륵 생성되는 것이다.

:::info temperature — 얼마나 '모험'할지 매번 1등 토큰만 고르면 답이 뻔해진다. temperature 값이 높으면 2·3등 토큰도 가끔 골라 더 창의적·다양해지고, 낮으면 보수적·일관적이 된다. :::

3. 트랜스포머와 어텐션 (왜 문맥을 잘 보는가)

LLM의 뇌 구조를 트랜스포머(Transformer) 라고 한다. 핵심 장치는 어텐션(Attention) 이다.

• 어텐션은 다음 토큰을 예측할 때, 문장 속 어떤 단어에 '주목'할지를 정한다.
• 예: "그 은행에서 돈을 찾았다" vs "강 은행에 앉았다" — 뒤의 단어들을 보고 '은행'의 의미를 다르게 해석한다.
• 덕분에 멀리 떨어진 단어 사이의 관계(문맥)를 잘 포착한다. 2017년 트랜스포머 등장이 지금의 LLM 시대를 열었다.

[다음 토큰 예측]
   ▲   주목(어텐션): 앞 문맥에서 중요한 단어들에 가중치
   │
[트랜스포머 여러 층]  ← 층을 지날수록 추상적인 의미 파악
   ▲
[토큰 임베딩]  ← 각 토큰을 숫자 벡터로 변환 (→ 08. 임베딩)

정리

• LLM = 토큰 단위로, 다음 토큰을 확률 예측, 반복
• 트랜스포머의 어텐션이 문맥을 읽어 예측 품질을 끌어올린다.
• 다음: 이 능력이 어떻게 학습되는지. → 04. 어떻게 학습되나