02. LLM이란 무엇인가

LLM(Large Language Model, 대규모 언어 모델) 은 엄청난 양의 글을 학습해서, "다음에 올 말"을 확률적으로 예측하는 모델이다. ChatGPT, Claude, Gemini가 모두 LLM이다.

한 문장으로

LLM은 인터넷 규모의 텍스트를 읽고, "이 말 다음에는 어떤 말이 올 확률이 높은가" 를 학습한 거대한 자동완성기다.

스마트폰 키보드의 자동완성("안녕하" → "세요")과 원리는 같다. 다만 규모가 비교할 수 없이 크고, 문장이 아니라 문서 전체·대화 맥락을 본다.

왜 '대규모(Large)'인가

두 가지가 거대하다.

무엇이 큰가	설명
학습 데이터	책·웹페이지·코드 등 수조 단어 규모의 텍스트
파라미터	모델이 학습으로 조정하는 '손잡이(가중치)'의 수. 수십억~수조 개

파라미터는 지식과 패턴이 저장되는 그릇이라고 보면 된다. 많을수록 더 복잡한 패턴을 담을 수 있다(단, 많다고 무조건 좋은 건 아니다).

왜 똑똑해 보이는가

"다음 단어 예측"만 하는데 어떻게 번역·요약·코딩을 할까?

• 다음 단어를 정확히 예측하려면, 문법·사실·논리·문맥을 어느 정도 "이해"해야 한다.
• 예를 들어 "대한민국의 수도는 ___" 다음을 맞히려면 지식이 필요하고, "다음 코드의 버그는 ___"를 맞히려면 코드를 읽을 줄 알아야 한다.
• 즉, 방대한 예측 연습의 부산물로 번역·요약·추론 같은 능력이 "창발(emergence)"한다.

중요한 오해 바로잡기

:::warning LLM은 '검색'이 아니다 LLM은 데이터베이스에서 답을 찾아오는 게 아니라, 학습한 패턴으로 그럴듯한 말을 생성한다. 그래서 사실을 틀리게 지어내기도 한다(환각). → 05. 환각과 한계 :::

• 생각하거나 의식이 있는 게 아니다. 통계적으로 가장 그럴듯한 말을 이어붙인다.
• 최신 정보를 모른다. 학습 시점 이후의 일은 따로 알려주지 않으면 모른다(그래서 RAG·검색이 필요).

다음

LLM이 "다음 단어를 예측한다"는 게 실제로 어떻게 작동하는지 본다. → 03. LLM은 어떻게 동작하나