1부 · 큰 그림

← 목차로 · 다음: 2부 언어를 숫자로 →

1.1 한 줄로 시작하기

LLM이 하는 일은 놀랄 만큼 단순한 한 문장으로 요약됩니다.

지금까지의 글을 보고, 다음에 올 가장 그럴듯한 한 조각(토큰)을 고른다. 그리고 그걸 반복한다.

ChatGPT가 긴 에세이를 쓰든, 코드를 짜든, 농담을 하든, 내부에서 벌어지는 일은 전부 이것입니다. 한 조각을 고르고, 그 조각을 지금까지의 글 뒤에 붙이고, 다시 그 다음 조각을 고르고… 이 과정을 수백 번 반복하면 문단이 됩니다.

flowchart LR
    A["오늘 날씨가"] --> M1["모델"]
    M1 --> B["오늘 날씨가 <b>참</b>"]
    B --> M2["모델"]
    M2 --> C["오늘 날씨가 참 <b>좋</b>"]
    C --> M3["모델"]
    M3 --> D["오늘 날씨가 참 좋<b>네요</b>"]

    classDef input fill:#fff3b0,stroke:#e0a800,color:#000
    classDef inside fill:#a8e6e2,stroke:#2ba89e,color:#000
    class A,B,C,D input
    class M1,M2,M3 inside

각 단계에서 모델은 "다음에 올 조각"의 후보들에 점수를 매기고, 그중 하나를 골라 붙입니다. 그게 전부입니다.

비유 — 다음 단어 받아쓰기 게임
친구가 "옛날 옛날 한"까지 말하면 당신은 거의 자동으로 "옛날에"를 떠올립니다. LLM도 비슷하게, 방대한 글을 읽으며 "이런 흐름 다음엔 이런 게 자주 온다"를 익힌 존재입니다.
이 비유가 깨지는 곳: 당신은 "옛날에"가 떠오르는 동시에 그 이야기의 의미를 압니다. 모델이 의미를 어떤 식으로든 다루는지는 2~3부의 핵심 주제이자, 학자들 사이에서도 논쟁 중인 문제입니다.

1.2 그런데 어떻게 "다음 단어 맞히기"가 대화가 되나?

여기서 대부분의 사람이 갸웃합니다. 단어 하나 맞히는 게임이 어떻게 질문에 답하고, 번역하고, 코드를 짜는 능력이 될까요?

핵심은 규모(scale) 입니다. 인터넷 규모의 방대한 텍스트로 "다음 조각 맞히기"를 충분히 잘 하려면, 모델은 단순히 "어떤 단어 뒤에 어떤 단어가 자주 오는지"만으로는 부족합니다. 방대한 텍스트에 걸쳐 다음 토큰을 예측하는 법을 배우는 과정에서 모델은 단어 빈도만이 아니라 문법, 사실, 문체, 코드 패턴, 추론처럼 보이는 구조, 형식, 개념 간 관계까지 익히게 됩니다.

쉽게 말해, "다음 단어를 잘 맞히려면 세상에 대한 많은 패턴을 알아야 한다"는 것입니다. "프랑스의 수도는 ___" 다음 빈칸을 맞히려면 지리 지식이 필요하고, "2 더하기 2는 ___"을 맞히려면 산수 패턴이 필요합니다. 그래서 다음 단어 맞히기를 극한까지 잘하도록 훈련하면, 그 부산물로 광범위한 능력이 따라옵니다.

흔한 오해 깨기
흔히들 "AI가 답을 이해하고 나서 말을 만든다"고 생각하지만, 실제로는 의미 이해가 먼저 있고 말이 따라 나오는 게 아니라, "다음 조각 예측"이라는 단일 과제를 극한까지 훈련한 결과로 답처럼 보이는 텍스트가 나옵니다. 이해가 그 과정에 얼마나 개입하는지는 6부에서 다루는 논쟁 주제입니다.

1.3 LLM이 아닌 것 세 가지

LLM을 잘 쓰려면, 그것이 무엇이 아닌지를 아는 게 무엇인지 아는 것만큼 중요합니다.

① 검색 엔진이 아니다

구글에 검색하면, 구글은 실제로 존재하는 웹페이지들을 찾아 순위를 매겨 보여줍니다. 답이 어느 문서에서 왔는지 추적할 수 있습니다.

LLM은 다릅니다. LLM의 지식은 훈련된 정적 데이터셋과 그 시점에 묶여 있으며, 때로는 몇 달이나 몇 년 뒤처져 있습니다. 답을 만들 때 어떤 문서를 "찾아보는" 게 아니라, 훈련 중에 익힌 패턴에서 그럴듯한 문장을 생성합니다.

flowchart TB
    subgraph S["검색 엔진"]
        direction LR
        Q1["질문"] --> IDX["실제 문서<br/>색인에서 검색"]
        IDX --> R1["문서 목록 반환<br/>(출처 추적 가능)"]
    end
    subgraph L["LLM"]
        direction LR
        Q2["질문"] --> GEN["훈련으로 익힌<br/>패턴에서 생성"]
        GEN --> R2["그럴듯한 문장 생성<br/>(출처 없음)"]
    end

    classDef search fill:#b9f6ca,stroke:#2e9e5b,color:#000
    classDef llm fill:#a8e6e2,stroke:#2ba89e,color:#000
    classDef warn fill:#ffcdd2,stroke:#c62828,color:#000
    class Q1,IDX,R1 search
    class Q2,GEN llm
    class R2 warn

요즘 챗봇은 종종 별도의 검색 도구를 붙여 실시간 웹을 찾기도 합니다(이 안내서를 만들 때도 그랬습니다). 하지만 그건 LLM 위에 검색 기능을 덧붙인 것이지, LLM 자체가 검색하는 게 아닙니다. 이 구분은 7부에서 자세히 다룹니다.

② 사실 데이터베이스가 아니다

LLM은 사실을 표처럼 저장해두고 꺼내 읽지 않습니다. 지식은 수백만 개의 파라미터에 인간의 기억과 깔끔하게 대응되지 않는 방식으로 분산되어 있습니다. 그 결과 묘한 일이 생깁니다 — 어떤 모델은 잘 알려지지 않은 역사적 사실은 알면서 훈련 데이터에 적게 등장한 기본 정보는 놓치기도 합니다.

이것이 왜 LLM이 "자신 있게 틀리는지"의 뿌리입니다. 사실을 조회하는 게 아니라 재구성하기 때문에, 디테일이 뭉개지거나 그럴듯한 거짓이 섞일 수 있습니다. 6부에서 이 "환각(hallucination)" 문제를 원리에서부터 풀어냅니다.

③ "정답"을 아는 존재가 아니다

훈련 데이터에는 사실·허구·의견·실수·낡은 정보·거짓말이 뒤섞여 있고, 모델에게 "이건 참, 저건 거짓"이라고 일일이 알려주는 장치는 없었습니다. 모델은 무엇이 참인지 판별하도록 만들어진 게 아니라, 무엇이 그럴듯한지를 익히도록 만들어졌습니다.

비유 — 모든 요리를 맛봤지만 레시피는 한 줄도 적지 않은 요리사
"라자냐 해줘"라고 하면 이 요리사는 그동안 맛본 수많은 패턴을 즉흥적으로 조합해 만들어냅니다. 자주 보던 조합이면 훌륭하지만, 가끔 엉뚱한 재료를 그럴듯하게 넣기도 합니다. 그는 진짜 레시피를 갖고 있지 않습니다.
이 비유가 깨지는 곳: 요리사는 자기가 즉흥적으로 만들었다는 걸 알지만, 모델은 자기 출력이 기억에서 온 건지 지어낸 건지 구분하는 내적 감각이 없습니다.

1.4 "이해한다"는 말을 둘러싼 논쟁

LLM이 정말 언어를 이해하는지는 이 안내서에서 가장 조심스럽게 다뤄야 할 주제입니다.

한쪽에서는 "그저 통계적 패턴 짜맞추기일 뿐, 이해는 없다"고 봅니다. 이 입장에서 LLM은 '생각하는' 기계가 아니라 패턴을 학습한 통계 모델입니다. 다른 쪽에서는 "다음 단어를 그 정도로 잘 맞히려면 세계에 대한 내부 표상이 어느 정도 형성될 수밖에 없으며, 그것을 일종의 이해로 볼 수 있다"고 봅니다.

이건 합의된 사실이 아니라 활발한 논쟁입니다. 이 안내서는 한쪽으로 단정하지 않습니다. 대신 메커니즘을 정확히 보여드리고, "이해"라는 단어가 걸리는 지점마다 그게 논쟁 중임을 표시하겠습니다. 의인화("AI가 생각한다", "알고 있다")는 편의상 따옴표와 함께 쓰되, 글자 그대로 받아들이지 않도록 주의를 붙이겠습니다.

1.5 이 안내서가 답할 질문들

앞으로 다음 질문들에 차례로 답합니다.

1부 요약

• LLM의 본질은 "지금까지의 글을 보고 다음 한 조각을 고른다"의 반복입니다.
• 이 단순한 과제를 거대한 규모로 훈련한 부산물로 문법·지식·문체·추론처럼 보이는 능력이 따라옵니다.
• LLM은 검색 엔진도, 사실 데이터베이스도, "정답을 아는 존재"도 아닙니다. 그럴듯함을 다루지 참·거짓을 판별하지 않습니다.
• "이해하느냐"는 단정할 수 없는 논쟁 주제이며, 이 안내서는 메커니즘을 보여주는 데 집중합니다.

다음 부에서는 가장 밑바닥, "모델은 글자를 대체 어떻게 숫자로 바꿔서 보는가"부터 시작합니다.

← 목차로 · 다음: 2부 언어를 숫자로 →