생성형 AI와
LLM의 이해
챗봇은 답을 검색하지 않는다. 다음 단어 하나를 확률로 고를 뿐이다. 그 단순한 원리가 어떻게 지금의 능력과 지금의 결함(환각)을 동시에 만들었는지를 따라간다.
다음 단어를 고르는 기계
한 연구소가 웹사이트에 채팅창 하나를 열었다. 5일 만에 사용자 100만 명이 모였고, 두 달 뒤에는 1억 명에 이르렀다는 추정이 보도됐다. 역사상 가장 빨리 퍼진 소비자 서비스였다. 그 이름은 ChatGPT였다.
그런데 이 기계가 하는 일을 한 문장으로 줄이면 이렇다. 지금까지의 문장을 보고, 다음에 올 단어 하나를 확률적으로 고른다. 그 한 가지 일의 반복이 번역을 하고, 코드를 쓰고, 시험 문제를 푼다. 그리고 같은 이유로, 없는 판례를 지어내고 없는 논문을 인용한다.
능력과 결함이 한 뿌리에서 나온다는 것 — 이것이 생성형 AI를 이해하는 출발점이다. 이 자료는 그 뿌리를 세 단계로 따라간다.
출처 100만 명(5일): 샘 올트먼의 공지(2022-12-05): x.com/sama · 1억 명(2개월)은 시밀러웹 데이터에 근거한 UBS 분석의 추정치로 보도되었다: reuters.com
두 갈래의 접근, 그리고 잠재공간
연결주의가 이겨서 채택된 것이 아니다. 규칙을 다 적을 수 없는 열린 세계에서는, 근사(approximation)가 유일한 선택지였다.
기호주의와 연결주의
인공지능에는 처음부터 두 개의 설계 철학이 있었다. 규칙을 적어 넣는 쪽과, 연결에서 배우게 하는 쪽이다.
1장(AI 발전의 역사)에서 본 것처럼 두 진영은 60년간 주도권을 주고받았다. 이 장에서 다루는 생성형 AI는 연결주의의 현재형이다. 그리고 4장(전문가 시스템)에서는 기호주의의 정점을 다시 만난다.
두 접근은 적대 관계라기보다 적용 조건이 다른 도구다. 규칙이 유한하고 명확한 영역(세금 계산, 규정 검사)에서는 기호주의가 여전히 더 정확하고 싸다. 규칙을 열거할 수 없는 영역(언어, 이미지)에서 연결주의가 압도한 것이다.
최근에는 두 접근을 합치려는 시도(neuro-symbolic)가 다시 논의된다. LLM이 계산기를 호출하고 데이터베이스를 검색하게 하는 것도, 넓게 보면 연결주의 모델에 기호적 도구를 붙이는 절충이다.
생각해 볼 질문 — 여러분의 전공 영역에서 "규칙을 전부 적을 수 있는 문제"와 "적을 수 없는 문제"는 각각 무엇인가?
닫힌 세계와 열린 세계
모델이 어디까지 감당해야 하는지는 환경이 얼마나 열려 있는지에 달려 있다. 학습이라는 전략은 열린 환경일수록 불가피해진다.
학습 데이터와 테스트 데이터가 같은 분포에서 나오는 닫힌 환경이라면 통계적 학습은 잘 작동한다. 문제는 열린계다. 모델은 학습하지 않은 질문에도 답해야 한다. 세상의 모든 것을 가르칠 수는 없으므로, 새로운 것을 기존 지식으로 해석하는 "방법"을 배울 만큼의 학습량이 필요해진다.
이 구분은 실무에서 시스템 유형 선택의 기준이 된다. 입력의 범위를 좁힐 수 있다면(닫힌계로 만들 수 있다면) 작은 모델이나 규칙 기반으로 충분한 경우가 많다. 반대로 입력을 통제할 수 없다면, 아무리 큰 모델을 써도 "학습 분포 밖 질문"이라는 위험 자체는 사라지지 않는다는 점을 설계에 반영해야 한다.
생각해 볼 질문 — 학교 학사 안내 챗봇은 닫힌계인가 열린계인가? 학생이 갑자기 요리법을 물으면 어떻게 처리해야 하는가?
잠재공간 — 세계를 좌표로 눌러 담기
딥러닝 모델은 입력 데이터를 임의의 벡터 차원, 즉 잠재공간(latent space)에 맵핑한다. 무엇을 가까이 두고 무엇을 멀리 둘지를 학습이 결정한다.
기존 머신러닝은 이 맵핑 규칙(특징 추출)을 사람이 설계했다. 딥러닝은 맵핑 규칙 자체를 데이터에서 학습한다. 그리고 일단 좋은 잠재공간이 만들어지면, 그 좌표에서 임의의 점을 골라 디코더로 펼치는 것 — 즉 생성 — 이 가능해진다.
"임베딩(embedding)"이라는 말을 앞으로 자주 만난다. 단어·문장·이미지를 잠재공간의 좌표(벡터)로 바꾼 결과물이 임베딩이다. 5장의 RAG에서 "문서를 임베딩으로 변환해 색인한다"는 말은, 문서들을 이 좌표계에 올려 두고 의미가 가까운 것을 거리로 찾겠다는 뜻이다.
좌표의 각 축이 사람이 이해할 수 있는 의미(크기, 색, 어조)와 일치한다는 보장은 없다. 축의 개수(차원)도 수백~수천에 이른다. 그림 1은 이해를 위해 2차원으로 그린 비유임을 기억하자.
생각해 볼 질문 — "왕 − 남자 + 여자 ≈ 여왕"이라는 유명한 임베딩 산수가 성립하려면 잠재공간이 어떤 성질을 가져야 할까?
생성 모델의 계보
생성은 복원의 부산물이다. 압축과 복원을 배우게 했더니, 없던 것을 만들어 내는 능력이 따라 나왔다.
한눈에 보는 생성형 AI 13년
2013년의 VAE부터 2025년의 추론 모델까지. 이 장과 다음 장들에서 다룰 사건을 세 시대로 나눠 미리 본다.
출처 각 사건의 연도는 해당 논문의 arXiv 최초 공개 기준 (참고문헌 1–17). 확산 모델 개념: Sohl-Dickstein 외(2015), 실용화: Ho 외(2020).
복원하거나, 경쟁하거나, 되돌리거나
주요 생성 모델 세 계열은 "그럴듯한 데이터를 만드는 능력"을 각각 다른 훈련 문제에서 얻는다.
세 방식 모두 공통점이 있다. "진짜 데이터란 어떤 것인가"를 확률분포로 배운다는 점이다. 얼굴을 생성하는 모델은 얼굴의 목록을 저장한 것이 아니라, 얼굴다움의 분포를 배운 것이다.
초기 오토인코더 기반 얼굴 합성은 직접 해 보면 "별로 닮지 않게" 나오는 경우가 많았다. 복원 오차를 평균적으로 줄이는 훈련은 이미지를 흐릿하게 만드는 경향이 있기 때문이다. GAN은 판별자를 속여야 하므로 선명해지지만, 판별자가 놓치는 부분(손가락 개수, 배경 글자)에서 이상한 결과가 났다. 확산 모델이 현재 이미지 생성의 주류가 된 것은 이 두 약점 — 흐릿함과 불안정한 훈련 — 을 동시에 피했기 때문이다.
생각해 볼 질문 — 생성 이미지에서 유독 손과 글자가 자주 무너졌던 이유를 "판별자의 역량" 관점에서 설명해 보자.
출처 VAE: Kingma & Welling, 2013: arxiv.org · GAN: Goodfellow 외, 2014: arxiv.org · 확산: Sohl-Dickstein 외, 2015: arxiv.org · DDPM: Ho 외, 2020: arxiv.org
딥페이크 — 변조가 아니라 위조
생성 기술의 완성도가 "사람이 어색함을 느끼지 못하는" 수준에 이르면서, 원본 없이도 사람·장면을 만들어 내는 위조가 가능해졌다.
포토샵이 이미 존재하는 원본을 고치는 변조라면, 딥페이크는 원본이 없어도 학습된 분포에서 만들어 내는 위조다. 같은 기술이 영화 CG 복원과 사기 영상에 동시에 쓰인다. 동일인의 사진들로 가상 프로필을 만들어 주는 상용 서비스처럼, 생성과 위조의 경계는 이미 일상 제품 안에 들어와 있다.
"영상이 자연스러운가"로 진위를 가리는 시대는 끝났다. 검증의 단위는 콘텐츠의 품질이 아니라 출처와 전달 경로로 옮겨 간다 — 이 원리는 5장의 RAG(근거 제시)와 정확히 같은 방향이다.
규제도 같은 방향으로 움직이고 있다. EU AI Act는 딥페이크 생성물에 AI 생성 사실의 표시(라벨링)를 요구하고, 국내에서도 선거 기간 딥페이크 선거운동을 금지하는 공직선거법 개정이 2024년부터 시행되었다. 기술적 대응(워터마킹, 출처 증명)과 제도적 대응이 함께 진행 중이지만, 생성 품질의 향상 속도가 더 빠르다는 것이 현재의 긴장이다.
생각해 볼 질문 — "AI 생성물 표시 의무"는 지키는 쪽보다 안 지키는 쪽이 이득을 보는 규칙이라는 비판이 있다. 그렇다면 무엇을 함께 설계해야 할까?
트랜스포머 — 문장 안에 답이 있다
혁신은 "관계를 전부 본다"는 결정이었다. 그 대가는 입력 길이의 제곱으로 늘어나는 비용이고, 그 소득은 규모의 시대다.
질문·지문·답을 한 문장에서
이전 방식에서는 질문(Query)과 답(Value)의 쌍을 사람이 데이터셋으로 만들어야 했다. 셀프 어텐션은 질의·후보·답을 같은 입력 데이터 안에서 구성한다 — "주어진 문장 안에 답이 있다".
입력의 각 단어는 세 개의 역할 벡터를 갖는다. 내가 무엇을 찾는지(Query), 나는 어떤 정보인지(Key), 실제로 전달할 내용(Value). 모든 단어 쌍에 대해 Query와 Key의 맞춤 정도를 점수화하고, 그 비율대로 Value를 섞어 새 표현을 만든다.
— 모든 단어 쌍의 관련도(QKᵀ)를 확률(softmax)로 바꿔, 그 가중치로 정보(V)를 섞는다
이 설계 덕에 모델은 입력과 출력의 관계만이 아니라 입력 내부 단어들 사이의 관계를 이해한다. "그 은행은 강 근처에 있다"에서 '은행'의 뜻을 '강'이 결정하는 식이다.
순서 정보는 어텐션 자체에는 없다. 단어를 한꺼번에 (병렬로) 받기 때문에 "누가 앞이고 누가 뒤인지"를 알려 주는 위치 임베딩을 입력에 더해 준다. 시간축을 따라 한 단어씩 처리하던 이전 구조(RNN, 12주차에서 다룬다)와 달리 병렬 처리가 가능해졌고, 이것이 GPU 시대와 맞물려 규모 경쟁을 가능하게 했다.
생각해 볼 질문 — "나는 배를 먹었다"와 "나는 배를 탔다"에서 '배'의 Query가 각각 어떤 Key와 강하게 맞아야 할까?
출처 Vaswani 외, "Attention Is All You Need", NeurIPS 2017: arxiv.org
인코더형(BERT)과 디코더형(GPT)
같은 어텐션을 쓰지만, 무엇을 보게 하느냐에 따라 정반대의 특기가 생긴다. 전부 보면 이해에, 앞만 보면 생성에 유리하다.
지금의 챗봇 LLM은 사실상 전부 디코더형이다. 생성이 가능하면 이해 과제도 "질문을 주고 답을 생성하게" 만들어 풀 수 있지만, 그 역은 성립하지 않기 때문이다. 다만 검색·추천 시스템의 뒤편에서는 인코더형(임베딩 모델)이 여전히 주력이다 — 5장 RAG의 "의미 검색"이 바로 그 자리다.
생각해 볼 질문 — 빈칸 채우기 문제(문장 중간의 단어 복원)에는 어느 구조가 유리한가? 왜인가?
출처 BERT: Devlin 외, 2018: arxiv.org · GPT-1: Radford 외, 2018: cdn.openai.com
n²의 대가 — 왜 입력 길이가 제한되는가
모든 단어 쌍을 본다는 것은, 입력이 n개면 n×n개의 관계를 계산한다는 뜻이다. 입력이 10배 길어지면 어텐션 비용은 100배가 된다.
이것이 LLM마다 "컨텍스트 윈도우"(한 번에 넣을 수 있는 입력 길이)가 정해져 있는 이유다. 입력을 늘리려면 비용을 감수하거나, 계층적으로 요약해 결합하는 우회를 택해야 한다.
컨텍스트 길이 → 어텐션 비용
한 줄 목표: "제곱으로 커진다"가 실제로 어떤 크기인지 숫자로 확인한다.
조작: 슬라이더를 오른쪽 끝(200만 토큰)까지 밀어 보자. 관찰 포인트: 길이가 8배 늘 때 쌍의 수가 64배씩 뛰는 것, 그리고 책 한 권(약 10만 토큰)만 되어도 쌍의 수가 100억 개에 이르는 것이 보이면 성공이다.
실제 서비스 모델들은 이 비용을 줄이는 근사 기법(희소 어텐션, 슬라이딩 윈도우, KV 캐시 압축 등)을 섞어 쓴다. 그래서 "컨텍스트 100만 토큰"을 지원한다는 말이 곧 100만 토큰 전체를 균등하게 잘 활용한다는 뜻은 아니다. 긴 입력의 중간 부분을 놓치는 현상이 실험적으로 보고되어 왔고, 실무에서는 중요한 내용을 입력의 앞이나 뒤에 배치하는 요령이 쓰인다.
생각해 볼 질문 — 회의록 300쪽을 요약시킬 때, 통째로 넣는 것과 장별로 요약한 뒤 합치는 것 중 무엇이 나을까? 비용과 품질 양면에서 따져 보자.
파라미터 경쟁 — 4년에 5,700배
병렬 학습이 가능한 구조가 나오자, 성능 경쟁은 곧 규모 경쟁이 되었다. 2018년부터 2022년 사이 대표 모델의 파라미터 수는 로그 눈금으로 그려도 가파르게 치솟는다.
규모가 전부는 아니라는 반론도 곧바로 나왔다. 2022년 이후 공개 모델들은 파라미터를 늘리는 대신 데이터 품질과 학습량의 균형(Chinchilla 법칙), 그리고 5장에서 볼 "추론 시간의 계산"으로 경쟁축을 옮겼다. 그림 4를 2026년까지 연장하면 곡선이 꺾이는 것이 아니라, 경쟁의 축이 여러 개로 갈라진다.
생각해 볼 질문 — 파라미터 수가 10배가 되면 학습 비용은 몇 배가 될까? 필요한 데이터는?
출처 파라미터 수는 각 논문 기준 — ELMo: arxiv.org · BERT: arxiv.org · GPT-2: cdn.openai.com · GPT-3: arxiv.org · PaLM: arxiv.org
다음 토큰 기계와 환각
환각은 고장이 아니라 확률 생성의 이면이다 — 그리고 "모른다"보다 "찍기"에 점수를 주는 훈련·평가 방식이 그것을 키웠다.
단어로 쌓는 탑
디코더형 모델은 앞의 문맥을 보고 다음 단어의 확률분포를 만들고, 그중 하나를 뽑아 문장에 쌓는다. 어떤 규칙으로 뽑느냐(샘플링)가 출력의 성격을 결정한다.
- 지금까지의 문장을 입력으로 넣는다.
- 모델이 다음 단어 후보 전체에 확률을 매긴다.
- 온도(temperature)·Top-k 같은 규칙으로 후보를 조정해 하나를 뽑는다.
- 뽑은 단어를 문장 끝에 붙이고 1로 돌아간다 — 문장이 끝날 때까지.
온도와 Top-k — 확률분포를 주무르기
한 줄 목표: 같은 모델이라도 샘플링 설정에 따라 "무난한 답"과 "이상한 답"을 오간다는 것을 눈으로 확인한다. 아래는 "오늘 점심 메뉴는 ___" 다음에 올 단어의 가상 분포다.
조작: ① T를 0.2로 내려 보자 — 분포가 1위로 쏠린다(늘 같은 답). ② T를 3까지 올려 보자 — 꼴찌 후보 '양자역학'도 뽑힐 만해진다(창의적 또는 엉뚱한 답). ③ T=3에서 Top-k를 5로 줄여 보자. 관찰 포인트: 온도는 분포의 "모양"을, Top-k는 "꼬리 자르기"를 담당한다는 역할 분담이 보이면 성공이다.
실제 API에서 temperature와 top_p(top-k의 확률 버전)는 지금도 노출되는 대표 파라미터다. 보고서 요약처럼 정확성이 중요하면 낮게, 브레인스토밍처럼 다양성이 중요하면 높게 잡는 것이 관례다. 여기서 중요한 직관 — 다양성을 높이는 모든 장치는 동시에 오답 가능성도 높인다. 다음 카드의 환각 논의가 바로 이 지점에서 출발한다.
생각해 볼 질문 — T=0(항상 1위 선택)으로 두면 환각이 사라질까? 왜 그렇지 않은가?
미니 언어모델로 환각을 재현하기
10문장짜리 "코퍼스"로 학습한 장난감 언어모델을 브라우저에서 돌린다. 모든 연결이 그럴듯한데 전체 문장은 거짓인 출력 — 환각의 축소판 — 을 직접 만들어 본다.
두 단어씩은 맞는데, 문장은 틀리다
한 줄 목표: 환각이 "거짓말 회로" 때문이 아니라, 학습한 조각들의 확률적 재조합에서 자연히 생김을 관찰한다. 모델이 배운 코퍼스는 아래 10문장이 전부다.
조작: T=0.3에서 10문장을 뽑고, T=2.0에서 다시 10문장을 뽑아 비교하자. 관찰 포인트: 높은 온도에서 "고래는 하늘을 난다"류 — 조사·어미가 자연스럽고 두 단어씩 이어 보면 코퍼스에 있는 조합인데, 문장 전체는 코퍼스에 없는 거짓 — 이 나오면 성공이다. 진짜 LLM의 환각도 원리는 이것의 확대판이다.
이 장난감은 바로 앞 단어 하나만 보는 극단적 단순화(바이그램)다. 실제 LLM은 수천 단어의 문맥을 보므로 훨씬 드물게 어긋난다. 하지만 원리는 같다 — 모델은 문장의 진위를 저장하지 않는다. 조각의 결합 확률을 저장한다. 결합이 자연스러우면 진위와 무관하게 출력될 수 있다.
또 하나 관찰할 것: T를 아주 낮추면 모델은 늘 같은 문장만 재현한다. 사실성은 올라가지만 다양성이 죽는다. 창의성과 사실성이 같은 손잡이에 묶여 있다는 것 — 이것이 다음 카드의 트레이드오프다.
생각해 볼 질문 — 이 장난감 모델의 환각을 없애려면 코퍼스를 어떻게 바꿔야 할까? 그 방법이 실제 LLM에서는 왜 불가능한가?
환각은 왜 생기고, 왜 사라지지 않는가
원인은 데이터에도, 학습·추론 구조에도 있다. 그리고 최근 연구는 세 번째 원인을 지목한다 — 우리가 모델을 채점해 온 방식이다.
모른다고 답하면 0점, 찍으면 기대 점수가 0보다 크다 — 정답률만 재는 벤치마크에서 모델은 불확실할 때 찍도록 최적화된다. Kalai 외(2025)는 환각이 신비한 결함이 아니라 이런 훈련·평가의 통계적 귀결이며, "모르겠다"에 부분 점수를 주는 채점 개편을 해법으로 제안했다.
"환각은 버그이므로 다음 버전에서 고쳐질 것이다" — 환각은 창의적 문장 생성 능력과 같은 뿌리에서 나오는 트레이드오프다. 환각을 온전히 배제한 언어모델은 저장된 것만 되돌려 주는 검색 시스템에 가까워진다. 목표는 박멸이 아니라 과제에 맞는 수준으로의 통제다.
실무 관점의 함의는 분명하다. ① 사실 확인이 필요한 출력(인용, 수치, 법령)은 모델 밖의 근거와 대조하는 절차를 설계에 넣는다(5장 RAG). ② "확실하지 않으면 모른다고 답하라"는 지시는 실제로 환각률을 낮추지만 유용성도 함께 낮춘다 — 어느 쪽 오류가 더 비싼 과제인지 먼저 정해야 한다. ③ 시험을 치르는 것이 사람이든 모델이든, 채점 규칙이 행동을 만든다.
생각해 볼 질문 — 감점 있는 시험(오답 −1점, 무응답 0점)을 도입하면 여러분의 답안 전략은 어떻게 바뀌는가? 그것이 이 논문의 제안과 어떻게 같은가?
출처 Kalai, Nachum, Vempala, Zhang, "Why Language Models Hallucinate", 2025-09-04: arxiv.org · 원문 PDF: cdn.openai.com
사람의 선호를 가르치다 — RLHF와 LIMA
"다음 단어 맞히기"만 배운 모델은 유용한 조수가 아니다. 사람이 원하는 답의 형태를 가르치는 과정이 정렬(alignment)이다.
- 모델이 생성한 답변들을 사람이 평가해 점수로 정량화한다.
- 그 평가를 흉내 내는 보상 모델을 만든다.
- 보상 점수가 높아지도록 강화학습으로 모델을 미세조정한다 — 이것이 RLHF다.
비용이 문제였다. RLHF는 대량의 사람 평가가 필요하다. LIMA(2023)는 반대 증거를 냈다 — 고품질 예시 단 1,000개의 지도학습만으로도 쓸 만한 조수가 되었다. 지식은 사전학습에서 이미 배웠고, 정렬은 "형식을 보여 주는" 가벼운 과정일 수 있다는 가설이다.
두 결과는 모순이 아니라 역할 분담으로 읽어야 정확하다. LIMA는 "형식 따라 하기"가 싸게 된다는 것을 보였고, RLHF 계열은 미묘한 품질 차이(안전성, 유용성의 균형)를 끌어올리는 데 여전히 쓰인다. RLHF를 실제로 어떻게 계산하는지 — PPO, DPO, GRPO — 는 이 과목의 마지막 장(강화학습과 정렬)에서 알고리즘 수준으로 다시 만난다. 여기서는 "왜 필요한가"만 가져가면 된다.
생각해 볼 질문 — 사람 평가자 대신 다른 AI에게 평가를 시키면(RLAIF) 무엇이 좋아지고 무엇이 위험해질까?
출처 RLHF: Ouyang 외(InstructGPT), 2022: arxiv.org · Bai 외(Anthropic), 2022: arxiv.org · LIMA: Zhou 외, 2023: arxiv.org
RAG, 그리고 에이전트
모델을 다시 가르치는 대신 찾아보게 하라 — 그리고 이제 모델은 검색을 넘어, 계획을 세우고 절차를 밟는다.
다시 가르칠 것인가, 찾아보게 할 것인가
회사 내부 지식으로 LLM을 쓰려는 조직은 두 가지 길 앞에 선다. 내부 문서로 모델을 미세조정하거나, 질문마다 문서를 검색해 근거로 붙여 주거나.
| 미세조정 (Fine-tuning) | 검색 증강 (RAG) | |
|---|---|---|
| 출처 표시 | 불가 — 어느 지식에서 나온 답인지 알 수 없다 | 가능 — 검색된 문단을 근거로 제시 |
| 지식 갱신 | 문서가 바뀔 때마다 재훈련 | 색인만 갱신하면 즉시 반영 |
| 접근 제어 | 불가 — 모델은 추론 시 지식을 가려낼 수 없다 | 가능 — 사용자 권한별로 검색 범위 제한 |
| 비용 | 훈련 + 대형 모델 상시 호스팅 | 색인 구축 + 기성 모델 호출 |
| 유리한 경우 | 말투·형식·도메인 문체의 체화 | 사실 기반 질의응답, 근거가 필요한 업무 |
표의 왼쪽 열이 늘 지는 것은 아니다. 전문 용어 체계나 답변 형식처럼 "지식"이 아니라 "습관"에 가까운 것은 미세조정이 잘 맞는다. 실무 시스템은 흔히 둘을 결합한다 — 형식은 가볍게 미세조정하고, 사실은 RAG로 공급하는 식이다. 시험 삼아 구분해 보자: "우리 회사 보고서 말투로 써라"는 미세조정 감이고, "우리 회사 2분기 매출을 답해라"는 RAG 감이다.
생각해 볼 질문 — 병원 챗봇에 환자별 진료 기록을 공급해야 한다면, 접근 제어 행 하나만으로도 선택이 정해지는 이유는?
RAG의 두 단계 — 준비와 서비스
RAG는 LLM이 응답을 생성하기 전에, 학습 데이터 밖의 신뢰할 수 있는 지식 베이스를 참조하게 만드는 절차다. 미리 색인하는 단계와, 질문마다 검색해 붙이는 단계가 분리되어 있다.
검색은 1장에서 본 잠재공간의 응용이다. 문서 조각과 질문을 같은 임베딩 좌표계에 올리고, 의미상 가까운(벡터 거리가 짧은) 조각을 찾아 LLM의 입력에 붙여 준다. 도서관에 비유하면, 모든 책을 외운 책벌레를 만드는 대신 어느 책 몇 장을 펼칠지 아는 사서를 두는 쪽이다.
RAG가 환각을 "없애는" 것은 아니라는 점을 정확히 하자. 검색이 엉뚱한 문단을 가져오면 모델은 그 엉뚱한 근거로 그럴듯한 답을 만든다(오히려 출처가 붙어 더 믿을 만해 보인다). RAG 시스템의 품질은 대개 생성이 아니라 검색 품질 — 문서를 어떻게 자르고(청킹), 무엇을 색인하고, 몇 개를 가져오는지 — 에서 갈린다.
용어 하나: 검색된 문단을 입력에 붙이는 행위를 "증강(augmentation)"이라 부른다. Retrieval(검색) - Augmented(증강) - Generation(생성), 이름이 곧 순서도다.
생각해 볼 질문 — 검색된 문단과 모델의 내부 지식이 서로 충돌하면 어느 쪽을 따르게 해야 할까? 프롬프트로 어떻게 지시하겠는가?
출처 Lewis 외, "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", NeurIPS 2020: arxiv.org · 개념 정리: aws.amazon.com
에이전트 — 답하는 모델에서 일하는 모델로
한 번 묻고 한 번 답하는 사용법을 넘어, 모델이 스스로 계획을 세우고 도구를 쓰며 결과를 평가하는 구조가 실용화됐다.
- 목표를 받아 단계별 계획을 수립한다.
- 각 단계에 필요한 작업(검색, 코드 실행, 파일 작성)을 판단해 실행한다.
- 평가 기준을 세우고 전체 결과를 점검한다.
- 부족한 부분을 피드백해 계획을 재조정하고 다시 수행한다.
에이전트의 신뢰성은 모델 능력만큼이나 실패 처리 설계에 달려 있다. 각 단계의 출력이 확률적이므로, 단계가 10개면 오류가 누적된다(단계당 성공률 95%라도 10단계면 약 60%). 그래서 실무 에이전트 설계의 핵심은 화려한 계획이 아니라 검증 가능한 중간 산출물, 되돌릴 수 있는 행동, 그리고 사람의 승인 지점이다.
생각해 볼 질문 — "이메일을 대신 보내 주는 에이전트"에서 사람의 승인이 반드시 필요한 지점은 어디인가?
추론 모델, 그리고 남은 논쟁들
2024년 이후의 분기점은 "생각의 길이"다. 답하기 전에 더 오래 생각(중간 추론을 생성)할수록 성능이 올라간다는 실험 결과가 경쟁의 축을 옮겼다.
OpenAI o1(2024)과 DeepSeek-R1(2025)이 이 방향을 대표한다. 파라미터(모델 크기) 경쟁이었던 그림 4의 축에, 추론 시간 계산량(test-time compute)이라는 새 축이 더해진 것이다. R1은 그 추론 능력을 강화학습으로 유도하는 방법을 공개해, 마지막 장에서 다룰 GRPO의 실증 사례가 된다.
이런 논쟁을 다룰 때의 태도가 이 자료 전체의 방법론이다 — 1장에서 본 퍼셉트론의 1958년 기사처럼, 낙관적 예측은 언제나 있었고 그중 일부만 실현됐다. "이번에는 다르다"는 주장을 평가하려면 무엇이 실험으로 확인된 사실이고(생각 길이-성능 곡선), 무엇이 해석인지(AGI의 시작점)를 분리하는 습관이 필요하다.
생각해 볼 질문 — "생각을 길게 하면 성능이 오른다"는 결과만으로 "스스로 개선하는 지능"을 주장할 수 있는가? 빠져 있는 논리 단계를 찾아보자.
출처 o1 소개: openai.com · DeepSeek-R1, 2025: arxiv.org
20줄로 LLM 돌려 보기
이 장에서 말로 배운 것 — 디코더형 모델, 멀티턴 문맥, 샘플링 — 을 실습 시간에 코드로 만진다. 아래가 전부다.
Hugging Face 파이프라인 챗봇
한 줄 목표: "LLM 실행"의 최소 형태를 확인한다. 실행에는 Hugging Face 계정·토큰과 GPU 환경(Colab 가능)이 필요하다 — 절차는 실습 노트북(인공지능실습2주차)에서 진행한다.
관찰 포인트: messages 리스트가 매 턴 늘어나는 것 — 모델은 기억이 없고, 우리가 대화 전체를 매번 다시 넣어 주고 있다는 것이 보이면 성공이다. 3장의 "컨텍스트 윈도우 비용"이 왜 대화가 길어질수록 문제가 되는지도 함께 생각해 보자.
이 자료가 바로잡은 세 가지
챗봇에 관한 통념 가운데, 이 장을 읽기 전과 후가 달라야 하는 것들.
기억해 둘 세 문장
- 챗봇은 검색하지 않는다. 생성한다. 답의 목록이 아니라 조각의 결합 확률을 배웠다 — 그래서 배운 적 없는 질문에 답하고, 있던 적 없는 사실도 만든다.
- 환각은 버그가 아니라 트레이드오프다. 다양성·창의성과 같은 손잡이에 묶여 있고, "찍으면 점수를 주는" 채점 방식이 그것을 키웠다. 목표는 박멸이 아니라 과제에 맞는 통제다.
- RAG는 환각의 종결자가 아니라 근거의 공급자다. 모델을 다시 가르치는 대신 찾아보게 하는 것이며, 품질은 생성이 아니라 검색에서 갈린다.
다음 장은 정반대의 극단으로 간다 — 확률 없이, 사람이 적은 규칙만으로 추론하는 전문가 시스템이다. 투명하지만 배우지 못하는 그 시스템의 한계가, 왜 오늘 본 통계적 학습이 필요했는지를 거꾸로 증명한다.
참고문헌
공개 원문(arXiv · 학회 · 저자 기관) 우선. 링크는 2026년 8월 확인 기준.
생성 모델
- Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. arxiv.org/abs/1312.6114
- Goodfellow, I., et al. (2014). Generative Adversarial Networks. NeurIPS 27. arxiv.org/abs/1406.2661
- Sohl-Dickstein, J., et al. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML. arxiv.org/abs/1503.03585
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS. arxiv.org/abs/2006.11239
트랜스포머와 언어모델
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 30. arxiv.org/abs/1706.03762
- Peters, M., et al. (2018). Deep Contextualized Word Representations (ELMo). NAACL. arxiv.org/abs/1802.05365
- Devlin, J., et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers. NAACL 2019. arxiv.org/abs/1810.04805
- Radford, A., et al. (2018). Improving Language Understanding by Generative Pre-Training (GPT-1). cdn.openai.com
- Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners (GPT-2). cdn.openai.com
- Brown, T., et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. arxiv.org/abs/2005.14165
- Chowdhery, A., et al. (2022). PaLM: Scaling Language Modeling with Pathways. arxiv.org/abs/2204.02311
정렬 · 환각 · 검색 증강
- Christiano, P., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS. arxiv.org/abs/1706.03741
- Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. arxiv.org/abs/2005.11401
- Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback (InstructGPT). arxiv.org/abs/2203.02155
- Bai, Y., et al. (2022). Training a Helpful and Harmless Assistant with RLHF. arxiv.org/abs/2204.05862
- Zhou, C., et al. (2023). LIMA: Less Is More for Alignment. NeurIPS. arxiv.org/abs/2305.11206
- Kalai, A. T., Nachum, O., Vempala, S., & Zhang, E. (2025). Why Language Models Hallucinate. arxiv.org/abs/2509.04664
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arxiv.org/abs/2501.12948
개관 · 기술 문서 (연표·개념 대조용)
- AWS. What is Retrieval-Augmented Generation? aws.amazon.com
- OpenAI. (2024). Learning to Reason with LLMs (o1). openai.com
- Reuters. (2023-02-02). ChatGPT sets record for fastest-growing user base. reuters.com
연도는 arXiv 최초 공개(발표) 기준으로 적고, 확산·실용화 시점이 다른 경우(확산 모델 2015/2020) 병기했다. 파라미터 수는 각 논문 본문의 값이다. 1억 사용자(2개월)는 제3자 데이터에 기반한 분석사의 추정치로, 본문에 "추정"으로 표시했다. RSI·물리 병목은 합의된 사실이 아닌 해석으로, "논쟁"으로 표시했다.