강화학습과
LLM 정렬
정답 대신 보상이, 그것도 한참 뒤에 온다. 그리드월드의 Q-learning에서 출발해 ChatGPT를 만든 RLHF, 그리고 그 비용을 깎아 온 후계자들(PPO → DPO → GRPO)까지 — 2장에서 예고한 정렬의 완결편이다.
같은 모델, 다른 물건
ChatGPT의 기반 모델(GPT-3.5)은 그 원형이 공개된 지 2년이 넘은 상태였다. API로 써 본 사람들은 알았다 — 강력하지만 다루기 어려운, 지시를 무시하고 아무 말이나 이어 쓰는 물건이었다. 그런데 2022년 11월의 채팅창은 달랐다. 무엇이 바뀌었나.
모델 크기가 아니다. 바뀐 것은 마무리 공정 — 사람의 선호를 보상으로 바꿔 강화학습으로 주입하는 정렬(alignment) — 이었다. "다음 토큰 예측 기계"를 "지시를 따르는 조수"로 바꾼 것은 새 두뇌가 아니라 새 훈육이었던 셈이다.
이 장은 그 훈육의 기술을 해부한다. 먼저 강화학습의 기본기(보상·정책·가치)를 갖추고, RLHF의 공정을 따라간 뒤, 그 공정의 비용을 깎아 온 알고리즘 계보를 식별할 수 있을 때까지 간다 — 기말의 PPO/DPO/GRPO 3문항이 정확히 이 사정거리다.
보상으로 배운다 — MDP와 가치
강화학습의 어려움은 알고리즘이 아니라 문제 설정에 있다 — 정답은 없고, 보상은 늦게 온다.
에이전트, 환경, 그리고 여섯 개의 단어
강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 패러다임이다. 문제는 MDP = (S, A, P, R, γ) 다섯 요소로 정식화된다.
할인율 γ(0~1)는 "미래 보상을 얼마나 현재로 쳐줄 것인가"다 — γ가 작으면 근시안적이 되고, 크면 멀리 본다. 4장에서 예고했던 지연 보상 문제의 처리 장치가 바로 이 할인 합이다. 또 하나의 구분 — 현재 정책이 만든 데이터만 쓰면 On-policy(PPO 계열, 샘플 효율은 낮지만 안정적), 과거·타 정책 데이터도 재사용하면 Off-policy(DQN 계열, 효율은 높지만 분포 이동 문제). RLHF가 주로 On-policy인 이유는 "지금의 모델이 실제로 낼 답"을 교정해야 하기 때문이다.
생각해 볼 질문 — 바둑에서 γ=0.5로 두면 어떤 스타일의 기사가 되는가?
그리드월드 — 보상만으로 길을 배우다
4×4 격자에서 에이전트가 목표(+1)를 찾는다. 정답 경로는 아무도 알려주지 않는다 — 도착하면 +1, 함정에 빠지면 −1, 그게 전부다. Q-learning이 그 신호만으로 지도를 그려 가는 것을 본다.
Q-learning 그리드월드
한 줄 목표: "시도 → 보상 → 가치 갱신"의 반복이 정답 없이도 최적 경로를 만들어 내는 것을 관찰한다. 화살표는 각 칸에서 Q값이 가장 높은 행동이다.
조작: 초기화 직후의 화살표(무의미)를 확인하고 → [10 에피소드]를 몇 번 → [200 에피소드]. 관찰 포인트: ① 목표 근처 칸부터 화살표가 정리되고, 가치가 목표에서 시작점 쪽으로 번져 간다(할인 보상의 전파). ② 함정(−1) 옆 칸들이 함정을 피해 돌아가는 화살표를 배운다. 성공률이 85%를 넘으면 학습 완료다(100%가 안 되는 것은 ε=0.2의 무작위 탐험이 계속되기 때문 — 그 자체가 관찰 포인트다).
이 위젯의 갱신식은 Q-learning의 원형 그대로다: Q(s,a) ← Q(s,a) + α[r + γ·max Q(s′,·) − Q(s,a)]. "다음 상태의 최선 가치"를 현재로 끌어오는 이 한 줄이, 보상이 목표 칸에만 있어도 온 격자에 가치를 퍼뜨린다. 학기 말 프로젝트의 달 착륙선(DQN)은 이 Q표를 신경망으로 바꾼 것뿐이다 — 상태가 연속이라 표를 만들 수 없으니, Q(s,a)를 근사하는 신경망(M4의 함수 근사!)을 쓴다.
생각해 볼 질문 — 탐험(무작위 행동)을 전혀 안 하면(ε=0) 이 학습은 무엇에 갇히는가?
정렬 파이프라인 — 선호를 보상으로
사람은 점수를 잘 못 매기지만 비교는 잘한다 — 그 비교를 점수로 바꾸는 것이 보상 모델이다.
다음 토큰 예측만 배운 모델의 네 가지 문제
사전학습 LLM은 인간의 의도와 정렬되어 있지 않다. 유해·편향 내용을 생성할 수 있고, 지시를 따르지 않을 수 있고, 사실이 아닌 내용을 자신 있게 말하며(M2의 환각), 사람이 선호하는 답의 형태를 모른다.
용어 하나 정리 — 정렬(alignment)은 정렬(sorting, 데이터 순서 나열)과 무관하다. 모델의 행동을 인간의 의도·가치와 "정렬"시킨다는 뜻이다. 그리고 이 공정이 왜 강화학습이어야 하는지도 짚어 두자 — 좋은 답의 "정답 목록"은 없고(같은 질문에 좋은 답이 무수히 많다), 있는 것은 "이게 저것보다 낫다"는 사후 평가뿐이다. 정답 없이 평가 신호만 있는 상황, 정확히 강화학습의 문제 설정이다.
생각해 볼 질문 — SFT만으로(RL 없이) 해결하기 어려운 것은 무엇인가? "하지 말아야 할 것"을 예시로 가르치는 일의 어려움을 생각해 보자.
출처 Ouyang 외(InstructGPT), 2022: arxiv.org · Christiano 외(선호 기반 RL의 원형), 2017: arxiv.org
비교를 점수로 — Bradley-Terry
평가자에게 "이 답은 87점인가?"를 묻지 않는다. 두 답을 놓고 "어느 쪽이 나은가"만 묻는다 — 상대 비교가 절대 평가보다 일관적이기 때문이다.
L = −E[ log σ( r(x, y_w) − r(x, y_l) ) ] — 선호된 답의 점수가 높아지도록 RM을 훈련
예: "기후변화를 설명해 주세요"에 대한 응답 A(성실한 설명)와 B("그냥 날씨가 바뀌는 거죠") — 평가자가 A ≻ B를 고르면, RM은 A류의 답에 높은 점수를 주도록 조금 이동한다. 이런 비교 수천~수만 개가 "사람의 눈"을 흉내 내는 채점기를 만든다.
M4의 시험 채점 논의가 여기서 실물이 된다 — RM은 이후 모든 학습의 채점 기준이므로, RM의 편향이 곧 모델의 편향이 된다. 평가자들이 길고 공손한 답을 선호하면 모델은 장황하고 아부하는 쪽으로 최적화된다(다음 파트의 보상 해킹). M2에서 본 "환각은 채점 방식의 귀결"(Kalai 2025)과 같은 구조의 문제이며, 그래서 최근 연구의 상당수가 알고리즘이 아니라 보상의 품질에 몰려 있다.
생각해 볼 질문 — σ(점수차)가 0.5라는 것은 무슨 뜻인가? RM이 두 답에 같은 점수를 주는 상황의 의미를 말로 풀어 보자.
PPO → DPO → GRPO — 비용 절감의 계보
세 알고리즘의 차이는 철학이 아니라 회계다 — 몇 개의 모델을 띄우고, 채점을 누가 하는가.
모델 4개, 2개, 그리고 자동 채점
PPO는 채점관을 따로 키우고, DPO는 채점된 답안지에서 직접 배우고, GRPO는 같은 문제를 여러 번 풀어 자기 답끼리 비교한다.
| PPO (RLHF 표준) | DPO | GRPO | |
|---|---|---|---|
| 필요 모델 | 4개 (Actor·Ref·RM·Critic) | 2개 (Policy·Ref) | 2개 (Policy·Ref) |
| 채점 | 학습된 보상 모델 | 선호 쌍 데이터에 내장 | 자동 검증 (정답 여부) |
| 학습 방식 | 온라인 (실시간 생성) | 오프라인 (사전 데이터) | 온라인 (그룹 샘플링) |
| 강점 | 탐색 능력 우수 | 메모리 절감 · 안정적 | 보상 스케일에 둔감 · 검증 가능 과제에 강함 |
| 대표 사용 | InstructGPT · ChatGPT | Llama 2/3 (SFT→DPO 반복) | DeepSeek-R1 (수학·코딩) |
수식의 최소 골격만 짚는다. PPO의 목적함수 L = E[min(r(θ)A, clip(r(θ), 1−ε, 1+ε)A)]에서 r(θ)는 새 정책/옛 정책의 확률비, clip(ε≈0.2)은 "한 번에 너무 크게 바뀌지 못하게" 묶는 안전벨트다 — Proximal(가까운)이라는 이름의 이유. DPO의 손실 L = −E[log σ(β log(π_θ(y_w)/π_ref(y_w)) − β log(π_θ(y_l)/π_ref(y_l)))]은 Bradley-Terry에서 보상을 정책비로 치환해 유도된다 — "당신의 언어모델은 이미 비밀리에 보상 모델"이라는 원논문 제목이 요지다. 주의: DPO는 알고리즘이지 데이터 수집 방법이 아니다 — 선호 쌍은 사람·AI·정답 검증 등 어떤 방식으로든 만들 수 있다.
생각해 볼 질문 — Llama 계열은 왜 PPO 대신 SFT→DPO 반복을 택했을까? 공개 모델 생태계의 제약(재현성, 자원)과 연결해 보자.
출처 PPO: Schulman 외, 2017: arxiv.org · DPO: Rafailov 외, 2023: arxiv.org · GRPO: Shao 외(DeepSeekMath), 2024: arxiv.org
그룹 평균이 기준선이다 — 손으로 계산하는 GRPO
같은 문제("2 + 3 × 4 = ?")를 놓고 응답을 여러 개 뽑아 자동 채점한다. 그룹 평균이 기준선(baseline)이 되고, 평균보다 나은 응답은 강화되고 못한 응답은 약화된다 — Critic 없이 어드밴티지를 얻는 방법이다.
GRPO 어드밴티지 계산기
한 줄 목표: 기말 기출 유형("8개 풀이의 상대 advantage") 계산을 직접 해 본다. 각 응답의 정답 여부를 눌러 바꿔 보자.
조작: 기본(정답 2/오답 2)에서 시작해 → 전부 정답으로 → 전부 오답으로 바꿔 보자. 관찰 포인트: ① advantage = 자기 보상 − 그룹 평균. ② 전부 정답(또는 전부 오답)이면 advantage가 모두 0 — 학습 신호가 사라진다. 문제가 너무 쉽거나 너무 어려우면 GRPO가 배울 게 없다는 것, 그래서 난이도 조절이 훈련 설계의 핵심이라는 것이 보이면 성공이다.
식별 요령(기말 대비): 지문에 "4개 모델·클리핑·실시간 생성"이면 PPO, "보상 모델 없이 선호 쌍에서 직접·오프라인"이면 DPO, "같은 문제 여러 응답·그룹 평균·자동 채점(수학/코딩)"이면 GRPO다. 비유로는 — PPO: 채점관을 먼저 훈련시켜 학생이 시험 보며 피드백받기, DPO: 채점된 답안지를 보고 좋은 답 스타일 배우기, GRPO: 같은 문제를 여러 번 풀고 자기 답끼리 비교하기. 보상의 단위도 구분해 두자 — 최종 답에만 주면 ORM(Outcome), 풀이의 각 단계에 주면 PRM(Process)이다.
생각해 볼 질문 — "안전성이 최우선인 의료 챗봇"과 "수학 올림피아드 특화 모델" — 각각 어떤 조합(알고리즘+평가)을 고르겠는가?
보상 해킹과 KL 페널티
측정이 목표가 되는 순간 좋은 측정이기를 멈춘다 — 보상 최적화의 굿하트 법칙.
보상은 반드시 뚫린다
보상 모델을 최대화하라고 시키면, 모델은 "좋은 답"이 아니라 "RM이 좋아하는 답"을 찾는다 — 불필요하게 긴 응답, 키워드 반복, 과도한 공손함이 전형적 증상이다.
β 크면: 보수적, 원본에 가깝게 · β 작으면: 공격적, 보상 극대화 (통상 0.01~0.1)
KL 페널티는 "보상을 좇되 사전학습 모델(π_ref)에서 너무 멀어지지 말라"는 고삐다. 보상 모델 앙상블, 길이 정규화 같은 보완책이 함께 쓰이지만, 어떤 장치도 근본 문제를 없애지는 못한다 — 보상은 목표의 대리물일 뿐이다.
"보상 해킹은 모델의 결함이다" — 아니다, 최적화가 잘 작동했다는 증거다. 결함은 보상 쪽에 있다. 지표를 세게 밀어붙일수록 지표와 진짜 목표의 틈이 드러난다는 굿하트의 법칙은 사람 조직에서도 똑같다 — 조회수를 KPI로 걸면 낚시 제목이 최적해가 되는 것처럼.
이 주제는 이 과목의 세 장을 관통해 온 한 문제가 세 번째로 등장한 것이다 — M2: 채점(벤치마크)이 찍기를 가르쳐 환각을 키웠다(Kalai 2025). M4: 감점 없는 시험은 찍기가 최적 전략이다. M8: RM 점수를 밀어붙이면 아부가 최적 전략이 된다. 결론은 같다 — 학습 시스템의 행동은 보상(채점) 설계의 거울이다. AI를 다루는 조직이 알고리즘보다 평가 설계에 시간을 쓰는 이유다.
생각해 볼 질문 — 학점(보상)을 최적화하는 학생의 "보상 해킹"에는 무엇이 있는가? 교육 목표와 학점의 틈은 어디서 생기는가?
디코딩 전략과 추론 모델
학습이 끝난 모델에서도 성능을 더 뽑아낼 수 있다 — 답을 고르는 법, 그리고 더 오래 생각하는 법.
같은 모델, 다른 답 — 고르는 전략들
M2의 온도·Top-k 실습에서 본 것처럼, 확률분포에서 토큰을 어떻게 뽑느냐는 학습과 별개의 손잡이다. 기본 전략 셋에 탐색형 전략들이 얹힌다.
- Best-of-N — N개를 생성해 채점기로 최선을 고른다. 학습 없이 추론만으로 품질을 올리고, GRPO·DPO용 데이터 수집에도 쓰인다.
- MCTS / Tree-of-Thought — 여러 추론 경로를 트리로 탐색하고 평가·백트래킹한다. 2주차 "탐색"의 귀환이다 — 이번에는 LLM이 평가함수다.
N번 뽑으면 얼마나 좋아지는가 — pass@N
한 줄 목표: "한 번에 맞힐 확률 p"와 "N번 중 한 번이라도 맞힐 확률"의 간극을 숫자로 본다. 정답 검증기가 있을 때 Best-of-N이 왜 강력한지를 보여주는 산수다.
조작: p=5%에서 N을 1→256까지 올려 보자. 관찰 포인트: 5%짜리 모델도 64번 뽑으면 96%가 넘는다 — 단, 정답을 골라낼 검증기가 있을 때만. 검증기가 없으면 N개 중 무엇이 맞는지 모른다. "생성은 싸고 검증이 비싸다"는 비대칭이 최근 AI 시스템 설계의 중심축이라는 점이 보이면 성공이다.
pass@N = 1 − (1−p)ᴺ. 이 단순한 식이 GRPO(그룹 샘플링)와 추론 모델(여러 경로 탐색)의 공통 기반이다. 수학·코딩에서 최근 발전이 유독 빨랐던 이유도 여기 있다 — 답을 자동 검증할 수 있는 영역이라 N을 마음껏 키울 수 있었다. 검증기가 없는 영역(에세이, 전략 조언)에서는 같은 트릭이 통하지 않아, 보상 모델의 품질 문제로 되돌아간다.
생각해 볼 질문 — p=1%, N=256이면 pass@N은? 그런데 이 256개를 채점할 비용은 누가 내는가?
더 오래 생각하기 — Test-Time Compute
"모델을 키우면 성능이 오른다"에 새 축이 추가되었다 — 같은 모델이 추론 시 더 많은 계산(긴 사고 사슬, 자기 검증, 다중 경로)을 쓸수록 성능이 오른다.
o1(2024)과 DeepSeek-R1(2025)이 이 방향의 대표다. R1이 공개한 학습 전략(소량의 콜드 스타트 데이터 후 GRPO 중심의 강화학습으로 긴 추론을 유도)은 이 장의 알고리즘(GRPO)과 앞 실습(pass@N)이 실제 시스템에서 어떻게 결합되는지 보여주는 실증 사례다. 주요 모델별 정렬 전략도 갈래가 다르다: ChatGPT는 SFT→RM→PPO, Claude는 Constitutional AI + RLAIF, Llama는 SFT→DPO 반복.
M2 마지막 카드의 논쟁(RSI·AGI의 시작점)을 여기서 다시 만난다 — 이제는 그 주장을 평가할 도구가 생겼다. "생각을 늘리면 성능이 오른다"는 실측 결과이고, "그러므로 스스로 개선하는 지능"은 해석이다. 실측과 해석을 분리하는 습관(1장의 퍼셉트론 기사에서 시작해 계속 연습해 온 그 습관)이 이 과목이 남기려는 마지막 기술이다.
생각해 볼 질문 — 추론 시간 계산에도 한계 효용 체감이 있을 것이다. "1시간 생각한 답"이 "1분 생각한 답"보다 60배 좋지 않은 이유를 pass@N의 식에서 찾아보자.
출처 o1: openai.com · DeepSeek-R1, 2025: arxiv.org
이 자료가 바로잡은 세 가지
그리고 한 학기의 마지막 문장.
기억해 둘 세 문장
- ChatGPT를 만든 것은 더 큰 두뇌가 아니라 새 훈육이었다. 정렬은 사후 처리가 아니라 제품의 정체성을 정하는 공정이다 — SFT가 형식을, RM이 기준을, RL이 행동을 만든다.
- PPO→DPO→GRPO는 우열의 순서가 아니라 트레이드오프의 지도다. 탐색 능력(PPO), 효율(DPO), 검증 가능 과제(GRPO) — 상황이 알고리즘을 고른다. 시나리오에서 식별 단서를 찾는 연습이 곧 시험 대비다.
- 학습 시스템의 행동은 보상 설계의 거울이다. 환각도(M2), 찍기도(M4), 아부도(M8) 같은 문제의 세 얼굴이다 — AI를 다루는 일의 절반은 채점표를 설계하는 일이다.
1장의 1958년 신문 기사에서 시작해 여기까지 왔다. 60년 전의 과열과 겨울을 배운 이유는 낙관도 비관도 아닌 판별력을 위해서였다 — 무엇이 실측이고 무엇이 해석인지, 무엇이 구조적 한계이고 무엇이 공학적 병목인지 가르는 힘. 다음 뉴스에서 "이번에는 다르다"는 문장을 만나면, 이 자료들의 방법으로 스스로 판정해 보자. 그것이 이 과목이 남기는 도구다.
참고문헌
공개 원문 우선. 링크는 2026년 8월 확인 기준.
강화학습 기본
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2판). MIT Press. 전문 공개: incompleteideas.net
- Watkins, C., & Dayan, P. (1992). Q-learning. Machine Learning, 8, 279–292. springer.com
정렬 알고리즘
- Christiano, P., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS. arxiv.org
- Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arxiv.org
- Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback (InstructGPT). arxiv.org
- Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arxiv.org
- Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS. arxiv.org
- Ethayarajh, K., et al. (2024). KTO: Model Alignment as Prospect Theoretic Optimization. arxiv.org
- Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning (GRPO). arxiv.org
- Hong, J., Lee, N., & Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. arxiv.org
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arxiv.org
개관 · 기술 문서
- OpenAI. (2024). Learning to Reason with LLMs (o1). openai.com
수식(PPO clip, DPO 손실, Bradley-Terry, pass@N)은 원논문 표기를 따르되 기호를 본문 흐름에 맞춰 통일했다. 모델별 정렬 전략(ChatGPT/Claude/Llama)은 각 사의 공개 논문·기술 보고서 기준이며, 세부는 버전에 따라 다를 수 있다. 그림 4는 개념 모식도로, 실측 데이터가 아니다.