신경망과
역전파

변수가 하나뿐인 선형회귀는 미분해서 0이 되는 지점을 공식으로 바로 구할 수 있다(최소제곱법). 그런데도 굳이 "조금씩 내려가는" 반복법을 배우는 이유는, 신경망처럼 파라미터가 수백만 개인 문제에는 닫힌 공식이 없기 때문이다 — 반복법만이 유일하게 통하는 일반 해법이다.

주의 하나: 회귀가 찾는 것은 상관관계이지 인과관계가 아니다. 아이스크림 판매량으로 익사 사고를 "예측"하는 직선은 잘 그어지지만, 아이스크림이 사고의 원인은 아니다(둘 다 여름의 결과다).

생각해 볼 질문 — 잔차를 제곱하는 대신 절댓값을 쓰면 무엇이 달라지는가? 이상치(outlier) 하나가 있을 때 두 방식의 직선은 어떻게 다르게 반응할까?

이 포물선에서 발산 경계가 정확히 α=1인 것은 우연이 아니라 계산 결과다. w ← w − α(2w−6)를 정리하면 (w−3)이 매 스텝 (1−2α)배가 된다. |1−2α|<1이면 수렴, 즉 0<α<1. 실제 신경망의 손실 지형은 이렇게 깨끗한 포물선이 아니어서 안전한 학습률을 공식으로 못 구한다 — 그래서 학습률은 지금도 실무에서 가장 먼저 튜닝하는 하이퍼파라미터다. 10주차 슬라이드의 "오버슈팅", 모멘텀(관성으로 가속)도 전부 이 손잡이 주변의 공학이다.

생각해 볼 질문 — 학습 초반에는 크게, 후반에는 작게 움직이고 싶다. 학습률을 어떻게 다뤄야 할까? (실무의 "학습률 스케줄"이 그 답이다)

진단 도구는 검증 손실 곡선이다. 훈련 손실은 계속 내려가는데 검증 손실이 어느 순간부터 올라가기 시작하면, 그 지점부터 모델은 일반화가 아니라 암기를 한다. 이 곡선 두 개를 겹쳐 그리는 습관이 실무 딥러닝의 기본 계기판이다.

생각해 볼 질문 — 훈련 손실과 검증 손실이 둘 다 높은 채로 나란히 정체되어 있다면, 과대적합인가 과소적합인가? 다음 조치는?

퍼셉트론의 한계가 "구조의 단순함"에 있었다는 진단을 기억하자 — 인간 두뇌는 약 1,000억 개의 뉴런이 협동하는데 퍼셉트론은 하나였다. 은닉층을 넓히고 깊게 쌓으면 이론상 어떤 연속 함수든 근사할 수 있다는 것이 보편 근사 정리다. 다만 "표현할 수 있다"와 "학습으로 도달할 수 있다"는 별개 문제이고, 후자를 연 것이 이 장의 역전파다.

생각해 볼 질문 — 은닉 유닛이 3개라면 입력 공간을 최대 몇 개의 영역으로 나눌 수 있을까?

"비선형이 왜 필요한가"를 한 줄 산수로: 은닉층 h = W₁x, 출력 y = W₂h라면 y = W₂W₁x = (W₂W₁)x — 행렬 두 개의 곱은 또 하나의 행렬이므로 결국 선형 모델이다. 사이에 σ를 끼워 y = W₂σ(W₁x)가 되는 순간 이 축약이 불가능해지고, 층마다 새로운 표현력이 생긴다. 시험 서술형으로 자주 나오는 논리이니 이 두 줄을 그대로 쓸 수 있도록 익혀 두자.

생각해 볼 질문 — ReLU는 0에서 꺾이는 것 말고는 두 조각 모두 선형이다. 그런데 왜 "비선형 함수"로서 자격이 있는가?

왜 "거꾸로"가 영리한가 — 무식한 대안과 비교하면 보인다. 가중치를 하나씩 조금 바꿔 보고 출력을 다시 계산해 오차 변화를 재는 방법도 가능하지만, 가중치가 백만 개면 순방향 계산을 백만 번 해야 한다. 역전파는 순방향 1번 + 역방향 1번으로 모든 가중치의 미분을 동시에 얻는다. 이 효율이 없었다면 딥러닝은 계산량 앞에서 시작도 못 했다.

생각해 볼 질문 — 역방향 패스가 출력층"에서" 시작해야만 하는 이유를 체인룰의 구조에서 찾아보자.

②에 시그모이드를 쓰면 σ′ = σ(1−σ)로, 출력값만으로 미분이 계산된다는 편리함이 있다 — 1980년대에 시그모이드가 표준이었던 실무적 이유다. 그런데 이 σ′의 최댓값이 0.25라는 사실이 6장의 복선이다. 층마다 ②가 한 번씩 곱해지므로, 층이 깊어질수록 0.25 이하의 수가 반복해서 곱해진다.

생각해 볼 질문 — ③이 "입력값"이라는 것은, 입력이 0인 연결의 가중치는 그 샘플에서 전혀 학습되지 않는다는 뜻이다. 이것이 문제가 되는 상황을 상상해 보자.

이 위젯의 학습 코드는 앞 카드의 3항 유도를 그대로 옮긴 20줄이다: dy=(y−t)·y(1−y)가 ①×②, 거기에 h를 곱해 출력층 가중치의 미분을, W₂를 곱하고 h(1−h)를 곱해 은닉층으로 책임을 넘긴다. 실습 노트북(XORnetwork.ipynb)에서 같은 구조를 numpy로 다시 만나고, 각 층의 계산식을 숫자로 출력해 보게 된다.

생각해 볼 질문 — 초기 가중치를 전부 0으로 두면 이 학습은 어떻게 되는가? (힌트: 두 은닉 유닛이 완전히 같은 미분을 받는다 — "대칭 깨기" 문제)

국소적 계산의 힘은 두 가지다. ① 아무리 복잡한 식도 단순 노드의 연결로 분해된다. ② 순전파 때 각 노드의 중간값을 저장해 두면, 역전파는 그 저장값만으로 계산된다. 파이토치·텐서플로가 하는 일이 정확히 이것이다 — 코드를 실행하며 계산그래프를 자동으로 기록하고(순전파), backward() 한 줄로 그래프를 거꾸로 훑는다(역전파). 여러분이 미분 코드를 손으로 짤 일이 없는 이유이자, 그 안에서 무슨 일이 벌어지는지 지금 배우는 이유다.

생각해 볼 질문 — 그림에서 귤 가격의 미분(3.3)을 "국소적 규칙"만으로 재구성해 보자. 어떤 값들이 곱해졌는가?

답안 작성 요령: ① 그래프를 그릴 때 노드에 연산, 엣지에 값을 쓴다. ② 순전파 값을 왼→오로 채운다. ③ 맨 오른쪽에서 1로 시작해, 덧셈=복제·곱셈=교환 규칙으로 오→왼으로 채운다. ④ 각 입력 자리의 최종 값이 그 입력에 대한 미분이다. 검산은 "입력을 1 올려 다시 순전파" — 결과 변화량이 미분과 같아야 한다.

생각해 볼 질문 — z = (x+y)² 에서 x와 y의 미분이 항상 같은 이유를 그래프 구조에서 설명해 보자.

소프트맥스+CE 조합의 진짜 매력은 미분이다. 출력층 점수 z에 대한 손실의 미분이 ∂L/∂z = ŷ − y (예측 확률 − 정답 원-핫)로 정리된다 — 3항 체인룰이 한 항으로 붕괴한다. 정답 확률이 0.3이면 미분 −0.7로 크게 배우고, 0.99면 −0.01로 거의 안 배운다: "틀린 만큼 배운다"가 수식으로 보장된다. M2에서 본 온도 스케일링(softmax(z/T))도 같은 식의 변형이다.

계산 안정성 메모: e^z는 z가 크면 오버플로하므로, 실제 라이브러리는 최댓값을 빼고 계산한다(LogSumExp 트릭). "내 코드에서 nan이 떴다"의 단골 원인이다.

생각해 볼 질문 — 소프트맥스 대신 "점수를 합으로 나누기"(zᵢ/Σzⱼ)를 쓰면 무엇이 무너지는가? 음수 점수를 넣어 보라.

엔트로피가 "무질서"가 아니라 "질문 개수"라는 조작적 정의로 배우면 세 가지가 공짜로 따라온다. ① 균등 분포가 엔트로피 최대인 이유 — 어디부터 물어도 이득이 없다. ② 교차엔트로피 ≥ 엔트로피인 이유 — 최적 전략보다 나은 전략은 없다. ③ 13주차 의사결정트리의 정보이득 — "이 질문을 하면 남은 질문 개수가 얼마나 줄어드는가"로 같은 개념이 재등장한다.

생각해 볼 질문 — 스무고개를 잘하는 사람의 전략을 엔트로피의 언어로 설명해 보자.

용어 정리 두 가지. ① 클래스가 둘이면 같은 식이 BCE(이진 교차엔트로피)로 줄고, 로지스틱 회귀의 log loss와 동일한 식이 된다. 셋 이상이면 Categorical CE이고 정답을 원-핫 인코딩으로 준다. ② 입력 특징의 표준화(평균 0, 분산 1)와 정답의 원-핫 인코딩은 학습 전 데이터 준비의 표준 절차다 — 나이 30과 배기량 3800처럼 스케일이 다른 특징을 그대로 넣으면 큰 수가 학습을 지배한다.

생각해 볼 질문 — 모델이 정답에 확률 1.0을 주면 CE는 0이다. 그런데 실무에서는 정답을 0.9로 낮춰 학습시키기도 한다(label smoothing). 왜일까? (힌트: M2의 환각·과신)

ReLU가 만능은 아니다 — 음수 구간의 미분이 0이라 한번 죽은 뉴런이 영영 안 살아나는 문제(dying ReLU)가 있고, Leaky ReLU 등 변형이 그 보완이다. 또 깊은 망의 학습 안정화에는 활성화 함수 교체 외에 배치 정규화·층 정규화(각 층의 입력 분포를 매번 표준화)가 함께 쓰인다 — 배치 단위로 정규화하는가(CNN 관례), 특징 축으로 정규화하는가(트랜스포머 관례)의 차이는 배포된 보조 자료 「정규화」에서 상세히 다룬다.

생각해 볼 질문 — 2주차의 트랜스포머는 수십 층인데 어떻게 학습이 될까? 활성화 함수 말고 "지름길"을 놓는 방법(잔차 연결)을 조사해 보자.

네 처방의 선택 기준: 데이터를 더 구할 수 있으면 ③이 근본 처방이고, 못 구하면 ①이 가장 싸고 안전한 기본값이다. ②와 ④는 모델이 클수록 효과가 크다. 실무에서는 보통 ①+④를 기본으로 깔고 시작한다. 드롭아웃 논문(Srivastava 외, 2014)의 비유가 정확하다 — "매번 다른 절반의 직원으로 회사를 돌리면, 아무도 혼자만 아는 업무를 만들 수 없다."

생각해 볼 질문 — 드롭아웃은 학습 때만 켜고 예측 때는 끈다. 왜 그래야 하는가?