가장 낮은 곳으로 향하는 의지: 경사하강법의 미분학
가장 낮은 곳으로
향하는 의지:
경사하강법의 미분학
"딥러닝의 학습은, 오차라는 거대한 산맥에서 가장 깊은 골짜기를 찾아가는 끊임없는 하강입니다."
[10년 차 몬이 샘의 교실 이야기: 확률의 아름다움]
"선생님, AI가 문제를 틀렸을 때 어떻게 스스로 고치나요? 사람처럼 '아, 이게 아니구나'라고 생각하는 건가요?"
질문하는 아이의 눈동자에서 저는 수많은 데이터의 파도를 보았습니다.
"얘들아, AI가 문제를 틀렸다는 건, 오차라는 거대한 산맥에서 너무 높은 곳에 서 있다는 뜻이야. AI에게는 사람 같은 직관은 없지만, 대신 완벽한 '나침반'을 가지고 있지. 그 나침반의 이름은 '미분'이란다. 미분은 지금 네 발밑의 경사가 어디로 굽어있는지 알려주지. AI는 그 경사를 따라 한 걸음씩, 가장 낮은 골짜기(정답)를 향해 끈기 있게 내려가는 거야. 우리가 배우는 미분이 AI에게는 길을 잃지 않게 해주는 가장 강력한 등대인 셈이지."
복잡한 수식이 종이 위의 숫자가 아니라, 인공지능의 혈관 속을 흐르는 뜨거운 데이터라는 사실. 이를 깨달을 때 아이들은 미분이라는 거대한 산을 넘을 용기를 얻습니다.
01. 오차 함수(Loss Function): 목표 지점을 수학으로 정의하다
인공지능의 학습은 결국 정답과 예측값 사이의 거리인 오차 함수(Loss Function)를 최소화하는 가중치($W$)를 찾는 과정입니다. 이 함수의 함숫값이 낮을수록 AI의 성능은 향상됩니다.
$J(W) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$
(MSE - 평균 제곱 오차: 딥러닝에서 가장 흔히 쓰이는 오차 함수의 형태)
이 거대한 다변수 함수 $J(W)$는 수천만 차원의 '오차 산맥'을 형성하며, 우리의 목표는 이 산맥의 전역 최적해(Global Minimum)에 도달하는 것입니다.
02. 경사하강법과 편미분: 순간변화율이 가리키는 나침반
경사하강법은 오차 함수의 기울기(Gradient)를 미분을 통해 계산하고, 그 기울기의 반대 방향으로 가중치를 업데이트하는 최적화 알고리즘입니다.
$W_{\text{next}} = W_{\text{now}} - \eta \nabla J(W)$
($\eta$: 학습률, $\nabla J(W)$: 오차 함수의 기울기 벡터)
기울기 벡터 $\nabla J(W)$는 오차 함수가 가장 가파르게 증가하는 방향을 가리킵니다. 따라서 그 반대 방향($-$)으로 가중치를 이동시키면, 오차 함수를 가장 빠르게 감소시킬 수 있습니다. 이것이 바로 미분이 인공지능에 '지능적 하강 방향'을 제시하는 방식입니다.
INSIGHT CLOSED: 무질서 속의 질서
딥러닝의 학습은 결국 미분이라는 수학적 도구를 통해 오차라는 무질서 속에서 최적의 질서를 찾아가는 과정입니다. 한 번에 정답에 도달할 수는 없지만, 미분이 가리키는 방향을 믿고 끈기 있게 내려간다면 결국 최적의 지점에 도달할 수 있습니다. 오늘 정리한 경사하강법과 편미분의 원리가 여러분의 세특 보고서에 '인공지능 최적화의 수학적 본질'이라는 날카로운 전문성을 더해주길 바랍니다. 10년 차 몬이 샘은 여러분이 수학이라는 정교한 언어로 인공지능과 대화하며 미래를 설계하는 주인공이 되길 응원합니다!