경사하강법이 뭐예요?
경사하강법을, 훈련 교사가 오판 점수의 기울기를 재서 줄어드는 쪽으로 선별기 다이얼을 조금씩 돌리는 이야기로 풀어봤어요.
선별기 다이얼을 어느 쪽으로 돌려야 오판이 줄어들지 안 보여요.다이얼 위치를 다 시험해 볼 수는 없으니, 오판이 줄어드는 방향을 찾아야 해요.
다이얼을 아무 쪽으로나 돌리면 오판이 오히려 늘 수 있어요.방향을 모르면, 다이얼을 돌릴수록 오판이 더 늘 수 있어요.
경사하강법은 오판 점수(손실)의 기울기를 재서, 점수가 줄어드는 쪽으로 다이얼(파라미터)을 조금씩 돌리며 오차를 줄이는 방법이에요.오르막 반대쪽으로 조금씩 돌리다가, 오판 점수가 더 안 줄면 멈춰요.
다이얼을 한 번에 돌리는 크기(학습률)가 너무 크면 최저점을 지나치고, 너무 작으면 오래 걸려요.그래서 학습률을 너무 크지도 작지도 않게 정해요.
작은 골짜기(지역 최솟값)를 오판이 가장 적은 위치로 착각할 수 있어요.경사하강법은 지금 위치 근처의 기울기만 따라가서, 더 깊은 골짜기를 못 볼 수 있어요.
경사하강법 = 지금 위치에서 손실의 기울기(경사)를 재서, 그 반대 방향으로 조금씩 파라미터를 고치기를 반복하며 손실이 낮은 곳을 찾아가는 방법.
경사하강법은 손실함수(모델이 얼마나 틀렸는지 나타내는 함수)의 기울기(gradient)를 계산해, 그 반대 방향으로 학습률(learning rate)만큼 파라미터를 조금씩 갱신하며 손실을 줄여가는 최적화 알고리즘이에요. 학습률이 너무 크면 최솟값 주변을 오가거나 발산하고, 너무 작으면 수렴이 지나치게 느려요. 손실 곡면이 볼록하지 않으면 지역 최솟값이나 안장점(기울기가 0이지만 최솟값이 아닌 곳) 근처에 머물러 전역 최솟값을 놓칠 수 있어요. 실무에서는 데이터 일부(미니배치)만으로 기울기를 재는 확률적 경사하강법(SGD)과 그 변형이 널리 쓰여요.
어른들은 이렇게 불러요
- 경사하강법
Gradient Descent - 오판 점수가 줄어드는 쪽으로 다이얼을 조금씩 돌리는 방법. 신경망 학습에 널리 쓰이는 최적화 방법이에요. → 작은 창으로 조금씩 살펴보는 눈
- 기울기
Gradient - 다이얼을 돌릴 때 오판 점수가 어느 쪽으로, 얼마나 빨리 변하는지. 기울기의 반대 방향이 점수가 줄어드는 쪽이에요.
- 학습률
Learning Rate - 다이얼을 한 번에 돌리는 크기. 크면 지나치고, 작으면 너무 오래 걸려요.
- 손실함수
Loss Function - 선별기가 지금 얼마나 틀렸는지 나타내는 오판 점수. 이 점수를 낮추는 게 학습의 목표예요. 로지스틱 회귀도 이렇게 학습할 수 있어요. → 저울 눈금을 S자 곡선에 넣어 보기
- 지역 최솟값
Local Minimum - 작은 골짜기: 주변에선 가장 낮지만 전체에서 가장 낮은 곳은 아닐 수 있는 위치. 여기서 멈추면 더 깊은 골짜기를 못 찾아요.
- 전역 최솟값
Global Minimum - 곡선 전체에서 오판 점수가 진짜 가장 낮은 위치. 손실 곡면이 볼록하지 않으면 경사하강법이 찾아낸다는 보장이 없어요.
- 확률적 경사하강법(SGD)
Stochastic Gradient Descent (SGD) - 작물 전체 대신 일부만 검사해 기울기를 재는 방법. 데이터 전체로 재는 것보다 한 번의 계산이 훨씬 빨라요.
- 수렴
Convergence - 다이얼 움직임이 점점 작아져 한 위치에 자리 잡는 것. 보통 학습을 멈춰도 된다고 보는 신호예요.