Page 22 -

1.3.3.2 손실 함수

신경망에는 다양한 손실 함수를 사용할 수 있으며, 당면 문제에 따라 손실 함수 선택도 달라진다.
예제에서는 우선 SSE(Sum-of-Squares Error)를 사용하자.

SSE는 단순히 예측값과 실제값의 차이를 더한 것이며, 차이의 제곱값을 사용해 절댓값을 반영한

다. 결국 신경망 훈련이란 손실 함수 값을 최소로 줄일 수 있는 최적의 가중치와 편향을 찾는 과정
이다.

1.3.3.3 역전파 과정

예측 오차를 측정할 방법을 마련했다. 이제 오차를 역으로 전파하고 가중치와 편향을 갱신할 방법
이 필요하다. 가중치와 편향을 어떻게 조절해야 적당할지 알아내려면 가중치와 절편에 따른 손실
함수의 미분(derivative)을 알아내야 한다. 미분을 배운 기억을 떠올려 보자. 함수의 미분은 단순히
함수의 경사다.

그림 1-7 손실을 최소화하는 역전파 과정
손실
손실 함수는 특정 가중치 값이
얼마나 적정한지 계산한다.

경사의 기울기
(미분값)는 최저
점으로 가는 방
향을 가리킨다.

손실 함수 최저점의 가중치가 결국
손실을 최소화한다.

가중치

그림 1-7에서 볼 수 있듯이, 미분 값만 얻으면 가중치와 편향을 적절히 조절할 수 있다. 이 방식을
경사 하강법(gradient descent)이라고 한다.

34

신경망교과서_07.indd 34 2020-05-19 오전 9:04:31