Page 23 -

하지만 손실 함수의 공식에는 가중치와 편향 변수가 없기 때문에 가중치와 편향에 따른 미분도 바
로 계산할 수 없다. 대신 연쇄 법칙(chain rule)을 활용해야 한다. 연쇄 법칙의 이론을 이해하려면
다소 복잡한 수학이 필요하므로 책에서는 깊게 설명하지 않는다. 더구나 케라스 등 머신 러닝 라 1

이브러리는 경사 하강법을 자동으로 수행하니 걱정하지 않아도 된다. 여기서는 가중치에 따른 손
실 함수의 미분(즉, 기울기)만 얻을 수 있다면 가중치를 적절히 조정할 수 있다는 점만 알아두자.
이제 파이썬 코드에 backprop 함수를 추가한다. 머신 러닝과 신경망 개론

import numpy as np

def sigmoid(x):
return 1.0/(1 + np.exp(-x))

def sigmoid_derivative(x):
return x * (1.0 - x)

class NeuralNetwork:
def __init__(self, x, y):
self.input = x
self.weights1 = np.random.rand(self.input.shape[1],4)
self.weights2 = np.random.rand(4,1)
self.y = y
self.output = np.zeros(self.y.shape)

def feedforward(self):
self.layer1 = sigmoid(np.dot(self.input, self.weights1))
self.output = sigmoid(np.dot(self.layer1, self.weights2))

def backprop(self):
# weights2와 weights1에 따른 손실 함수의 미분을 찾기 위해 연쇄 법칙을 활용한다
d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) *
sigmoid_derivative(self.output)))
d_weights1 = np.dot(self.input.T, (np.dot(2*(self.y - self.output) *
sigmoid_derivative(self.output), self.weights2.T) *
sigmoid_derivative(self.layer1)))

# 손실 함수의 미분 값을 사용해 가중치를 갱신한다
self.weights1 += d_weights1
self.weights2 += d_weights2

if __name__ == "__main__":

35

신경망교과서_07.indd 35 2020-05-19 오전 9:04:31