Page 7 -

생물의 신경 세포는 뉴런이라 불리는 세포가 서로 시냅스(수상 돌기)라는 끈으로 연결되어 있어

여러 가지를 학습하거나 생각합니다. 이와 똑같은 구조를 컴퓨터에서 재현하면 컴퓨터도 생물처
럼 무언가를 느끼거나 사물을 생각할 수 있지 않을까라는 생각에서 만들어진 것이 인공 신경망입
니다. 이것은 생체 신경망을 본떠서 만들어진 컴퓨터에서의 시뮬레이션입니다.

생체 뉴런은 수상 돌기(시냅스)를 경유해 신경 돌기로 옮겨온 신경 자극을 다른 여러 개의 생체 뉴
런에서 받고, 입력된 신경 자극이 일정 조건을 만족하면 스스로도 흥분 상태가 되어 다른 뉴런에
게 신경 자극을 발신합니다. 이때 어떤 뉴런의 신호를 좀 더 중요하게 여길지는 시냅스의 변화에

따라 학습됩니다. 즉, 학습은 시냅스의 변화에 불과하다는 것입니다.

그림 1-13 인공 뉴런
입력 가중치 활성화 함수 출력

<뉴런 모델>

인공 뉴런이란 생체 뉴런을 컴퓨터에서 다루도록 형식화한 것으로 입력 벡터 ⅹ를 받았을 때, 각각

의 입력원에 대한 가중치 벡터 w를 곱한 뒤 활성화 함수를 거쳐 출력 값을 내보냅니다. 입력 벡터
ⅹ가 생체 뉴런에서 말하는 다른 뉴런으로부터의 신경 자극 입력에 해당하고, 가중치 벡터 w는 시
냅스에 해당합니다. 활성화 함수에 관해서는 아직도 생체 뉴런이 어떤 경우에 활성화되는지 조건
이 정해져 있지 않고, 인공 뉴런에서는 여러 종류의 활성화 함수가 시도되고 있습니다. 비교적 단

순한 학습이라면 시그모이드(sigmoid) 함수라는 활성화 함수가 자주 이용되지만, 좀 더 수준 높은
학습이라면 ReLU나 Leaky ReLU 등의 활성화 함수가 이용됩니다. 이렇게 학습시키고 싶은 일
에 따라 최적의 활성화 함수가 다르므로 아직 풀어야 할 숙제가 많습니다.

인공 신경망은 인공 뉴런을 조합해서 만드는 네트워크입니다. 자주 사용되는 인공 신경망과 생체
신경망의 차이점은 항상 정보가 있는 방향에서 어떤 방향으로 흐르는 것과 일방 통행을 전제로 한
다는 점입니다.

물론 예외도 있지만 일반적인 인공 신경망이라고 하면 먼저 여러 개의 뉴런에 의해 층을 만들
고, 입력층에서 중간층을 경유해 출력층에 이르는 다층 구조를 가지고 있습니다. 또한, 이렇게

입력과 출력의 방향이 정해져 있는 인공 신경망에서의 정보(신경 자극에 해당) 전달을 순전파
(feedforward)라고 합니다.

038

deeplearing_07.indd 38 2018-04-11 오전 8:12:09