Page 30 -

오토인코더 개념을 이해했다면 이번에는 수학적으로 접근해 보겠습니다. 미리 이야기하지만 수학
적 접근은 언제나 어렵게 느껴질 수 있습니다. 따라서 한 번 읽어 보고 이해하기 어려운 부분들이
있다면 인공지능 수학 관련 도서를 참고하기 바랍니다.

d
입력 x와 출력 y는 같은 차원(R )에 존재한다는 가정하에 입력 데이터를 인코더 네트워크에 통과
4
시켜 압축된 잠재 벡터 z 값을 얻습니다. 이때 z를 구하는 공식은 다음과 같습니다.

z = h(x)

압축된 z 벡터에서 입력 데이터와 크기가 같은 출력 값은 다음과 같이 계산합니다.

y = g(z) = g(h(x))

이때 손실(loss) 값은 입력 값 x와 디코더를 통과한 y 값의 차이로 다음과 같이 계산합니다.

Loss = ∑ Lx gh x(, (( )))
xD∈
= || xy || 2
−

즉, 디코더 네트워크를 통과한 출력 값은 입력 값의 크기와 같아야 합니다.

그림 13-4 오토인코더의 인코더와 디코더
ਫ਼੤ ߭ఠ z z = h ( ) x ∈ R d
13

ੋ௏؊ h(x) ٣௏؊ g(z) 생성 모델

ੑ۱ x ୹۱ y y = g ( )z = g ( ( ))h x
ࣚप ੤ҳࢿ L(x, y)

Loss = ∑ L ( , ( ( )))x g h x
x D∈

오토인코더가 중요한 이유는 다음 세 가지 때문입니다.

1. 데이터 압축: 데이터 압축은 메모리 측면에서 상당한 장점입니다. 오토인코더를 이용하여 이미
지나 음성 파일의 중요 특성만 압축하면 용량도 작고 품질도 더 좋아집니다.

4 잠재 공간에 위치한 벡터를 잠재 벡터라고 하며, 잠재 공간상의 점 하나를 표현 벡터(representation vector)라고 합니다.
685