Page 29 -

그림 3-27 결정 트리의 앙상블에 의한 랜덤 포레스트
랜덤하게 선택된 일부 데이터, 일부 변수에 대해 복수의 결정 트리를 생성한다.
결정 트리 결정 트리 결정 트리

3

각 결정 트리의 평균값으로 최종 예측 값을 결정한다.

LightGBM 캐글 경진대회 도전 ①: 타이타닉 생존자 예측

최근에는 병렬로 앙상블하는 것이 아니라 결정 트리를 순서대로 갱신해 나가는 그레이디언트 부스
팅 결정 트리(gradient boosting decision tree) 기법이 제안되었는데, 이것을 구현하는 방법 중 하나
가 바로 LightGBM입니다(그림 3-28). 참고로 그레이디언트 부스팅 결정 트리의 구현 방법에는

LightGBM과 XGBoost가 있습니다.

그림 3-28 그레이디언트 부스팅 결정 트리의 구현 방법인 LightGBM
결정 트리

이전의 결정 트리 결과를 참고하여 다음의 결정 트리를 작성한다.
결정 트리

결정 트리

131