Page 9 -
P. 9
이 있는지 파악하고자 할 때 누가 이런 방법을 쓰는지 이미 알고 있지
않은가? 남편과 아내, 어머니와 아버지, 간호사와 의사가 그렇게 한다.
경험과 지식에 근거에서 그들은 열, 두통, 콧물, 복통을 다양한 질환과
연결한다. 달리 말해, 컬럼비아대학교와 마이크로소프트 연구자들은
건강을 진단할 때 누구나 사용하는 자연스럽고 명백한 방법론을 이용
해서 획기적인 연구 논문을 써냈다.
하지만 잠깐. 여기에서 잠시 속도를 늦추자. 내가 주장한 대로 최고
의 데이터 과학이 대부분 자연스럽고 직관적인 방법론을 사용한다면,
빅데이터의 가치에 관한 본질적인 의문이 하나 대두된다. 인간이 선천
적으로 데이터 과학자라면 그리고 데이터 과학이 직관적이라면, 우리
에게 왜 컴퓨터와 통계 소프트웨어가 필요한 걸까? 우리에게 왜 콜모
고로프-스미르노프 테스트가 필요한 걸까? 그냥 직관을 이용하면 되
지 않을까? 할머니나 간호사와 의사가 하듯이 하면 되지 않을까?
이런 논란은 인간의 직감이 가진 마력을 극찬한 말콤 글래드웰 Malcolm
Gladwell의 베스트셀러, 《블링크 Blink》가 출간된 이후 격화됐다. 글래드웰
은 오로지 직관에 의지해서 조각상이 진품인지, 테니스 선수가 공을
치기 전에 서브 범실이 나올지, 고객이 얼마를 지불하려 할지를 가릴
수 있는 사람들의 이야기를 꺼낸다. 《블링크》에 등장하는 영웅들은 회
귀분석을 하지도, 신뢰구간을 계산하지도, 콜모고로프-스미르노프 테
스트를 하지도 않는다. 하지만 그들은 비범한 예측을 해낸다. 많은 사
람들이 직관을 옹호하는 글래드웰의 입장을 직관적으로 지지한다. 그
들은 자신의 직관과 감각을 신뢰한다. 《블링크》의 팬들은 컴퓨터의 도
1부. 빅데이터와 스몰데이터 ‥ 046