고객 분류 · 구매이력 분석,
생활 속 알고리즘 이해

지난호에 이어 분류, 회귀, 예측 모델 등에서 가장 많이 사용되는 ‘서포트 벡터 머신’, ‘의사결정 나무’, ‘랜덤 포레스트’ 세 가지 머신러닝 알고리즘을 소개하려 한다. 모든 알고리즘은 복잡한 수학 공식과 통계 지식이 기반에 깔려 있는 만큼 완벽하게 이해하기 어려울 수 있다. 그러나 AI 시대에 낙오되지 않으려면 기본 알고리즘의 개념, 의미, 활용법 정도는 숙지하는 것이 좋다.

먼저 소개할 알고리즘은 서포트 벡터 머신(Support Vector Machine ; 이하 SVM)이다. SVM은 기본적으로 지난호에 다뤘던 최근접 이웃분류(K-NN) 알고리즘과 동일하게 지도학습의 개념을 갖는다. 여러 개의 그룹들로 구성된 데이터를 가장 최적화된 구분선을 통해 그룹핑하는 방식으로, 가장 유명하고 많이 사용되는 알고리즘 중 하나라 할 수 있다.

스팸메일 구분 등에 SVM 활용

SVM 알고리즘에서 가장 중요한 용어는 ‘초평면(Hyperplane)’으로, 이는 두 개의 데이터 그룹을 가장 최적의 경로로 나누는 분리선을 의미한다. 2차원적인 데이터를 분리하려면 직선이 필요한데, 직선이 한쪽으로 치우치면 데이터에 변동이나 오류가 있어도 제대로 구분할 수 없다. 이를 막기 위해 마진(margin)이라는 개념이 사용된다. <도표 1>에서 볼 수 있듯 두 가지 데이터 그룹의 경계를 지우는 각각의 선을 서포트 벡터(Support Vector)라고 부른다. 그리고 두 개의 서포트 벡터 사이의 공간이 마진이다. 가장 최적의 구분선을 그린다는 의미는 바로 이 서포트 벡터들의 마진을 최대화하는 선을 그린다는 개념이다. 그리고 이 마진을 최대화하면서 그 사이의 명확한 경계선을 그리는 것이 초평면이 된다.

하지만 대부분의 경우 주어진 샘플을 완벽하게 두 가지 그룹으로 선형분리하기는 어렵다. 실제적인 환경의 데이터들은 일부 겹치거나 아웃라이어(Outlier ; 이상치)가 존재해 다른 그룹의 데이터와 섞이기...기사전문보기