KNN(K-Nearest Neighbor)

KNN에서 k는 정해줘야 합니다.
비감독학습이 아니라 감독학습입니다. 훈련 데이터에 target값이 있습니다.
분류하려는 타겟과 가장 가까이에 위치한 k개의 점을 먼저 찾아서 확인하고, 다수결로 타겟을 분류합니다.
회귀분석과 결합시키면 연속값 예측도 할 수 있습니다.
즉, 연속/비연속 등 모든 분류 문제에 적용이 가능합니다.

I : identifier함수. 괄호 안의 수식이 1이면 참 0이면 거짓
D_x : x를 중심으로 원을 그린 것. 반경집합.
argmax_v : 괄호 안 수식의 최대 변수 v를 찾는 것.

Weighted KNN
거리를 감안한 KNN 입니다.
거리의 역수나 역수의 제곱의 역수를 가중치로 두는 경우가 많습니다.
거리를 감안하지 않는 방식보다 정확도가 더 높습니다.
이 방법 역시 모든 분류 문제에 적용이 가능합니다.

분류 결과 평가 - 혼동 행렬 Confusion matrix
혼동행렬은 대각선 모양으로 숫자가 모여 있는 것이 가장 좋은 결과를 의미합니다. 대각선 모양이라는 것은 역슬래시 모양의 위치들을 말합니다.