KNN算法全名為k-Nearest Neighbor，就是K最近鄰的意思。
算法描述
KNN是一種分類(lèi)算法，其基本思想是采用測(cè)量不同特征值之間的距離方法進(jìn)行分類(lèi)。
算法過(guò)程如下：
1、準(zhǔn)備樣本數(shù)據(jù)集（樣本中每個(gè)數(shù)據(jù)都已經(jīng)分好類(lèi)，并具有分類(lèi)標(biāo)簽）；
2、使用樣本數(shù)據(jù)進(jìn)行訓(xùn)練；
3、輸入測(cè)試數(shù)據(jù)A；
4、計(jì)算A與樣本集的每一個(gè)數(shù)據(jù)之間的距離；
5、按照距離遞增次序排序；
6、選取與A距離最小的k個(gè)點(diǎn)；
7、計(jì)算前k個(gè)點(diǎn)所在類(lèi)別的出現(xiàn)頻率；
8、返回前k個(gè)點(diǎn)出現(xiàn)頻率最高的類(lèi)別作為A的預(yù)測(cè)分類(lèi)。
主要因素
訓(xùn)練集（或樣本數(shù)據(jù)）
訓(xùn)練集太小會(huì)誤判，訓(xùn)練集太大時(shí)對(duì)測(cè)試數(shù)據(jù)分類(lèi)的系統(tǒng)開(kāi)銷(xiāo)會(huì)非常大。
距離（或相似的衡量算法）
什么是合適的距離衡量？距離越近應(yīng)該意味著這兩個(gè)點(diǎn)屬于一個(gè)分類(lèi)的可能性越大。
距離衡量包括:
1、歐氏距離
歐幾里得度量（euclidean metric）（也稱(chēng)歐氏距離）是一個(gè)通常采用的距離定義，指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長(zhǎng)度（即該點(diǎn)到原點(diǎn)的距離）。在二維和三維空間中的歐氏距離就是兩點(diǎn)之間的實(shí)際距離。
適用于空間問(wèn)題。
2、曼哈頓距離
出租車(chē)幾何或曼哈頓距離（Manhattan Distance）是由十九世紀(jì)的赫爾曼·閔可夫斯基所創(chuàng)詞匯 ，是種使用在幾何度量空間的幾何學(xué)用語(yǔ)，用以標(biāo)明兩個(gè)點(diǎn)在標(biāo)準(zhǔn)坐標(biāo)系上的絕對(duì)軸距總和。 曼哈頓距離是歐氏距離在歐幾里得空間的固定直角坐標(biāo)系上所形成的線(xiàn)段對(duì)軸產(chǎn)生的投影的距離總和。
