KNN算法全名為k-Nearest Neighbor，就是K最近鄰的意思。
算法描述
KNN是一種分類算法，其基本思想是采用測(cè)量不同特征值之間的距離方法進(jìn)行分類。
算法過(guò)程如下：
1、準(zhǔn)備樣本數(shù)據(jù)集（樣本中每個(gè)數(shù)據(jù)都已經(jīng)分好類，并具有分類標(biāo)簽）；
2、使用樣本數(shù)據(jù)進(jìn)行訓(xùn)練；
3、輸入測(cè)試數(shù)據(jù)A；
4、計(jì)算A與樣本集的每一個(gè)數(shù)據(jù)之間的距離；
5、按照距離遞增次序排序；
6、選取與A距離最小的k個(gè)點(diǎn)；
7、計(jì)算前k個(gè)點(diǎn)所在類別的出現(xiàn)頻率；
8、返回前k個(gè)點(diǎn)出現(xiàn)頻率最高的類別作為A的預(yù)測(cè)分類。
主要因素
訓(xùn)練集（或樣本數(shù)據(jù)）
訓(xùn)練集太小會(huì)誤判，訓(xùn)練集太大時(shí)對(duì)測(cè)試數(shù)據(jù)分類的系統(tǒng)開銷會(huì)非常大。
距離（或相似的衡量算法）
什么是合適的距離衡量？距離越近應(yīng)該意味著這兩個(gè)點(diǎn)屬于一個(gè)分類的可能性越大。
距離衡量包括:
1、歐氏距離
歐幾里得度量（euclidean metric）（也稱歐氏距離）是一個(gè)通常采用的距離定義，指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長(zhǎng)度（即該點(diǎn)到原點(diǎn)的距離）。在二維和三維空間中的歐氏距離就是兩點(diǎn)之間的實(shí)際距離。
適用于空間問(wèn)題。
2、曼哈頓距離
出租車幾何或曼哈頓距離（Manhattan Distance）是由十九世紀(jì)的赫爾曼·閔可夫斯基所創(chuàng)詞匯 ，是種使用在幾何度量空間的幾何學(xué)用語(yǔ)，用以標(biāo)明兩個(gè)點(diǎn)在標(biāo)準(zhǔn)坐標(biāo)系上的絕對(duì)軸距總和。 曼哈頓距離是歐氏距離在歐幾里得空間的固定直角坐標(biāo)系上所形成的線段對(duì)軸產(chǎn)生的投影的距離總和。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式