那就從k-means開(kāi)始吧
對(duì)于機(jī)器學(xué)習(xí)的新手小白來(lái)說(shuō)，k-means算法應(yīng)該都會(huì)接觸到吧。傳統(tǒng)的k-means算法是一個(gè)硬聚類(lèi)（因?yàn)橐付╧這個(gè)參數(shù)啦）算法。這里利用百度的解釋
它是數(shù)據(jù)點(diǎn)到原型的某種距離作為優(yōu)化的目標(biāo)函數(shù)，利用函數(shù)求極值的方法得到迭代運(yùn)算的調(diào)整規(guī)則。K-means算法以歐式距離作為相似度測(cè)度，它是求對(duì)應(yīng)某一初始聚類(lèi)中心向量V最優(yōu)分類(lèi)，使得評(píng)價(jià)指標(biāo)J最小。算法采用誤差平方和準(zhǔn)則函數(shù)作為聚類(lèi)準(zhǔn)則函數(shù)。
看上去好難懂，實(shí)際上任務(wù)就是要聚類(lèi)，然后將相關(guān)的點(diǎn)聚成一堆嘛。這里我們可以給出k-means的核心公式
這里可以看到，實(shí)際上就是計(jì)算每個(gè)樣本點(diǎn)簇中心的距離，然后判斷出到哪個(gè)簇中心距離最短，然后分給那個(gè)簇。然后下次迭代時(shí)，簇中心就按照新分配的點(diǎn)重新進(jìn)行計(jì)算了，然后所有的點(diǎn)再同樣計(jì)算樣本點(diǎn)到簇中心的距離，重新分配到不同的簇中。所以這樣不斷迭代下去，就能夠收斂了，得到最后的聚類(lèi)效果。
加上“核”？那就成了Kernel k-means
“核”是什么
核函數(shù)的方法已經(jīng)被提出很久了，也得到了很多的推廣應(yīng)用。很多算法參進(jìn)了核函數(shù)，就變得有趣得多。核函數(shù)通常與SVM經(jīng)常結(jié)合在一起進(jìn)行使用?？偟膩?lái)說(shuō)，核函數(shù)，就是將輸入空間，映射到高維的特征空間。然后再在高維的數(shù)據(jù)同看進(jìn)行數(shù)據(jù)處理。這種映射的話，是非線性變換的，這也才能能夠?qū)⑤斎肟臻g映射出不同特征的高維空間。
當(dāng)然，要給出這種非線性運(yùn)算的確切算法，是很困難的。所以當(dāng)我們的現(xiàn)實(shí)運(yùn)算算法求解時(shí)候只用到了樣本點(diǎn)的內(nèi)積運(yùn)算時(shí)候，而在低維輸入空間中，我們有能
