機器學習
Gssol
20170620 星期二
1 機器學習概念
機器學習，通常的機器指的是“計算機”，機器學習就是讓計算機自己學習。最主要的思想是“統(tǒng)計”和“分類”。
通常的是給計算機一些指令，然后計算機進行處理；而機器學習主要是分析數(shù)據(jù)，產(chǎn)生模型，進而進行預測。
“等人事件”： 例如和某人有約，但不知道對方到達時間我們可以根據(jù)對方平時的到達情況來判斷自己什么出門等待的時間最少。我們是根據(jù)之前的情況來進行分析，利用機器學習，讓計算機自己統(tǒng)計之前的數(shù)據(jù)進行分析，從而對本次情況進行預測?？梢岳脹Q策樹來處理等人問題。當然天氣、堵車情況也會對結果造成影響，暫不考慮。
“分類事件”：對垃圾郵件進行分類，找出某種鳥（對鳥類進行分類）
2 監(jiān)督學習與無監(jiān)督學習
監(jiān)督學習：必須知道預測什么，即目標變量的分類信息。需要將實例數(shù)據(jù)劃分到合適的分類中，然后進行回歸，產(chǎn)生曲線，進而預測數(shù)據(jù)。
無監(jiān)督學習：數(shù)據(jù)沒有類別信息，也不會給定目標值。將數(shù)據(jù)集合分成由類似的對象組成的多個類的過程稱為聚類，將尋找描述數(shù)據(jù)統(tǒng)計值的過程稱為密度估計，還可以減少數(shù)據(jù)特征的維度，更加直觀地顯示數(shù)據(jù)信息。
3 k-近鄰算法
k-近鄰算法
Pros：精度高、對異常值不敏感、無數(shù)據(jù)輸入設定
Cons：計算復雜度高、空間復雜度高
Works with:數(shù)值型和標稱型
3.1 電影題材分類問題
判斷一部未知電影是愛情片還是戰(zhàn)爭片，我們可以統(tǒng)計接吻次數(shù)和打斗次數(shù)來進行判斷。
下面是六部電影的統(tǒng)計情況，？位需要判斷的電影。
可以通過計算未知電影與已知的六部電影之間的距離，然后找出距離最小的前k位(通常k<20),再進行判斷。
用python寫的代碼如下：
from numpy import *import operatordef createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B'] return group,labels# 用于分類的輸入向量inX# 輸入的訓練樣本集dataSet# 標簽向量位 labels# k表示用于選擇最近鄰居的數(shù)目def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] #計算距離
diffMat =tile(inX, (dataSetSize,1)) - dataSet #差
sqDiffMat = diffMat**2 #平方
sqDistances = sqDiffMat.sum(axis=1) #和
distances = sqDistances**0.5 #開方
#選擇距離最小的k個點
sortedDistIndicies = distances.argsort()
classCount={} for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
sortedClassCount = sorted(classCount.items(),
key = operator.itemgetter(1),reverse = True) return sortedClassCount[0][0]計算具體公式：
cd是進入到存放目錄
3.2 改進約會網(wǎng)站的配對效果
from numpy import *import operatordef createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B'] return group, labelsdef classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort()
classCount = {} for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.iteritems(),
key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]def file2matrix(filename):
#得到文件行數(shù)
fr = open(filename)
arrayOLine = fr.readlines()
numberOfLines = len(arrayOLine) #創(chuàng)建返回的Numpy矩陣
returnMat = zeros((numberOfLines, 3))
classLabelVector = []
index = 0
#解析文件數(shù)據(jù)列表
for line in arrayOLine:
line = line.strip()
listFromLine = line.split('\t')
returnMat[index, :] = listFromLine[0: 3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat, classLabelVector
在終端上的命令行代碼：
Last login: Tue Jun 20 09:48:10 on consolebogon:~ shasha$ cd PycharmProjects/testbogon:test shasha$ python
Python 2.7.10 (default, Oct 23 2015, 19:19:21)
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.>>> import kNN>>> group,labels=kNN.createDataSet()>>> group
array([[ 1. , 1.1],
[ 1. , 1. ],
[ 0. , 0. ],
[ 0. , 0.1]])>>> labels
['A', 'A', 'B', 'B']>>> kNN.classify0([0,0],group,labels,3)'B'>>> import kNN>>> reload(kNN)
<module 'kNN' from 'kNN.pyc'>>>> datingDataMat,datingLabels=kNN.file2matrix('datingTestSet2.txt')>>> datingDataMat
array([[ 4.09200000e+04, 8.32697600e+00, 9.53952000e-01],
[ 1.44880000e+04, 7.15346900e+00, 1.67390400e+00],
[ 2.60520000e+04, 1.44187100e+00, 8.05124000e-01],
...,
[ 2.65750000e+04, 1.06501020e+01, 8.66627000e-01],
[ 4.81110000e+04, 9.13452800e+00, 7.28045000e-01],
[ 4.37570000e+04, 7.88260100e+00, 1.33244600e+00]])>>> import matplotlib>>> import kNN>>> datingDataMat,DatingLabels = kNN.file2matrix('datingTestSet2.txt')>>> import matplotlib>>> import matplotlib.pyplot as plt>>> fig=plt.figure()>>> ax=fig.add_subplot(111)>>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
<matplotlib.collections.PathCollection object at 0x10ef7de90>>>> plt.show()約會網(wǎng)站的數(shù)據(jù)：
（存放數(shù)據(jù)時放在和kNN同一個目錄下面）
anytime you feel the pain.hey,refrain.don't carry the world upon your shoulders
分類: 機器學習
標簽: 機器學習, k近鄰算法, 約會問題優(yōu)化
http://www.cnblogs.com/gaoss/p/7054222.html
延伸閱讀
- 學習、實踐。再學習，再實踐 2023-04-15
- 從0到0.5，堅持學習 2022-09-08
- 來萬碼學習，是我最正確的選擇 2022-09-07
- 云筆記 2022-07-13
- 學習與實踐 2022-06-24
- 學習——工作——再學習 2021-06-01
- 不斷學習，才能不斷進步 2021-05-19
- 此生難忘的一次學習 2020-06-11
- 我的學習之路 2019-11-24
- 互相學習，共同進步——劉*洵 2019-11-06
學習、實踐。再學習，再實踐