K邻算法（k-Nearest Neighbor）是最常用也是最简单的机器学习算法之一。

关于该算法正式的表述是：如果一个样本在特征空间中的K个最相似（特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别的样本的特性。

通俗点说，就是近朱者赤近墨者黑，你周围的狐朋狗友多数属于哪一类人，你大概率也属于这一类人。具体说就是，找到跟你关系最近的K个朋友，看看他们是哪一类人（喜欢打什么游戏、是学霸还是学渣等）

在KNN中，通过计算对象间距离来为各个对象之间的非相似性指标，距离一般采用欧式距离或曼哈顿距离。在K个对象中投票表决进行决策。

在scikit-learn中KNN的类是 KNeighborsClassifier，下面以经典的鸢尾花数据集做个案例实验

 1 # 从sklearn 导入KNeighborsClassifier方法
 2 from sklearn.neighbors import KNeighborsClassifier
 3 import numpy as np
 4 from pandas import read_csv
 5 #导入鸢尾花集数据
 6 filename = 'data/iris/iris.data.csv' 
 7 names = ['separ-length','separ-width','petal-length','petal-width','class'] 
 8 dataset = read_csv(filename, names=names)
 9 from sklearn.model_selection import train_test_split
10 from sklearn.metrics import accuracy_score 
11  
12 #分离数据集
13 array = dataset.values 
14 X = array[:,0:4]
15 Y = array[:,4] 
16 validation_size = 0.2 
17 seed = 7 
18 X_train,X_validation,Y_train,Y_validation = \
19 train_test_split(X, Y, test_size=validation_size, 
20 random_state=seed)
21  
22  
23 #定义数据集
24 model = KNeighborsClassifier(n_neighbors=3, algorithm='ball_tree')
25 #KNeighborsClassifier(algorithm='ball_tree', leaf_size=30, metric='minkowski',,metric_params=None, n_jobs=None, n_neighbors=4, p=2,,weights='uniform')
26 model.fit(X_train, Y_train)
27  
28  
29 # 预测
30 print(model.predict([[4.7, 3.2,1.3,0.2]]))  # 输出某个具体数据的分类结果
31 print(model.predict_proba([[4.7, 3.2,1.3,0.2]]))  # 预测属数据于各个标签的概率
32 print(model.score(X, Y))  # 输出模型训练结果准确率

打印结果如下：

1 ['Iris-setosa']  #预测输入的数据属于 Iris-setosa 这一种鸢尾花
2 [[1. 0. 0.]]     #预测属于三种鸢尾花的概率分别为 1，0， 0，就是比较笃定地认为属于第一种了。
3 0.96             #在测试集上整体的预测准确率为0.96