摘要：起步本章介紹如何自行構(gòu)造分類器，這個(gè)分類器的實(shí)現(xiàn)上算是比較簡(jiǎn)單的了。不過這可能需要你之前閱讀過這方面的知識(shí)。在預(yù)測(cè)函數(shù)中，需要依次計(jì)算測(cè)試樣本與數(shù)據(jù)集中每個(gè)樣本的距離。篩選出前個(gè)，采用多數(shù)表決的方式。測(cè)試還是使用中提供的虹膜數(shù)據(jù)。

本章介紹如何自行構(gòu)造 KNN 分類器，這個(gè)分類器的實(shí)現(xiàn)上算是比較簡(jiǎn)單的了。不過這可能需要你之前閱讀過這方面的知識(shí)。

前置閱讀

分類算法之鄰近算法:KNN（理論篇）

分類算法之鄰近算法:KNN（應(yīng)用篇）

關(guān)于距離的測(cè)量方式有多種，這邊采用歐拉距離的測(cè)量方式:

$$ d(x,y) = sqrt{sum_{i=0}^n(x_i-y_i)^2} $$

對(duì)應(yīng)的 python 代碼:

import math
def euler_distance(point1: list, point2: list) -> float:
    """
    計(jì)算兩點(diǎn)之間的歐拉距離，支持多維
    """
    distance = 0.0
    for a, b in zip(point1, point2):
        distance += math.pow(a - b, 2)
    return math.sqrt(distance)

import collections
import numpy as np
class KNeighborsClass(object):
    def __init__(self, n_neighbors=5):
        self.n_neighbors = n_neighbors

    def fit(self, data_set, labels):
        self.data_set = data_set
        self.labels = labels

    def predict(self, test_row):
        dist = []
        for v in self.data_set:
            dist.append(euler_distance(v, test_row))
        dist = np.array(dist)
        sorted_dist_index = np.argsort(dist) # 根據(jù)元素的值從大到小對(duì)元素進(jìn)行排序，返回下標(biāo)

        # 根據(jù)K值選出分類結(jié)果, ["A", "B", "B", "A", ...]
        class_list = [ self.labels[ sorted_dist_index[i] ] for i in range(self.n_neighbors)]
        result_dict = collections.Counter(class_list)   # 計(jì)算各個(gè)分類出現(xiàn)的次數(shù)
        ret = sorted(result_dict.items(), key=lambda x: x[1], reverse=True) # 采用多數(shù)表決，即排序后的第一個(gè)分類
        return ret[0][0]

這個(gè)分類器不需要訓(xùn)練，因此在 fit 函數(shù)中僅僅保存其數(shù)據(jù)集和結(jié)果集即可。在預(yù)測(cè)函數(shù)中，需要依次計(jì)算測(cè)試樣本與數(shù)據(jù)集中每個(gè)樣本的距離。篩選出前 K 個(gè)，采用多數(shù)表決的方式。

還是使用 sklearn 中提供的虹膜數(shù)據(jù)。

if __name__ == "__main__":
    from sklearn import datasets
    iris = datasets.load_iris()
    knn = KNeighborsClass(n_neighbors=5)
    knn.fit(iris.data, iris.target)
    predict = knn.predict([0.1, 0.2, 0.3, 0.4])
    print(predict)  # output: 1