机器学习理论（一）k近邻算法

主要观点总结

KNN(k-Nearest Neighbors)是一种简单的机器学习算法，适用于初学者了解机器学习算法的应用流程。该算法主要基于距离计算，通过选取距离最近的k个点进行投票决策。文章首先介绍了KNN的基本思想，并展示了简单的实现过程。接着，通过数据集分割、KNN分类器创建和测试，对KNN算法进行了实际应用。此外，文章还探讨了KNN的超参数选择，包括k值、距离计算方式和距离的类型，最后给出了相关的资源下载和交流群信息。

关键观点总结

关键观点1: KNN基本概念

KNN是一种基于距离计算的分类算法，适用于初学者了解机器学习算法的应用流程。

关键观点2: KNN实现过程

KNN算法首先创建好数据集，然后计算新数据点与训练集中所有点的距离，选取距离最近的k个点进行投票决策。

关键观点3: 数据集分割

在实际应用中，需要将数据集分割为训练集和测试集，以评估模型的性能。

关键观点4: KNN分类器创建和测试

使用KNN分类器对训练集进行拟合，然后对测试集进行预测，评估模型的准确性。

关键观点5: 超参数选择

KNN算法中重要的超参数包括k值、距离计算方式和距离的类型，这些参数的选择对模型性能有显著影响。

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 前言 KNN(k-Nearest Neighbors)思想简单，应用的数学知识几乎为0，所以作为机器学习的入门非常实用、可以解释机器学习算法使用过程中的很多细节问题。能够更加完整地刻画机器学习应用的流程。 首先大致介绍一下KNN的思想，假设我们现在有两类数据集，一类是红色的点表示，另一类用蓝色的点表示，这两类点就作为我们的训练数据集，当有一个新的数据绿色的点，那么我们该怎么给这个绿色的点进行分类呢？ 一般情况下，我们需要先指定一个k，当一个新的数据集来临时，我们首先计算这个新的数据跟训练集中的每一个数据的距离，一般使用欧氏距离。 然后从中选出距离最近的k个点，这个k一般选取为奇数，方便后面投票决策。在k个点中根据最多的确定新的数据属 ………………………………