什么时候Mahalanobis距离比欧式距离更合适？

文章预览

我们常说机器学习三大件：模型、损失函数、优化算法。 模型 ：线性回归、逻辑回归、SVM、CNN、RNN、LSTM、Transformer等等。 损失函数 ：均方误差、交叉熵、对比损失。 优化算法 ：梯度下降、Adam、RMSProp、牛顿法等等。 其中损失函数通过衡量模型预测值和真实值之间的 距离 来评估模型的好坏，并将结果反馈给优化算法来调整模型参数，以此来最小化损失函数。 常见的距离衡量包括：欧氏距离 、 曼哈顿距离 、 余弦相似度 、 KL散度等。 均方误差基于欧式距离 、 交叉熵基于KL散度 、 对比损失基于余弦相似度。 欧式距离在ML中是比较常用的，但它有个特点，就是假设所有特征之间是相互独立的，也就是它不会考虑特征之间相关性信息。  欢迎加入自动驾驶实战群 因此，如果特征是相关的，欧几里得距离将产生误导性的结果。例如，考虑下面的这个 ………………………………