经典统计学直觉为何在现代机器学习中失效？

文章预览

经典统计学的直觉正在被现代机器学习颠覆！ 剑桥大学机器学习博士生Alicia Curth最近分享了一个令人深思的观点： 我们在统计学课堂上学到的许多直觉，可能并不适用于现代机器学习。 这一发现不仅解释了为什么许多统计学家对双重下降和良性过拟合等现象感到困惑，还揭示了统计学和机器学习之间的一个关键区别。 从固定设计到随机设 计：一个简单却关键的转变 Curth指出，经典统计学直觉主要来自 固定设计设置 ，关注的是 样本内预测误差 。而现代机器学习则评估的是 随机设计下的泛化误差 ，即 样本外预测误差 。这个看似简单的转变，却带来了深远的影响。 以k近邻估计器为例。在样本内预测中，1-NN估计器（即示例本身）的偏差为零。但在样本外预测中，由于新输入没有完美的训练匹配，最复杂估计器的偏差并不一定最低。 偏差-方差权 ………………………………