干货|通俗讲解高斯过程回归

文章预览

通俗讲解高斯过程回归 网上讲高斯过程回归的文章很少，且往往从高斯过程讲起， 我比较不以为然：高斯过程回归（GPR）， 终究是个离散的事情，用连续的高斯过程( GP) 来阐述，简直是杀鸡用牛刀。 所以我们这次直接从离散的问题搞起，然后把高斯过程逆推出来。 这篇博客有两个彩蛋，一个是揭示了高斯过程回归和Ridge回归的联系，另一个是介绍了贝叶斯优化具体是怎么搞的。 后者其实值得单独写一篇博客，我在这里做一个简单介绍。 先说一说高斯回归过程的Intuition 假设有一个未知的函数f  : R–> R  在训练集中，我们有3个点 x_1, x_2, x_3,   以及这3个点对应的结果，f1,f2,f3. (如图) 这三个返回值可以有噪声，也可以没有。我们先假设没有。 so far so good. 没什么 ………………………………