MCMC确定机器学习集成模型最佳权重

文章预览

作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习，深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础。 MCMC采样 马尔科夫链 马尔科夫链假设某一时刻状态转移的概率只依赖于它的前一个状态。举个形象的比喻，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 如果用精确的数学定义来描述，则假设我们的序列状态是... ，那么我们的在时刻Xt+1状态的条件概率仅仅依赖于时刻Xt即： 既然某一时刻状态转移的概率只依赖于它的前一 ………………………………