最大熵模型算法总结

文章预览

条件概率是机器学习模型的一种表现形式，应用这一模型，对于给定的输入X，得到各输出类的概率，选择最大概率的类为输出类，如下图： 本文介绍基于条件概率分类的两种模型算法：逻辑斯蒂（logistic）回归与最大熵模型， 其中，logistic回归模型和最大熵模型分别是基于最大似然函数和熵来估计模型P(y|x)。 公众号已有logistic回归模型的文章介绍，本文重点分析最大熵模型算法。 目录 1. 最大熵模型算法 2. 最大熵模型例子 3. 最大熵模型在信号检测的应用 4. logsitic回归模型算法 5. 总结 1.最大熵模型算法 熵是衡量随机变量不确定性的指标，熵越大，随机变量的不确定性亦越大。假设X是一个离散型随机变量，其概率分布为： 随机变量X的熵定义为： 熵满足下列不等式： 式中，|X|是x的取值个数，当且仅当X的分布是均匀分布时，右边的等号成立，也就 ………………………………