【学习】通俗理解条件熵

文章预览

点击上方 “机器学习研究会” 可以订阅哦 摘要   转自：自然语言处理与机器学习 前面我们总结了信息熵的概念 通俗理解信息熵 ,这次我们来理解一下条件熵。 1 信息熵以及引出条件熵 我们首先知道信息熵是 考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是： 定义为X给定条件下，Y的条件概率分布的熵对X的数学期望 这个还是比较抽象，下面我们解释一下： 设有随机变量（X,Y），其联合概率分布为 条件熵H（Y|X）表示在 已知随机变量X的条件下随机变量Y的不确定性。 随机变量X给定的条件下随机变量 Y的条件熵H(Y|X) 2 公式 下面推导一下条件熵的公式： 3 注意 注意， 这个条件熵， 不 ………………………………