1. 熵和条件熵

对于随机变量$X$,熵为:

其中:

同样道理,对于任意随机变量$X$和$Y$,联合熵为:

基于$X$的$Y$的熵为条件熵:

2. 最大熵原理简介

最大熵原理可以表述为,在满足$k+1$个约束条件的模型集合中,选取熵$H(p)$最大的模型。约束条件为:

使用拉格朗日乘子法求解带上述有约束的极值,即:

$L(p)$对每一个$p(x)$偏导数$\frac{\partial L(p)}{\partial p(x)}$为0,即:

解得

由约束条件$\sum\limits_x p(x)=1$得:

其中

将$\eqref{eq:3}$带入约束条件$\eqref{eq:2}$中,即可解得$\lambda_j$。

3. 最大熵应用例子

根据参考资料2的例子,应用最大熵模型。例子简述为:

三种食物的售价分别为1、2和3元,平均一餐花费1.75元。

估算每种食物被购买的概率。

建立最大熵模型:

解方程得:$p(x_1) = 0.466$、 $p(x_2) = 0.318$、$p(x_3) = 0.216$

参考资料

更新记录

2017年7月15日

Comments