“信息是用来消除随机不确定性嘚东西”也就是说衡量信息量和概率的关系大小就看这个信息消除不确定性的程度。

“太阳从东方升起了”这条信息没有减少不确定性因为太阳肯定从东面升起。这是句废话信息量和概率的关系为0。

“吐鲁番下中雨了”（吐鲁番年平均降水量日仅6天）这条信息比较有價值为什么呢，因为按统计来看吐鲁番明天不下雨的概率为98%（1-6/300）对于吐鲁番下不下雨这件事，首先它是随机不去确定的这条信息直接否定了发生概率为98%的事件------不下雨，把非常大概率的事情（不下雨）否定了即消除不确定性的程度很大，所以这条信息的信息量和概率嘚关系比较大这条信息的情形发生概率仅为2%但是它的信息量和概率的关系去很大，上面太阳从东方升起的发生概率很大为1但信息量和概率的关系确很小。

从上面两个例子可以看出：信息量和概率的关系的大小和事件发生的概率成反比

信息量和概率的关系度量的是一个具体事件发生所带来的信息，而熵则是在结果出来之前对可能产生的信息量和概率的关系的期望——考虑该随机变量的所有可能取值即所有可能发生事件所带来的信息量和概率的关系的期望。即

信息熵是用来衡量事物不确定性的信息熵越大，事物越具不确定性事物越複杂。

《神经网络与深度学习》邱锡鹏

发布了23 篇原创文章 · 获赞 2 · 访问量 1万+