出自 MBA智库百科()
(重定向自)
相对熵（Relative E
Kullback–L KLD; 信息散度; 信息增益）
　　相对熵是指两个P和Q差别的非对称性的度量。 相对熵是用来 度量使用基于Q的编码来编码来自P的平均所需的额外的比特个数。典型情况下，P表示的真实分布，Q表示数据的理论分布，分布，或P的近似分布。
　　对于离散随机变量，其概率分布P 和 Q的相对熵可按下式定义为
。即按概率P求得的P和Q的对数差的平均值。相对熵仅当概率P和Q各自总和均为1，且对于任何i皆满足Q(i) & 0及P(i) & 0时，才有。式中出现0ln0的情况，其值按0处理。
　　对于连续随机变量，其概率分布P和Q可按积分方式定义为
　 ，其中p和q分别表示分布P和Q的密度。
　　更一般的，若P和Q为集合X的概率测度，且Q关于P绝对连续|绝对连续，则从P到Q的相对熵定义为
其中，假定右侧的表达形式存在，则为Q关于P的拉东-尼科迪姆定理|R–N导数。
　　相应的，若P关于Q绝对连续|绝对连续，则
　　即为P关于Q的相对熵。
　　相对熵的值为非负数：
　　由吉布斯不等式可知，当且仅当P&=&Q时DKL(P||Q)为零。
　　尽管从直觉上相对熵是个度量|度量或距离函数, 但是它实际上并不是一个真正的度量或距离。因为相对熵不具有对称性：从分布P到Q的距离（或度量）通常并不等于从Q到P的距离（或度量）。
　　和相对熵
　　I(m) = DKL(&im | pi),
　　和相对熵
I(X;Y) = DKL(P(X,Y) |
| P(X)P(Y)) = EXDKL(P(Y | X) |
| P(Y)) = EYDKL(P(X | Y) |
　　和相对熵
H(X) = ExI(x) = logN & DKL(P(X) |
　　条件熵和相对熵
H(X | Y) = logN & DKL(P(X,Y) |
| PU(X)P(Y)) = (i)logN & DKL(P(X,Y) |
| P(X)(Y)) & DKL(P(X) |
| PU(X)) = H(X) & I(X;Y) = iilogN & EYDKLP(X | Y) |
　　交叉熵和相对熵
　　H(p,q) = Ep[ & logq] = H(p) + DKL(p | q)。
C. Bishop (2006). Pattern Recognition and Machine Learning. p. 55.
本条目对我有帮助3
&&如果您认为本条目还有待完善，需要补充新内容或修改错误内容，请。
本条目相关文档
& 7页& 5页& 4页& 6页& 7页
本条目由以下用户参与贡献
(window.slotbydup=window.slotbydup || []).push({
id: '224685',
container: s,
size: '728,90',
display: 'inlay-fix'
评论(共0条)提示:评论内容为网友针对条目"相对熵"展开的讨论，与本站观点立场无关。
发表评论请文明上网，理性发言并遵守有关规定。
以上内容根据网友推荐自动排序生成摘要: [From] /articles/INveIf 注：下文中的“桥接”、“转调”、“绑定”等词基本都是同一个概念。 log4j-over-slf4j和slf4j-log4j12是跟java日志系统相关的两个jar包，当它们同时出现在classpath下时，就
16:02 Pekkle 阅读(0) 评论(0)
摘要: [From] //some-spring-boot-features.html 1. SpringApplication SpringApplication 类是启动 Spring Boot 应用的入口类，你可以创建一个包含 mai
11:09 Pekkle 阅读(3) 评论(0)
摘要: [From] /articles/JBvQrmj 本文讲解Spring Boot基础下，如何使用 ElasticSearch，实现全文搜索。 版本须知 spring data elasticSearch 的版本与Spring boot、Elasticsea
19:07 Pekkle 阅读(3) 评论(0)
摘要: [From] /blog/2061869 上一篇文章我们成功搭建了sshd服务器，并通过3种方式登陆上了ssh。这一篇我们将用开源jar包jsch来登陆ssh服务器。 1.去官网下载最新的jar包 jsch-0.1.51.jar 2.运行官方例子 S
23:33 Pekkle 阅读(5) 评论(0)
摘要: [From] /question//answer/ 熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度
17:34 Pekkle 阅读(15) 评论(0)
摘要: 【From】 /blog/2353325 异常 ： [Errno 2] No such file or directory: 'd:\\python\\python35.zip\\lib2to3\\Grammar.txt' 问题 ： phton35.zip
22:51 Pekkle 阅读(23) 评论(0)
摘要: [From] /questions//debugging-element-is-not-clickable-at-point-error I see this only in Chrome. The full error message
17:43 Pekkle 阅读(13) 评论(0)
摘要: 按顺序来，先装上python3.5，source安装，命令是 ./configure --prefix=&你想要的路径& make make install 然后是安装pip,但是有一堆前置package要装： https://pypi.python.org/pypi/appdirs/1.4.3#d
00:18 Pekkle 阅读(4) 评论(0)
摘要: [From] http://www.jb51.net/article/42562.htm 上周提交了一个项目（内部使用的），一同事提出个BUG，说要禁用退格键（backspace或者叫后退键），因为这和他的习惯不一样，担心万一文字录入一半，他按了退格键，那整个页面的内容就白填了，然后信誓旦旦的说他做
17:44 Pekkle 阅读(2) 评论(0)
摘要: [From] /zsfx/jsjc/1181.html 在使用JavaScript做WEB键盘事件侦听捕获时，主要采用onkeypress，onkeydown，onkeyup三个事件，这三个事件执行的顺序为：onkeydown，onkeypress，...
17:23 Pekkle 阅读(2) 评论(0)
摘要: 今天是。在Linux下部署Tomcat官网下载的Tomcat 8.5，结果启动startup.sh报如下错，即使只是跑version.sh也报同样的错。 $ ./version.sh The BASEDIR environment variable is not defined...
14:51 Pekkle 阅读(2) 评论(0)
摘要: [转自] /question/051499.html Redhat在封装openssl的时候，把openssl分成了几个部分，执行码部分就是 openssl-1.0.0-27.el6.x86_64 这种包。 openss...
19:25 Pekkle 阅读(3) 评论(0)
摘要: [From] /n5.aspx 温馨提示：易贤网小编为您整理了“Windows WMIC命令使用详解(附实例)”,方便广大网友查阅！ 第一次执行WMIC命令时，Windows首先要安装WMIC，然后显示出WMIC的命令行提示符...
15:55 Pekkle 阅读(2) 评论(0)
摘要: [From] http://blog.csdn.net/ethanq/article/details/7333897 在我们开发当中，经常会用到spring框架来读取属性文件的属性值，然后使用占位符引用属性文件的属性值来简化配置以及使配置具有更高的灵活性和通用性。 如下面的属性配置文...
11:27 Pekkle 阅读(1) 评论(0)
摘要: Hibernate 4 Second Level Caching With EHCache [From] /en/tutorial/Hibernate-4-Second-Level-Caching-With-EHCache
16:59 Pekkle 阅读(1) 评论(0)
摘要: [From] http://my.oschina.net/alexgaoyh/blog/348188
16:29 Pekkle 阅读(1) 评论(0)
摘要: [From] http://blog.csdn.net/vtopqx/article/details/8522333 闲来无事测试了下Ehcache与MemCache比较，在此发现了Ehcache中一个小细节问题，以前未用心去注意过，在此特记录一下，同时也望能给需要的道友留下些益处： ...
15:43 Pekkle 阅读(3) 评论(0)
摘要: [From] /720/ 如何为代码选择开源许可证，这是一个问题。世界上的开源许可证，大概有上百种。很少有人搞得清楚它们的区别。即使在最流行的六种：GPL、BSD、MIT、Mozilla、Apache和LGPL，如何在这之中做选择，也很复杂。...
14:48 Pekkle 阅读(2) 评论(0)
摘要: [From] http://blog.csdn.net/innost/article/details/ 深入理解Android之Gradle 格式更加精美的PDF版请到：/s/z68f8l0xTYrZt 下载 Gra...
14:41 Pekkle 阅读(1) 评论(0)
摘要: [From] http://blog.csdn.net/phunxm/article/details/.Xcode IDE概览 说明：从左到右，依次是“导航窗格（Navigator）-&边列（Gutter）-&焦点列（Ribbon）-&代码编辑窗口...
10:56 Pekkle 阅读(2) 评论(0)
摘要: [From] /html/18/557.html 在使用 Selenium WebDriver 做自动化测试的时候，会经常模拟鼠标和键盘的一些行为。比如使用鼠标单击、双击、右击、拖拽等动作；或者键盘输入、快捷键使用、组合...
15:44 Pekkle 阅读(1) 评论(0)
摘要: [From] /yangfengwu/p/5205570.html 用的这款 各引脚功能：来至厂家提供的资料 GPIO0　默认是工作模式（不接线）。如果接了低电平就是下载模式（给模块刷固件！！），所以可以不接线，当然也可以接高电平...
12:21 Pekkle 阅读(6) 评论(0)
摘要: [From] http://blog.csdn.net/xiao190128/article/details/.打开一个测试浏览器 对浏览器进行操作首先需要打开一个浏览器，接下来才能对浏览器进行操作。 Java代码 import java.io.Fi...
19:13 Pekkle 阅读(2) 评论(0)
摘要: 最近使用jdbc连接oracle时报错： ORA-12505, TNS:listener does not currently know of SID given in connect descriptor The Connection descriptor used by the clien...
18:18 Pekkle 阅读(1) 评论(0)
摘要: [From] .cn/nenutechnology fg、bg、jobs、&、ctrl + z都是跟系统任务有关的，虽然现在基本上不怎么需要用到这些命令，但学会了也是很实用的 一.& 最经常被用到 这个用在一个命令的最后，可以把这个命令放到后台执行 ...
14:50 Pekkle 阅读(2) 评论(0)
摘要: [From] /kahreman/archive//2625827.html 在此笔记里，我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据。此外...
23:53 Pekkle 阅读(1) 评论(0)
摘要: [From] http://blog.csdn.net/skykingf/article/details/.删除自带的OpenJDK [python] view plain copy sudo apt-get remove default-...
15:40 Pekkle 阅读(5) 评论(0)
摘要: sudo apt-get update sudo add-apt-repository ppa:webupd8team/java sudo apt-get install oracle-java8-installer sudo apt-get install tomcat7 ...
15:39 Pekkle 阅读(2) 评论(0)
摘要: [From] http://blog.csdn.net/blade2001/article/details/ 很多人看到同样配置的VPS价格相差很大，甚是不理解，其实VPS使用的虚拟技术种类有很多，如OpenVZ、Xen、KVM、Xen和HVM与PV。在XEN中pv是半虚...
11:59 Pekkle 阅读(1) 评论(0)
摘要: [From] http://blog.csdn.net/ioriogami/article/details/. 什么是λ表达式 λ表达式本质上是一个匿名方法。让我们来看下面这个例子： public int add(int x, int y) { ...
12:14 Pekkle 阅读(3) 评论(0)
摘要: [From] http://my.oschina.net/u/1394615/blog/311307 package com.pk.web.import org.springframework.stereotype.Cimport org.sprin...
11:14 Pekkle 阅读(1) 评论(0)
摘要: [From] /mailingfeng/archive//2432687.html Servlet和filter是J2EE开发中常用的技术，使用方便，配置简单。servlet和filter中的url-pattern有一些文章在里...
00:18 Pekkle 阅读(1) 评论(0)
摘要: [From] /zhuocheng/archive//2285290.html 转自.cn/s/blog_4a9f789a0100ik3p.html 一.获得控制台用户输入的信息...
19:09 Pekkle 阅读(1) 评论(0)
摘要: public void createFile() { // path表示你所创建文件的路径 String path = &d:/tr/rt&; File f = new File(path); if (!f.exists()) { f.mkdirs(); } // fileNa...
19:05 Pekkle 阅读(1) 评论(0)
摘要: [From] .cn/u/ 1. 基本概念的理解 绝对路径：你应用上的文件或目录在硬盘上真正的路径，如：URL、物理路径 例如： c:/xyz/test.txt代表了test.txt文件的绝对路径； http:/...
18:39 Pekkle 阅读(1) 评论(0)
摘要: [From] http://blog.csdn.net/leidengyan/article/details/7514484 首先session是有一级缓存的，目的是为了减少查询数据库的时间，提高效率，一级缓存的生命周期和session是一样的， session.flush()和sess...
17:37 Pekkle 阅读(1) 评论(0)
摘要: [From] /rollenholt/archive//2790402.html 没有枚举之前： 在没有枚举之前，我们想列举一些相关的常量，我们会采用如下的方式： 1 2 3 4 inter...
10:45 Pekkle 阅读(1) 评论(0)
摘要: [From] /2051.html 最近在做OA系统（ssh），一直在想如何把框架架得更完善，此前已经在框架里集成springMVC,读写分离（这个在另一篇文章里会有说明怎么做），这几天在想如果是大数据，要分表要怎么来弄，...
15:44 Pekkle 阅读(1) 评论(0)
摘要: [转自] http://blog.csdn.net/majian_1987/article/details/8725197 LZ在项目中需要处理这样一个业务，每天都有终端设备上传GPS位置信息到服务端，服务端要把GPS位置信息保存在本地，因为每天上传的GPS数据信息会有很多， 所以要把...
15:28 Pekkle 阅读(1) 评论(0)
摘要: [转自] .cn/s/blog_7ebc1b7e0100w58e.html Table Table用来定义entity主表的name，catalog，schema等属性。 元数据属性说明： name: 表名catalog: 对应关系数据库中的...
15:17 Pekkle 阅读(1) 评论(0)