信道容量/信道容量
正文/信道容量
　　信道能无错误传送的最大信息率。对于只有一个和一个信宿的单用户信道，它是一个数，单位是比特每秒或比特每符号。它代表每秒或每个信道符号能传送的最大，或者说小于这个数的信息率必能在此信道中无错误地传送。对于多用户信道，当信源和信宿都是两个时,它是平面上的一条封闭线,如图中的OC1ABC2O。坐标R1和R2分别是两个信源所能传送的信息率,也就是R1和R2落在这封闭线内部时能无错误地被传送。当有m个信源和信宿时，信道容量将是m 维空间中一个凸区域的外界“面”。 信道容量　　单用户信道容量&　是由A、输出集B和条件概率P(y│x)，y∈B,x∈A所规定的。当B是离散集时，归一性要求就是 当B是连续集时,P(y│x)应理解为条件概率密度，上式就成为积分形式。如A和B都是离散集，信道所传送的信息率（每符号）就是输出符号和输入符号之间的互信息 互信息与P(y│x)有关，也与输入符号的概率P(x)有关，后者可由改变编码器来变动。若能改变P(x)使I(X;Y)最大，就能充分利用信道传输信息的能力，这个最大值就称为单用户信道容量C，即 式中∑为所有允许的输入符号概率分布的集。 　　当A或B是连续集时，相应的概率应理解为概率密度，应改为积分，其他都相仿。 　　&　多用户信道容量问题要复杂一些。以二址接入信道为例， 这种信道有两个输入 X2∈A1和X2∈A2，分别与两个信源联结,发送信息率分别为R1和R2；有一个输出Y,用它去提取这两个信源的信息。若信道的条件概率为P(y│x1,x2)，则 式中I(X1;Y│X2)为条件互信息，就是当X2已确知时从Y中获得的关于X1的信息； I（X2;Y│X1）的意义相仿；I(X1,X2;Y)为无条件互信息，就是从Y中获得的关于X1和X2的信息。E1和 E2分别为所有允许的输入符号的概率分布P1(x1)和P2(x2)的集。 　　当X1和X2相互独立时,这些条件互信息要比相应的无条件互信息大,因此两个信息率R1和R2的上界必为上面三个式子所限制。若调整P1(x1)和P2(x2)能使这些互信息都达到最大，就得到式中的C1，C2，C0。 因此R1和R2的范围将如图中的一个截角四边形区域,其外围封闭线就是二址接入信道的容量上界。m址接入信道有类似的结果。更一般的多用户的情况还要复杂。 　　要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。 　　计算&　为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x)是一函数，须用变分法求条件极值。但是对于大部分信道，这些方法常常不能得到显式的解，有时还会得到不允许的解，如求得的P(x)为负值等。为了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元对称信道和。这两种信道的容量分别为 C＝1-H(ε)（比特／符号）和 （比特／秒） 后者当F→∞时为
（比特／符号）二元对称信道的输入集和输出集都是二元集｛0,1｝,条件概率为P(0│0)＝P(1│1)＝1-ε,P(0│1)＝P(1│0)＝ε，是对称的。ε一般称为误码率或差错概率,而H(x)是，即 H(x)＝-xlog2x-(1-x)log2(1-x)高斯信道的输入集和输出集都是实数集(-∞,∞)；干扰是加性正态白噪声或称为高斯白噪声，其单边功率谱密度为N0；信道是理想低通型的，通频带为F；S是允许的输入平均功率的上限。 　　对于其他信道的容量计算曾提出过一些方法，但都有较多的限制。比较通用的解法是迭代计算，可借助计算机得到较精确的结果。运算公式是 式中　　 可先任设一组P(x)，例如等概率分布。用前一式求得各Q（x│y）,再用这些Q（x│y）代入后一式求得新的各P(x)；再用这些 P(x)代入前一式去求新的Q（x│y）；依此迭代下去,直到新的P(x)与前次的P(x)已经相等或差别小于允许值。用这时的P(x)去求I(X;Y),就是所需的信道容量C。 　　这些迭代公式也是用求极值法获得的，只是引入了反条件概率Q（x│y）作为一组新的自变量,且发现当互信息I(X;Y)取极值时，Q(x│y)恰好满足作为反条件概率的条件。这种迭代运算最后一定收敛，而误差将按迭代次数N的倒数趋向于零。也就是当N→∞时，计算误差将为零而得到精确值。当N足够大时,误差就可小于允许值。此外，只要起始所设的P(x)满足概率的非负性和归一性条件,以后运算结果不会出现P(x)大于1或小于零的情况，因此所得结果总是有效的。 　　这一公式仅适用于离散无记忆信道，对P(x)除了非负性和归一性外没有其他限制。对于连续信道，只需把输入集和输出集离散化，就仍可用迭代公式来计算。当然如此形成的离散集，包含的元的数目越多，精度越高，计算将越繁。对于中的其他量，如信息率失数，可靠性函数等，都可以用类似的方法得到的各种迭代公式来计算。&
配图/信道容量
相关连接/信道容量
万方数据期刊论文
系统工程与电子技术
万方数据期刊论文
万方数据期刊论文
&|&相关影像
互动百科的词条（含所附图片）系由网友上传，如果涉嫌侵权，请与客服联系，我们将按照法律之相关规定及时进行处理。未经许可，禁止商业网站等复制、抓取本站内容；合理使用者，请注明来源于。
登录后使用互动百科的服务，将会得到个性化的提示和帮助，还有机会和专业认证智愿者沟通。
此词条还可添加&
编辑次数：10次
参与编辑人数：9位
最近更新时间： 14:38:24
贡献光荣榜信息论与编码理论-第3章信道容量-习题解答-071102_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
信息论与编码理论-第3章信道容量-习题解答-071102
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩8页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢信息论--第四章 限失真信源编码
4．1失真测度与信息率失真函数
&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&
&&&&&& (1)
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&(4.1.3)
i=jXYYX0i≠jYXija
&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&
D(4.1.8)(4.1.7)
&&&&&&& (4.1.17)
&&&&&&&&&&&&(4.1.19)
R(D)D互信息的极小值（最小）问题。
&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
R(D)R(D)Dmax4.1.1
&&&&&&&&&&&&&&&&&&&&&&&&&&
XY=0R(D)=0(4.1.24)的下界就是Dmax
&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&
(4.1.26){p(yj)}DjDmaxp(yj)Dj
p(xi)DjDjjp(yj)性。若DsDjp(ys)=1p(yj)Dj
&&&&&&&&&&&&&&&&&&&&&&&&
【例4.1.1】 二元信源Dmax
DjD1=0.4α，D2=0.6α，
所以&&&&&&&&&
Dmax=min(D1, D2)= 0.4α。
R(D)(Dmin, Dmax)Dmin=0R(Dmin)=H(X)D≥DmaxR(D)=0Dmin&D&DmaxH(X)&R(D)&0
1.2率失真函数对允许平均失真度的下凸性
&0≤θ≤1和任意平均失真度，
&&&&&&&&&&&
4.1.1R(0)=H(X)R(Dmax)=00DmaxR(D)D→0R(D)→∞R(D)
4．2限失真信源编码定理
R(D)DR(D)的信息率低于R(D)信源编码定理，也就是通常所说的香农第三编码定理。
【4.3.1】& R(D)R& R(D)LD+εε是任意小的正数；反过来，若R& R(D)D
R&R(D)R& R(D)
R&R(D)D+ε的码肯定存在，但定理本身并未告知码的具体构造方法。一般来说，要找到满足条件的码，只能用优化的思路去寻求，迄今为止，尚无合适的系统编码方法来接近香农给出的界R(D)R& R(D)D
Dmin=0，其信道矩阵为 P=
R(0)=I(U;V)=H(w)
Dmax= =min[P(0)d(0,0)+P(1)d(1,0); P(0)d(0,1)+P(1)d(1,1)]
&&& =min[(1-w);w]=w
u=1u=0v=1u=0u=0ww
R(Dmax)=R(w)=I(UV)=0
0&D& Dmax=w
=E[d]== =P(u=0,v=1)+P(u=1,v=0)= PE
I(U;V)=H(U)-H(U|V)=H(w)-
H(X|Y)&=H(PE)+
PElog(r-1)
r=2H(X|Y)&=H(PE)= H(D)
I(U;V)&= H(w)- H(D)
DmaxR(D)E[d]&=D
I(U;V)= R(D)=H(w)-H(D)
P(u=0|v=0)=1-D
P(u=1|v=0)= D
P(u=0|v=1)= D
P(u=1|v=1)=1-D
=-[DlogD+(1-D)log(1-D)]]*=H(D)
I(U,V)=H(U)-H(U|V)=H(w)-H(D)= R(D)
4．4限失真信源编码（了解）二元对称信道-学术百科-知网空间
二元对称信道
二元对称信道
与"二元对称信道"相关的文献前10条
在有干扰(噪声)无记忆信道和有记忆信道两种情况下,运用协同学的方法研究如何分配输入概率获取二元对称离散信道最大的平均互信息.研究结果表明:对于无记忆二元对称离散信道,最大平均互信
在传统通信系统中,信源编码与信道编码是分别考虑的。但是,在实际中发现,用某种“特定”方法连接起来的最优信源编码器和信道编码器,并不一定能构成最佳通信系统。因此出现了实现通信系统整
为了优化LDPC迭代译码性能和降低算法复杂度,提出了一种改进的基于Gallager A算法的2b离散字母表迭代译码算法。在每一轮迭代中,Tanner图上的校验节点与变量节点之间所
在基于主动探针的服务故障管理中,不确定性和噪声会对服务故障管理带来影响.为了降低这种影响,分析了Internet服务故障管理中存在的问题,采用二分Bayes网络建模故障和探针之间
无条件安全密钥协商一般包括初始化、通信和决策三个阶段．该文基于纠错码理论提出了一种认证方案．该方案利用通信双方在初始阶段所获得的相关信息对通信阶段的通信内容进行认证．如果初始阶段
从N元信道出发,讨论了在有干扰情况下对称信道中信息传输的基本模型,并从接收端的角度计算了信道平均互信息量。利用信道的对称性,很容易避开复杂的定义式,找到较为简单的计算途径。这里以
EBPSK是一类不对称的二元相移键控调制技术,即在码元周期T内的键控调制时段τT,对其引入信道编码后的系统性能尚未揭示。首次在EBPSK系统中引入RS信道编码以及分组交织、卷积交
量子纠错码在量子通信和量子计算中起着非常重要的作用,之前的量子纠错码的构造大部分都是利用经典的纠错码来构造得到,如Hamming码,BCH码,RS码,Reed-Muller码等各
主要介绍了基于二元离散无记忆信道的极化码的构造以及相关性质。极化码不但能够在离散对称信道的条件下达到系统的对称容量,而且编译码的复杂度和码字长度几乎呈线性关系,即当码字长度为N时
卫星信道模型是实现无条件安全的实用的模型之一,然而该模型却存在接收同步、通信成本高等缺点。为克服这些缺点,提出了虚拟卫星信道模型。该模型使用虚拟二元对称信道来实现对卫星信道的模拟
"二元对称信道"的相关词
快捷付款方式
订购知网充值卡
<font color="#0-819-9993
<font color="#0-
<font color="#0-学班教教师 题 纸命卷试 学大峡三2007 ― 2008 学年第 二 学期
《信息论与编码》课程考试试卷A参考答案
注意：1、本试卷共
2、考试时间120分钟
………………… ……一、（11’）填空题 …….…
……（1） 1948年，美国数学家
发表了题为“通信的数学理论”的长篇论文，从而
…创立了信息论。 线 （2） 必然事件的自信息是
封（3） 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍
密（4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
过（5） 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，
则编码长度至少为
超 （6） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是
。 要（7） 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，
不最多能纠正___1__个码元错误。
题（8） 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大
试于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意…小。
…（9） 平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码
……方法___有关
……二、（9?）判断题
…（1） 信息就是一种消息。
……（2） 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可
…（3） 概率大的事件自信息量大。
） ……（4） 互信息量可正、可负亦可为零。
…（5） 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （
（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数.
三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%
是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我
们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则
p(B|A)=0.75
p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375
I(A|B)=-log0.375=1.42bit
四、（5?）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY)
I?X;Y????p?x?j?
xy?j?logp?xi??????p?xiyj?logp?xiyj?
?H?X??H?XY?
I?X;Y??H?Y??H?
学师教教 题 纸命卷试 学大峡三
?H?Y??I?X;Y? ………因为
H?XY??H?X??H?YX?
（1分） ………故
………H?XY??H?X??H?Y??I?X;Y?
I?X;Y??H?X??H?Y??H?XY?
五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符
号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H?X?； 2） 假设黑白消息出现前后有关联，其依赖关系为
，求其熵H??X?。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解：1）信源模型为
2）由题意可知该信源为一阶马尔科夫信源。
（2分） 由
得极限状态概率
1?1?log2?0.1192
（1分） ?2?1?
log?0.44722
?2??1。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是
反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
六、（18’）.信源空间为
??X??xx2x3x4x5x6x7?
?P(X)????1
0.20.190.180.170.150.10.01
?，试分别构?
造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
…………………….………….………………试
号班学师教教 题 纸命卷试 学大峡三
……………………………….…………线
L??p(ai)li?3.14
3.?0.831 要
试……………….………….……………………
?1/21/31/6?
七（6’）.设有一离散信道，其信道传递矩阵为??1/61/
?1/31/61/2????
2)?2，试分别按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平?1??
均错误概率。
1）（3分）最小似然译码准则下，有，
2）（3分）最大后验概率准则下，有，
八（10?）.二元对称信道如图。
1）若p?0??
34，p?1??1
，求H?X?、H?X|Y?和I?X;Y?； 2）求该信道的信道容量。
解：1）共6分
H?X|Y??0.749bit/符号
（3分）此时输入概率分布为等概率分布。（1分）
设一线性分组码具有一致监督矩阵
H??011001?
1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
解：1）n=6,k=3,共有8个码字。（3分）
??C5C4C3C2C1C0?由HCT?0T得
C2?C1?C0?0?C4?C3?C0?0?
?C3?C1?C0?0
令监督位为
?C2C1C0?，则有
?C?1?C5?C4
??0011?生成矩阵为??
（2分） 3）所有码字为，，1000。（4分） 4）由ST
S??101?，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）