信道容量

Report
“如果我们只做能
力范围以内的事,
则永远没有进步。”
-爱迪生
2015/4/8
1
第四章 信道容量
内容提要
信道对于信息率的容纳并不是无限制的
,它不仅与物理信道本身的特性有关,还与
信道输入信号的统计特性有关,它有一个极
限值,即信道容量,信道容量是有关信道的
一个很重要的物理量。这一章研究信道,研
究在信道中传输的每个符号所携带的信息量
,并定义信道容量。
2015/4/8
2
4 信道容量



信道的功能:以信号形式传输和存储信息。
信道传输信息的速率:与物理信道本身的特性、载荷信息的信号形式
和信源输出信号的统计特性有关。
信道容量研究内容:在什么条件下,通过信道的信息量最大。
4.1 信道的数学模型和分类
4.2 单符号离散信道的信道容量
4.3 多符号离散信道
4.4 多用户信道
4.5 连续信道
4.6 信道编码定理
2015/4/8
3
引言

什么是信道?


信道的作用


信道是传送信息的载体——信号所通过的通道。信息是抽象
的,信道则是具体的。比如:二人对话,二人间的空气就是
信道;打电话,电话线就是信道;看电视,听收音机,收、
发间的空间就是信道。
在信息系统中信道主要用于传输与存储信息,而在通信系统
中则主要用于传输。
研究信道的目的

在通信系统中研究信道,主要是为了描述、度量、分析不同
类型信道,计算其容量,即极限传输能力,并分析其特性。
2015/4/8
4
4.1 信道的数学模型和分类
(1) 一般信道的数学模型
(2) 信道的分类
(3) 实际的信道
2015/4/8
5
(1) 一般信道的数学模型
① 信道的输入输出关系
② 一般信道的数学模型
2015/4/8
6
① 信道的输入输出关系



信号在信道中传输会引入噪声或干扰,它使信号
通过信道后产生错误和失真;
信道的输入和输出之间一般不是确定的函数关系,
而是统计依赖关系;
知道了信道的输入信号、输出信号以及它们之间
的依赖关系,信道的全部特性就确定了。一般来说,
输入和输出信号都是广义的时间连续的随机信号,可用随
机过程来描述。
2015/4/8
7
② 一般信道的数学模型



信道的一般数学模型如下图所示
数学模型的数学符号表示 {X P(Y/X) Y}
实际信道带宽总是有限的,所以输入和输出信号总可以分
解成随机序列来研究。随机序列中每个随机变量的取值可以是可
数的离散值,也可以是不可数的连续值。
X
P(Y/X)
Y
图3.1.1 一般信道的数学模型
2015/4/8
8
(2) 信道的分类
① 根据输入输出随机信号的特点分类
② 根据输入输出随机变量个数的多少分类
③ 根据输入输出个数分类
④ 根据信道上有无干扰分类
⑤ 根据信道有无记忆特性分类
2015/4/8
9
① 根据输入输出随机信号的特点分类



离散信道:输入、输出随机变量都取离散值。
连续信道:输入、输出随机变量都取连续值。
半离散/半连续信道:输入变量取离散值而输
出变量取连续值,或反之。
2015/4/8
10
② 根据输入输出随机变量个数的多少分类


单符号信道:输入和输出端都只用一个随机变量
来表示。
多符号信道:输入和输出端用随机变量序列/随机
矢量来表示。
2015/4/8
11
③ 根据输入输出个数分类


单用户信道:只有一个输入和一个输出的信道。
多用户信道:有多个输入和多个输出的信道。
2015/4/8
12
④ 根据信道上有无干扰分类

有干扰信道:存在干扰或噪声或两者都有的信
道。实际信道一般都是有干扰信道。

无干扰信道:不存在干扰或噪声,或干扰和噪
声可忽略不计的信道。计算机和外存设备之间的信道
可近似看作是无干扰信道。
2015/4/8
13
⑤ 根据信道有无记忆特性分类

无记忆信道:输出仅与当前输入有关,而与过
去输入无关的信道。

有记忆信道:信道输出不仅与当前输入有关,
还与过去输入和(或)过去输出有关。
2015/4/8
14
2015/4/8

明线


对称平衡电缆(市内)


固体介质电缆小同轴(长途)



中同轴(长途)





长波



中波

短波



超短波



移动


1  传输媒介类型空气介质



视距接力

微波 
对流层


散射

电离层





卫星



光波


波导
混合介质


光缆




15

离散
无记忆


连续
信号类型


半离散

有记忆


半连续

无干扰:干扰少到可忽略;




无源热噪声
2〉信号与干扰类型





线性叠加干扰
有源散弹噪声



脉冲噪声

干扰类型



有干扰 

交调



乘性干扰 衰落





码间干扰






恒参信道(时不变信道)
3〉信道参量类型
变参信道(时变信道)
二用户信道(点对点通信)
4〉用户类型
多用户信道(通信网)
2015/4/8
16
(3) 实际的信道


实际信道的带宽总是有限的,所以输入和输出信
号总可以分解成随机序列来研究。
一个实际信道可同时具有多种属性。
最简单的信道是单符号离散信道。
2015/4/8
17
4.2 单符号离散信道的信道容量
4.2.1 信道容量定义
4.2.2 几种特殊离散信道的信道容量
4.2.3 离散信道容量的一般计算方法
2015/4/8
18
4.2.1 信道容量定义
(1) 单符号离散信道的数学模型
(2) 信息传输率
(3) 信道容量
(4) 信道基本符号
(5) 结论
2015/4/8
19
(1) 单符号离散信道的数学模型
① 信道模型
② 信道统计特性
2015/4/8
20
① 信道模型


设输入X∈{x1,x2,…,xi,…,xn}
输出Y∈{y1,y2,…,yj,…,ym}
其信道模型如下图所示。
2015/4/8
21
② 信道统计特性




信道统计特性描述:由信道转移概率描述。
信道转移概率/信道传递概率:条件概率p(yj /xi)。
信道特性表示:用信道转移概率矩阵,简称信道矩阵。
反信道矩阵:由条件概率p(xi /yj)表示。
2015/4/8
22
(2) 信道的信息传输率

定义: 消息在信道的传输过程中,单位时间
内所传输的信息量,称为消息在信道中的信
息传输速率,简称为信息率,通常用R表示。


2015/4/8
当信息量单位用比特、时间单位为码元或符号
或符号序列等所占用的时间时,信息传输速率
的量纲为比特/码元(或比特/符号、比特/符号
序列等),通常用R表示;
当信息量单位用比特、时间单位为秒时,信息
传输速率的量纲为 bit/s 或bps(bit per
second),通常用Rt表示。
23
(2) 信道的信息传输率


消息在无扰离散信道上传输不会损失信息量,
所以在这种信道上的信息传输速率就等于信
源的时间熵,即
Rt = Ht
bit/s
平均互信息量实质上就是量纲为比特/码元
(或比特/符号、比特/符号序列等)的信息
传输速率。如果改变其时间单位,则有
1
Rt  I ( X; Y)
t
t为1码元(或符号、符号序列等)所占用的时间,主
单位为s。
2015/4/8
24
(2) 信道的信息传输率




如果信源熵为H(X),希望在信道输出端接收的信息量就
是H(X),由于干扰的存在,一般只能接收到I(X;Y)。
信道的信息传输率:就是平均互信息 R=I(X;Y)。
输出端Y往往只能获得关于输入X的部分信息,这是由于
平均互信息性质决定的:I(X;Y)≤H(X)。
I(X;Y)是信源输入概率分布p(xi)和信道转移概率p(yj /xi)的
二元函数:
2015/4/8
25
(3) 信道容量


当信道特性p(yj /xi)固定后,I(X;Y)随信源概率分布p(xi)的变化而变化。
调整p(xi),在接收端就能获得不同的信息量。由平均互信息的性质已
知,I(X;Y)是p(xi)的上凸函数,因此总能找到一种概率分布p(xi)(即某
一种信源),使信道所能传送的信息率为最大。

信道容量C:在信道中最大的信息传输速率,单位是比特/信道符号。

单位时间的信道容量Ct:若信道平均传输一个符号需要t秒钟,则
单位时间的信道容量为
Ct实际是信道的最大信息传输速率。
2015/4/8
26
(4) 信道基本符号


2015/4/8
定义:信道基本符号是指信道上允许
传送的符号,是信源编码器的输出。
例如:二进制信道只有1、0两个基本
符号;多进制信道有多个基本符号,
如16进制信道包括0~ F 这16种基本符
号。
27
(5) 结 论



C和Ct都是求平均互信息I(X;Y)的条件极大值问题,
当输入信源概率分布p(xi)调整好以后, C和Ct已
与p(xi)无关,而仅仅是信道转移概率的函数,只
与信道统计特性有关;
信道容量是完全描述信道特性的参量;
信道容量是信道能够传送的最大信息量。
2015/4/8
28
4.2.2 几种特殊离散信道的信道容量
(1) 离散无噪信道的信道容量
(2) 强对称离散信道的信道容量
(3) 对称离散信道的信道容量
(4) 准对称离散信道的信道容量
2015/4/8
29
(1) 离散无噪信道的信道容量
① 具有一一对应关系的无噪信道
② 具有扩展性能的无噪信道
③ 具有归并性能的无噪信道
④ 小结
2015/4/8
30
① 具有一一对应关系的无噪信道

这种信道如
右图所示

对应的信道
矩阵是
2015/4/8
31






因为信道矩阵中所有元素均是“1”或“0”,X和Y有确定的
对应关系:
已知X后Y没有不确定性,噪声熵 H(Y/X)=0;
反之,收到Y后,X也不存在不确定性,损失熵 H(X/Y)=0;
故有 I(X;Y)=H(X)=H(Y)。
接收到符号Y后,平均获得的信息量就是信源发出每个符号
所含有的平均信息量,信道中无信息损失,而且噪声熵也
等于零,输出端Y的不确定性没有增加。严格地讲,这种输
入输出有确定的一一对应关系的信道,应称为无噪无损信
道。
当信源呈等概率分布时,具有一一对应确定关系的无噪信
道达到信道容量
2015/4/8
32
② 具有扩展性能的无噪信道


此信道的举例如右图所示。
n<m,输入X的符号集个
数小于输出Y的符号集个
数。其信道矩阵如下:
2015/4/8
33






虽然信道矩阵中的元素不全是“1”或“0”,但由于每列中
只有一个非零元素:
已知Y后,X不再有任何不确定度,损失熵 H(X/Y)=0, I(X;Y)= H(X) H(X/Y)= H(X) 。
例如,输出端收到y2后可以确定输入端发送的是x1,收到y7后可以确
定输入端发送的是x3,等等。
接收到符号Y后,对发送的符号X是完全确定的,损失熵为
零,但噪声熵不为零。这类信道被称为有噪无损信道。
若信道的传递矩阵中每一列有一个也仅有一个非零元素时,
该信道一定是有噪无损信道,其平均互信息等于信源熵。
即信道容量为
与一一对应信道不同的是,此时输入端符号熵小于输出端
符号熵, H(X) < H(Y)。
2015/4/8
34
③ 具有归并性能的无噪信道


这种信道如下图所示。
n>m,输入X的符号集个数大于输出Y的符号集个数。其
信道矩阵如下:
2015/4/8
35



信道矩阵中的元素非“0”即 “1” ,每行仅有一个非零元
素,但每列的非零元素个数大于1:
已知某一个xi后,对应的yj完全确定,信道噪声熵H(Y/X)=0。
但是收到某一个yj后,对应的xi不完全确定,信道损失熵 H(X/Y)≠0。

在这类信道中,接受到符号Y后不能完全消除对X的不确
定性,信息有损失。但输出端Y的平均不确定性因噪声熵
等于零而没有增加,所以这类信道称为无噪有损信道也称
确定信道。
信道容量为

这种信道输入端符号熵大于输出端符号熵,H(X)>H(Y)。

注意:在求信道容量时,调整的始终是输入端的概率分

布p(xi) ,尽管信道容量式子中平均互信息I(X;Y)等于输出
端符号熵H(Y),但是在求极大值时调整的仍然是输入端的
概率分布p(xi) ,而不能用输出端的概率分布p(yj)来代替。
2015/4/8
36
举例:下图的信道容量是log23=1.585(比特/信道符号),
求要达到这一信道容量对应的信源概率分布。
 由信道矩阵得 p(y1)= p(x1)×1+ p(x2)×1
p(y2)= p(x3)×1+ p(x4)×1
p(y3)= p(x5)×1
 只要p(y1)= p(y2)= p(y3)= (1/3),H(Y)达到最大值,即达到
信道容量C。
 此时使p(y1)= p(y2)= p(y3)= (1/3)的信源概率分布
{p(xi)},i=1,2,3,4,5存在,但不是惟一的。
 这种信道的输入符号熵大于
输出符号熵,即H(X)> H(Y)。
2015/4/8
37
④结 论


综合上述三种情况,若严格区分的话,凡损失熵等于
零的信道称为无损信道;凡噪声熵等于零的信道称为
无噪信道,而一一对应的无噪信道则为无噪无损信道。
对于无损信道,其信息传输率R就是输入信源X输出每
个符号携带的信息量(信源熵H(X)),因此其信道容量
为
式中假设输入信源X的符号共有n个,所以等概率分布
时信源熵最大。
2015/4/8
38
④结 论


对于无噪信道,其信道容量为
式中假设输出信源Y的符号共有m个,等概率分布时
H(Y)最大,而且一定能找到一种输入分布使得输出符号
Y达到等概率分布。
可见这些信道的信道容量C只决定于信道的输入符号
数n,或输出符号数m,与信源无关。
2015/4/8
39
(2) 强对称离散信道的信道容量
① 什么是强对称离散信道
② 强对称信道矩阵特点
③ 强对称离散信道的信道容量
④ 输入是什么概率分布时达到信道容量
⑤ 二进制均匀信道
2015/4/8
40
① 什么是强对称离散信道

单符号离散信道的X和Y取值均由n个不同符号组成,即
X∈{x1,x2,…,xi,…,xn},Y∈{y1,y2,…,yj,…,yn}

信道矩阵为

这种信道称为强对称/均匀信道。
这类信道中:总的错误概率是p,对称平均地分配给(n-1)个输出符号。
信道矩阵中每行之和等于1,每列之和也等于1。一般信道矩阵中,每列



之和不一定等于1。
2015/4/8
41
② 强对称信道矩阵特点

强对称信道矩阵,它的每一行和每一
列都是同一集合各个元素的不同排列。
由平均互信息定义:

Hni的意义:是固定X=xi时对Y求和,相当于在信道矩阵中选定了某

一行,对该行上各列元素的自信息求加权和。由于信道的对称性,每
一行都是同一集合的不同排列,所以

当xi不同时,Hni只是求和顺序不同,求和结果完全一样。
所以Hni与X无关,是一个常数。
2015/4/8
42
③ 强对称离散信道的信道容量

因此

如何达到信道容量:求一种输入分布使H(Y)取最大值。



现已知输出符号集Y共有n个符号,则H(Y)≤log2n。根据最大离散熵定理,
只有当p(yj)= (1/n),即输出端呈等概率分布时, H(Y)才达到最大值
log2n 。
要获得这一最大值,可通过公式
寻找相应的输入概率分布;
一般情况下不一定存在一种输入符号的概率,使输出符号达到等概率
分布。但强对称离散信道存在。
2015/4/8
43
④ 输入是什么概率分布时达到信道容量

强对称离散信道的输入和输出之间概率关系可用矩阵表示为

信道矩阵中的每一行都是由同一集合
中的诸元素的不同排列组成,所以保
证了当输入符号X是等概率分布,
即p(xi)=(1/n)时,输出符号Y一定是等概率分布,这时H(Y)=log2n。相应
的信道容量为
2015/4/8
44

结论:当信道输入呈等概率分布时,强对称离散信
道能够传输最大的平均信息量,即达到信道容量。
这个信道容量只与信道的输出符号数n和相应信道矩阵中
的任一行矢量有关。
2015/4/8
45
⑤ 二进制均匀信道



当n=2时的强对称离散信道就是二进制均匀信道。
二进制均匀信道
的信道容量为:
二进制均匀信道容量
曲线如右图所示。
2015/4/8
46
(3) 对称离散信道的信道容量
① 可排列性
② 对称离散信道定义
③ 对称离散信道的信道容量
2015/4/8
47
① 可排列性

行可排列:一个矩阵的每一行都是同一集合Q{q1,q2,…,qm}
中诸元素的不同排列。

列可排列:一个矩阵的每一列都是同一集合P{p1,p2,…,pn}
中诸元素的不同排列。

矩阵可排列/具有可排列性:一个矩阵的行和列都是可排
列的。
2015/4/8
48
② 对称离散信道定义






对称离散信道:信道矩阵具有可排列性。
行、列集合的特点
当m<n时,Q是P的子集。
当m>n时,P是Q的子集。
当m≠n时,Q和P两个集合中,一个必定是另一个的子集。
因为矩阵中的每一个元素既是行集合Q中的元素,又是
列集合P中的元素。
当m=n时,Q和P中的所有元素重合,Q和P是同一集合。
2015/4/8
49

举例:
2015/4/8
50
③ 对称离散信道的信道容量

平均互信息
2015/4/8
51


对称离散信道的信道容量与强对称的形式相同,只是这
里m≠n。
由于对称信道的特点,X等概率分布时,Y也是等概率分
布,从而使Y的熵达到最大值log2m,即信道容量。
2015/4/8
52
(4) 准对称离散信道的信道容量


准对称离散信道定义:一个n行m列单符号离散信道矩阵
[P]的行可排列,列不可排列。但是矩阵中的m列可分成S
个不相交的子集,各子集分别有m1,m2,…,ms个元素
(m1+m2+…+ms=m),由n行mk(k=1,2,…,s)列组成的子矩阵
[P]k具有可排列性。
举例
两个子矩阵均是可排列的,故信道[P]是准对称信道。
2015/4/8
53

由行的可排列性,得信道容量
#只要使输出随机变量呈等概率分布,上式第一项即可达到
最大值,从而达到信道容量C。但是由于[ P] 中各列不具有
可排列性,要使p ( y j )=1/ m, 则可能使输入概率分布p ( xi )的
某些概率出现负值。
#为了在p( xi )非负的情况下使H (Y )达到最大值,可将H (Y )中
的m项分成s个子集M 1 , M 2 ,
元素(m1  m2 
2015/4/8
, M s,各子集分别有m1 , m2 ,
, ms 个
 ms =m),则
54
m
s
H (Y )   p ( y j ) log 2 p ( y j )  
j 1


k 1 p ( y j )M k

p ( y j )M1
p ( y j ) log 2 p ( y j )

p ( y j ) log 2 p ( y j )

p ( y j )M s
p ( y j ) log 2 p ( y j )
令第k 个集合中概率的平均值
p ( yk ) 

p ( y j )M k
p( y j )
mk
k  1, 2,
,s
因为p ( yk ) / p( y j )  0,以及 ln x  x  1( x  0), log 2 x  ln x log 2 e

p ( y j )M k
p ( yk )
p( y j ) log 2

p( y j )

p ( y j )M k
 p ( yk ) 
p( y j ) 
 1 log 2 e
 p ( y j ) 
 [ p ( yk )mk 
2015/4/8

p ( y j )M k
p ( y j )]  0
55
故有

p ( y j )M k
即

p ( y j )M k
p ( y j ) log 2 p ( yk ) 
p ( y j ) log 2 p ( y j )  

p ( y j )M k

p ( y j )M k
p ( y j ) log 2 p ( y j )
p ( y j ) log 2 p ( yk )
  log 2 p ( yk )[mk p ( yk )]
  mk p ( yk ) log 2 p ( yk )
把子集M k中的p ( y j )变成其均值p ( yk ),将使第k 个子集中的熵


   p ( y j ) log 2 p ( y j )  达到最大。由于子矩阵[ P]k 具有可排
 p ( y j )M k

列性,只要信源X呈等概率分布,即可使第k个子集中的输出概
率相等,即达到其均值p ( yk )。
2015/4/8
56
如果H (Y )中的每一项都达到最大值,则输出Y的熵达到
最大,即
s
H (Y )   mk p ( yk ) log 2 p ( yk )
k 1

因此,相应的准对称离散信道容量为
2015/4/8
57
 12
例:
 P   1
4
1
4
1
8
1
2
1
8

分成互不相交的两个子矩阵
1
8
1
8
 18

 P2    1
1
2
8
1 1 1 3
则p ( y1 )     
2 2 4 8
 12
 P1    1
4
1.8112
1
4

1
8
1
8
1 1 1  1
p ( y2 )     
2 8 8  8
1.75
1 1 1 1
C   mk p ( yk ) log 2 p ( yk )  H  , , , 
 2 4 8 8
k 1
可计算得C=0. 0612
bi t / symbol
2
2015/4/8
58
Any Questions!
2015/4/8
59
典型无扰离散信道的信道容量
1. 均匀编码信道的信道容量

定义: 基本符号时间等长的信道称为均匀
编码信道,这种等长的基本符号称为码元。

2015/4/8
码元通常是持续时间为b秒的D进制脉冲
(Pulse),D进制表示该码元有D种等间隔数
值。
60
典型无扰离散信道的信道容量
例4.1 用8kHz的取样速率对模拟信号取样,若
对每一样值做256 级量化且样值是各态历经
的,求传输此信号的信道容量。
解:由题意可知,每秒钟有8000个样值,即n
=8000(信源消息),信道基本符号数D
=256,故每秒钟构成的不同消息的总数目
为N = 2568000,有
8000
log 256
Ct 
 8000  log 256  64 kbps
T
这就是传送PCM信号需要的信道容量。
2015/4/8
61
典型无扰离散信道的信道容量
一般地,若每个信道基本符号的长度为b秒,每秒钟
内信道上可传送的信道基本符号数为n,则n =1/b;T
秒钟内信道上可构成的不同消息数为N(T)=DnT,其中
nT为T 秒钟内信道上可传送的信道基本符号数。于是
Ct = nlog D
bps
(4.1)
如果不以秒而是以一个码元的时间作为标准,则
C = Ct / n = log D
2015/4/8
bit/码元时间
(4.2)
62
典型无扰离散信道的信道容量
2. 无固定约束的不均匀编码信道的信
道容量
无固定约束的不均匀编码信道的基本符号是等幅的不等长
脉冲,用脉冲占有时间的不同来携带信息。
例4.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量,主要是求在T时间内能构成的不同消息
数N(T)。
若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的
倍数,则PTM脉冲宽度量化为有限种信道基本符号。
设有D种信道基本符号,分别为:a1, a2, …, aD ;对应的占
用时间分别为:t1, t2, …, tD ;则在时间T内可能构成的
符号总数N (T)有如下表达式:
2015/4/8
63
典型无扰离散信道的信道容量
(续)
N (T )  a1      a 2    
   a D    
       a1        a 2
(4.3)
        aD
 N (T  t1 )  N T  t 2     N (T  t D )
式中第1行的表示除a1外的D – 1个信道基本
符号的全排列,其余类推。利用递推的方法或其它
方法可得
C = log rmax bit /单位码元时间
(4.4)
其中rmax是N (T)的特征方程
 t1
t2
tD
r  r    r  1  0 (4.5)
的最大正实根。
2015/4/8
64
典型无扰离散信道的信道容量
3. 有固定约束的不均匀编码信道的信
道容量


假如编码不满足遍历性,即由转移不受限制
变为转移受限制,传输它的信道就成为有固
定约束的不均匀编码信道。
传输莫尔斯(Morse)电码的信道是一种典
型的有固定约束的不均匀编码信道,下面通
过对它的分析来看这种信道的信道容量。
2015/4/8
65
典型无扰离散信道的信道容量

例4.3 电报员发报用Morse电码;Morse电码由点、划、
字母间隔和单词间隔四种基本符号构成,见表4.1,表
中的“+”表示按键合上,“-”表示按键断开,分
别相应于发声与不发声状态;试求Morse信道的信道
容量。
基本符号
构成
持续时间 具体实现
点
+-
t1 =2
清脆响一短声
划
++ +-
t2 =4
响一长声,声长三倍点
字母间隔
―――
t3 =3
3个单位码元时间不发声
单词间隔
――――――
t4 = 6
6个单位码元时间不发声
表4.1 Morse电码的构成表
2015/4/8
66
典型无扰离散信道的信道容量
解 通过点、划可构成无穷多种组合,形成明码或密码。
设四种基本符号分别为a1, a2, a3, a4,点、划为状态1,字
母及单词间隔作为状态2,t >6的间隔均看作单词间隔。
由于发报期间,不允许出现2个及2个以上的字母间隔
或单词间隔,即“间隔”不能连用,因此Morse信道存在
有固定约束,其状态转移图为图4.2。
a1
状态1
a2
a3
a4
a1
a2
状态2
图4.2 例4.3的状态转移图
2015/4/8
67
典型无扰离散信道的信道容量
先求在时间T内从状态1转移到状态2或从状态1、2
转移到状态1的各种可能消息的总数目,分别用
N1(T)和N2(T)表示。则
N 2 (T )  N 1 (T  b12( a3 ) )  N 1 (T  b12( a4 ) )
(4.6)
N1 (T )  N1 (T  b111 )  N1 (T  b112 )  N 2 (T  b211 )  N 2 (T  b212 )
(a )
(a )
(a )
(a )
(4.7)
( a3 )
N
(
T

b
式中 1
12 ) 表示在T时间内发的最后一个符号
是a3并使状态从状态1改变到状态2的各种可能消息
的总数,而a3用的时间为b12;其余类推。
2015/4/8
68
典型无扰离散信道的信道容量
推广之,设从状态i到状态j发的符号为ak,所用的时
a
间为 bij k ,则
b11 —从状态1到状态1,有两种可能: b11( a ),b11( a )
b21 —从状态2到状态1,有两种可能: b21( a ),b21( a )
b12 —从状态1到状态2,有两种可能: b12( a ),b12( a )
b22 —从状态2到状态2,无此可能。
根据表4.1,有
a1
b11a1  b21
2
2015/4/8
a2
b11a2  b21
4
1
2
1
2
3
4
b12a3  3, b12a4  6
(4.8)
69
典型无扰离散信道的信道容量
在T时间里构成的消息总数N(T)为
N (T) = N1 (T) + N2 (T)
(4.9)
上式又是一个线性差分方程,由这个差分方程,
可得
logN (T )
(4.10)
C  lim
 logWmax
T 
T
式中Wmax 为差分方程的特征方程的最大正实根。因
此,求出这个最大正实根,也就求出了C。采用迭代
法,略去中间过程,可解得,Wmax=1.453 ,故有
C = log1.453 = 0.539 比特/符号时间
2015/4/8
70

similar documents