信息论基础（含习题与解答）

前言
第1章绪论1
1.1信息概念和特性1
1.2熵的概念2
1.3信息论研究的基本问题和主要内容3
1.3.1信息论研究的基本问题3
1.3.2信息论研究内容4
1.4香农简介5
1.5本书结构7
1.6本章小结7
第2章数学基础8
2.1概率论基础8
2.1.1概率空间8
2.1.2随机变量与分布函数11
2.1.3多维随机变量及其分布13
2.1.4数字特征18
2.1.5大数定律及中心极限定理21
2.2马尔可夫链24
2.2.1有限状态马氏链24
2.2.2状态转移概率24
2.2.3齐次马氏链25
2.2.4马氏链的平稳分布27
2.3凸函数和常用不等式28
2.3.1凸函数28
2.3.2常用不等式30
2.4本章小结32
习题33
第3章信息度量和熵36
3.1自信息、条件自信息和联合自信息36
3.1.1自信息36
3.1.2条件自信息38
3.1.3联合自信息39
3.2互信息和信息散度39
3.2.1互信息定义39
3.2.2互信息的性质40
3.2.3条件互信息41
3.2.4信息散度41
3.3离散集合的平均信息量(熵)43
3.3.1信息熵43
3.3.2条件熵44
3.3.3联合熵44
3.3.4熵的基本性质45
3.3.5各类熵的关系49
3.3.6熵函数的唯一性51
3.3.7通信系统中熵的意义51
3.4平均互信息53
3.4.1平均互信息定义53
3.4.2平均互信息与熵的关系54
3.4.3平均互信息的性质56
3.4.4多随机变量的互信息61
3.5本章小结69
习题70
第4章信源和熵74
4.1信源的分类与数学模型74
4.1.1信源的分类74
4.1.2信源的数学模型74
4.2离散信源75
4.2.1离散无记忆信源和熵75
4.2.2离散平稳信源和熵76
4.2.3马尔可夫信源79
4.2.4信源的冗余度84
4.3连续信源86
4.3.1连续信源的熵与平均互信息86
4.3.2连续随机变量信息散度90
4.3.3几种特殊分布连续信源熵90
4.3.4最大熵定理94
4.3.5熵功率96
4.3.6随机矢量通过线性系统后信息的变化96
4.3.7符号持续时间不同信源的熵99
4.4本章小结102
习题104
第5章信道与信道容量107
5.1信道的特性及其分类107
5.1.1信道模型107
5.1.2信道分类107
5.2离散信道及其容量108
5.2.1离散信道数学模型108
5.2.2离散信道容量111
5.2.3多符号离散信道的容量124
5.3连续/波形信道及其容量126
5.3.1加性噪声信道和容量127
5.3.2加性高斯信道和容量129
5.3.3加性非高斯信道的容量130
5.3.4多维无记忆加性高斯信道133
5.3.5限频限功率高斯信道的容量136
5.3.6香农信道编码定理139
5.4本章小结140
习题142
第6章无失真信源编码145
6.1信源编码简介145
6.2离散信源定长编码147
6.2.1典型序列与信源序列的渐近均分特性148
6.2.2定长编码定理150
6.2.3定长码参数151
6.3离散信源变长编码152
6.3.1变长码的唯一可译性和即时性153
6.3.2Kraft不等式154
6.3.3变长编码定理156
6.3.4变长码参数157
6.4平稳信源和Markov信源的编码158
6.4.1平稳信源的编码158
6.4.2马尔可夫信源的编码159
6.5变长编码方法161
6.5.1香农编码161
6.5.2Fano编码162
6.5.3Huffman编码162
6.5.4实用的信源编码方法166
6.6本章小结169
习题170
第7章限失真信源编码174
7.1系统模型和失真测度175
7.1.1系统模型175
7.1.2失真测度175
7.1.3失真函数举例说明176
7.2信息率失真函数177
7.2.1定义177
7.2.2信息率失真函数的性质177
7.2.3简单信源的信息率失真函数180
7.3离散信源R(D)计算188
7.3.1离散信源信息率失真函数的参量表示188
7.3.2离散信源R(D)求解矢量/矩阵表示190
7.3.3参量s的意义191
7.3.4离散信源R(D)的迭代计算194
7.4连续信源的信息率失真函数196
7.4.1连续信源的平均失真函数196
7.4.2d(x，y)只与x？y有关情况下率失真函数的求解198
7.4.3高斯信源的率失真函数199
7.4.4限带高斯信源的率失真函数201
7.4.5一般信源率失真函数的上限和下限202
7.5限失真信源编码定理202
7.6本章小结205
习题207
第8章MIMO信道模型及容量210
8.1引言210
8.2无线信道特性210
8.2.1路径损耗211
8.2.2信道衰落213
8.2.3信道扩展215
8.2.4信道相关性217
8.3MIMO信道模型222
8.3.1常见信道模型222
8.3.2基本信道模型224
8.3.3扩展信道模型226
8.4MIMO信道容量228
8.4.1确定性MIMO信道228
8.4.2随机性MIMO信道232
8.5本章小结236
习题238
第9章数字喷泉码240
9.1信道模型241
9.1.1删除信道241
9.1.2无线信道242
9.2数字喷泉码的数学描述242
9.2.1数字喷泉码的定义242
9.2.2数字喷泉码的Tanner图243
9.2.3数字喷泉码的度分布函数244
9.3典型的数字喷泉码245
9.3.1LT码245
9.3.2Raptor码246
9.4数字喷泉码的译码算法247
9.4.1删除信道中的译码算法247
9.4.2无线信道中的译码算法248
9.5数字喷泉码的密度演化分析方法250
9.5.1删除信道中的密度演化250
9.5.2无线信道中的密度演化253
9.6本章小结256
参考文献258