信息理论与编码
信息理论与编码
1万+ 人选课
更新日期:2025/05/30
开课时间2025/02/24 - 2025/06/28
课程周期18 周
开课状态开课中
每周学时-
课程简介

“信息理论与编码”是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用学科理论,是电子通信类专业重要的学科基础课。其主要任务是让学生了解香农信息论的基本内容,掌握信息的度量方法以及信源、信道编码的基本理论与方法,培养利用信息论的基本原理分析和解决实际问题的能力,为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。

课程大纲
第1章绪论
1.1引言
1.2信息论的主要研究内容
1.3信息论的形成与发展
第1章绪论单元测试
第2章信息的度量
2.1信源模型
2.2信息的描述
2.3.1自信息量
2.3.2联合自信息量与条件自信息量
2.3.3自信息量的性质
2.3.4互信息量及其性质
2.4.1离散熵的定义
2.4.2熵的性质(1)
2.4.2熵的性质(2)
2.5联合熵与条件熵
2.6.1平均互信息量的定义
2.6.2平均互信息量的性质
2.7离散无记忆信源的扩展
2.8离散有记忆平稳信源的熵
2.9离散信源的信息率和信息含量效率
2.10.1连续信源的熵
2.10.2连续信源的联合熵、条件熵和平均互信息
2.10.3微分熵的极大化
2.10.4连续信源的熵功率
2.11.1马尔可夫链
2.11.2马尔科夫信源
2.11.3马尔可夫信源的信息熵
第2章信息的度量单元测试
第3章信道模型和信道容量
3.1信道的模型与分类​
3.2DMC的数学模型
3.3概率的计算问题
3.4.1信道的疑义度
3.4.2信道的散布度
3.4.3信道的平均互信息
3.5.1信道容量的定义
3.5.2离散无噪信道的信道容量
3.5.3-1离散对称信道
3.5.3-2离散对称信道和准对称信道的信道容量
3.5.4一般离散信道达到信道容量的充要条件
3.6.1扩展信道的数学模型
3.6.2扩展信道的平均互信息和信道容量
3.7.1串联信道
3.7.2独立并联信道
3.8信源与信道的匹配
3.9.1连续信道的数学模型
3.9.2加性高斯噪声信道的信道容量
3.9.3一般加性噪声信道信道容量的界
3.10.1波形信道
3.10.2波形信道及其信道容量
第3章单元测试
第4章离散无记忆信源无失真编码
4.1信源编码概论(1)
4.1信源编码概论(2)
4.2.1常见码及其唯一可译性(1)
4.2.1常见码及其唯一可译性(2)
4.2.2码树和Kraft不等式
4.3定长编码定理
4.4变长编码定理
4.5.1霍夫曼编码(1)
4.5.1霍夫曼编码(2)
4.5.2费诺编码
4.5.3香农编码
第4章离散无记忆信源无失真编码单元测试
第5章有噪信道编码
5.1译码规则与错误概率
5.2两种典型的译码规则
5.3.1简单重复编码
5.3.2符号串编码
5.4.1汉明距离
5.4.2最小距离译码规则
5.5有噪信道编码定理与逆定理
5.6.1线性分组码的生成矩阵和校验矩阵*
5.6.2汉明距离和码纠检错能力*
5.6.3线性码的伴随式与伴随式译码*
第5章单元测试
第6章限失真信源编码*
6.1失真测度
6.2信息率失真函数
6.3限失真信源编码定理
第6章限失真信源编码单元测试