课程号：00130030
课程名称：信息科学基础
开课学期：春
学分： 3
先修课程：数学分析、高等代数、概率论
基本目的：学习和掌握信息的度量、表示和传输的基本理论，培养学生运用信息的概念和编码方法解决信息处理和传输过程中信息压缩、噪声干扰和失真方面的基本问题的能力，并为其它信息科学的专业课程奠定基础。
内容提要：
一、 概论（2学时）
信息科学的基本问题，主要分支介绍，信息理论的发展简史，特点与应用。
二、 信息与熵（6学时）
信源、信息的度量和Shannon熵，联合熵的定义与性质，条件熵的定义与性质，它们之间的关系，信息度量的公理化表示及其熵的唯一性，熵函数的性质：非负性、极值性、可加性、对称性、扩展性、凸性，连续型随机变量的微分熵及其基本性质。
三、 互信息（6学时）
事件的互信息、两个随机变量之间的互信息，互信息与其他熵之间的关系，多个随机变量的互信息，互信息函数的性质，连续型随机变量的互信息。
四、 离散信源的无差错编码（10学时）
信源，信源的分类，信源编码，渐近等同分割性，离散无记忆信源的定长编码定理，前缀码，Kraft不等式，Huffman编码与最优编码定理， 离散平稳信源及其编码定理，马尔可夫信源及其编码定理。
五、 离散无记忆信道的编码理论（10学时）
信道容量的定义，基本性质，简单信道的容量计算，一般信道的容量迭代算法，信道编码，译码方法，理想译码器，最大似然译码器，联合典型序列，信道编码定理，Fano不等式，逆编码定理，信源-信道联合编码， 高斯信道模型、信道容量、编码定理、逆编码定理， 信道编码实例：重复码和Hamming码。
六、 线性码（4学时）
线性分组码的定义及其代数表示， 系统编码、校验矩阵、系统码与线性码在性能上的等价性，系统编码的最优译码， 线性码的差错概率和纠错能力（充填半径、覆盖半径、最小距离（重量），完全码，数多项式）。
七、 信源的率失真函数与熵压缩编码（7学时）
熵压缩编码，失真度量，信息速率失真函数---率失真函数，率失真函数的基本性质，连续无记忆信源的率失真函数，上下界分析，标量量化方法，限失真编码定理。
教学方式：讲堂讲授。
教材与参考书：
1、石峰 莫忠息：信息论基础，武汉大学出版社，2002。
2、沈世镒 陈鲁生: 信息论与编码理论，科学出版社，2002。
3、叶中行: 信息论基础，高等教育出版社，2007。
4、黄德修: 信息科学导论，中国电力出版社，2001。
学生成绩评定方法：作业20％，半期考30％，期考50％.
课程修订负责人：马尽文
