信息論：基礎理論與應用

第1章 緒論
1.1 信息的概念
1.2 信息論研究的對象、目的和內容
*1.3 信息論發(fā)展簡史與現(xiàn)狀
第2章 離散信源及其信息測度
2.1 信源的數(shù)學模型及分類
2.2 離散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性質
*2.4 信息熵的惟一性定理
2.5 離散無記憶的擴展信源
2.6 離散平穩(wěn)信源
2.6.1 離散平穩(wěn)信源的數(shù)學定義
2.6.2 亞二維平穩(wěn)信源及其信息熵
2.6.3 離散平穩(wěn)信源的極限熵
2.7 馬爾可夫信源
2.7.1 馬爾可夫信源的定義
2.7.2 馬爾可夫信源的信息熵
2.8 信源剩余度與自然語言的熵
*2.9 意義信息和加權熵
小結
習題
第3章 離散信道及其信道容量
3.1 信道的數(shù)學模型及分類
3.1.1 信道的分類
3.1.2 離散信道的數(shù)學模型
3.1.3 單符號離散信道的數(shù)學模型
3.2 平均互信息及平均條件互信息
3.2.1 信道疑義度
3.2.2 平均互信息
3.2.3 平均條件互信息
3.3 平均互信息的特性
3.4 信道容量及其一般計算方法
3.4.1 離散無噪信道的信道容量
3.4.2 對稱離散信道的信道容量
3.4.3 準對稱信道的信道容量
3.4.4 一般離散信道的信道容量
*3.5 信道容量的迭代算法
3.5.1 信道容量的迭代算法
3.5.2 信道容量迭代算法的收斂性
3.6 離散無記憶擴展信道及其信道容量
3.7 獨立并聯(lián)信道及其信道容量
3.8 串聯(lián)信道的互信息和數(shù)據(jù)處理定理
3.9 信源與信道的匹配
小結
習題
第4章 無失真信源編碼
4.1 編碼器
4.2 等長碼
4.3 漸近等分割性和典型序列
4.4 等長信源編碼定理
4.5 變長碼
4.5.1 惟一可譯變長碼與即時碼
4.5.2 即時碼的樹圖構造法
4.5.3 克拉夫特（Kraft）不等式
4.5.4 惟一可譯變長碼的判斷法
4.6 變長信源編碼定理
4.7 霍夫曼碼和其他編碼方法
4.7.1 霍夫曼（Huffman）碼
4.7.2 r元霍夫曼碼
4.7.3 霍夫曼碼的最佳性
4.7.4 費諾（Fano）碼
4.7.5 香農(nóng)-費諾-埃利斯碼
4.8 幾種實用的無失真信源編碼方法
4.8.1 MH編碼
4.8.2 算術編碼
4.8.3 LZ碼
小結
習題
第5章 有噪信道編碼
5.1 錯誤概率和譯碼規(guī)則
5.2 錯誤概率與編碼方法
5.3 聯(lián)合典型序列
5.4 有噪信道編碼定理
5.4.1 有噪信道編碼定理
5.4.2 有噪信道編碼逆定理
5.5 聯(lián)合信源信道編碼定理
5.6 糾錯碼的基本思想和漢明碼
5.6.1 線性分組碼的一些基本概念
5.6.2 漢明碼
小結
習題
第6章 波形信源和波形信道
6.1 波形信源的統(tǒng)計特性和離散化
6.2 連續(xù)信源和波形信源的信息測度
6.2.1 連續(xù)信源的差熵
6.2.2 波形信源的差熵
6.2.3 兩種特殊連續(xù)信源的差熵
6.3 具有最大熵的連續(xù)信源
6.3.1 峰值功率受限條件下信源的最大熵
6.3.2 平均功率受限條件下信源的最大熵
6.4 熵功率
6.5 連續(xù)信源熵的變換
6.5.1 坐標變換后概率密度函數(shù)的變化
6.5.2 坐標變換后相對妨的變化
6.6 連續(xù)信道和波形信道的分類
6.6.1 按噪聲統(tǒng)計特性分類
6.6.2 按噪聲對信號的作用功能分類
6.6.3 連續(xù)信道的分類
6.7 連續(xù)信道和波形信道的信息傳輸率
6.7.1 單符號連續(xù)信道的平均互信息
6.7.2 多維連續(xù)信道的平均互信息
6.7.3 波形信道的信息傳輸率
6.7.4 連續(xù)信道平均互信息的特性
6.8 連續(xù)信道和波形信道的信道容量
6.8.1 單符號高斯加性信道
6.8.2 單符號非高斯加性信道
6.8.3 多維無記憶高斯加性連續(xù)信道
6.8.4 多維有記憶高斯加性連續(xù)信道
6.8.5 高斯白噪聲加性波形信道
6.8.6 有色高斯加性波形信道
6.9 連續(xù)信道編碼定理
小結
習題
第7章 保真度準則下的信源編碼
7.1 失真度和平均失真度
7.1.1 失真度
7.1.2 平均失真度
7.2 信息率失真函數(shù)及其性質
7.2.1 信息率失真函數(shù)
7.2.2 信息率失真函數(shù)的性質
7.3 信息率失真函數(shù)的參量表述及其計算
7.4 二元信源和離散對稱信源的R（D）函數(shù)
7.4.1 二元對稱信源的R（D）函數(shù)
7.4.2 離散時稱信源的R（D）函數(shù)
*7.5 信息率失真函數(shù)的迭代算法
7.6 連續(xù)信源的信息率失真函數(shù)
7.6.1 連續(xù)信源的信息率失真函數(shù)
7.6.2 高斯信源的信息率失真函數(shù)
7.6.3 連續(xù)信源R（D）函數(shù)的參量表述及其計算
7.7 保真度準則下信源編碼定理
*7.7.1 失真典型序列
*7.7.2 保真度準則下信源編碼定理的證明
7.7.3 保真度準則下信源編碼逆定理
7.8 聯(lián)合有失真信源信道編碼定理
7.9 有失真信源編碼定理的實用意義
小結
習題
第8章 網(wǎng)絡信息論
8.1 通信網(wǎng)信道的分類
8.2 聯(lián)合典型序列
8.3 相關信源編碼
8.4 多址接入信道
8.4.1 離散多址接入信道
8.4.2 多址接入高斯噪聲信道
8.5 相關信源和多址接入信道
8.5.1 相關信源和多址接入信道的對偶性
8.5.2 相關信源的多址接入信道
*8.6 廣播信道
*8.7 中繼信道
*8.8 具有邊信息的信源編碼
*8.9 具有邊信息的數(shù)據(jù)壓縮
小結
習題
第9章 保密系統(tǒng)的基本信息理論
9.1 保密學的基本概念
9.2 保密系統(tǒng)的數(shù)學模型
9.3 古典密碼體制
9.3.1 單表密碼
9.3.2 移位代換密碼
9.3.3 乘數(shù)密碼
9.3.4 固定周期d的位移置換
9.3.5 多表代換密碼
9.4 完全保密性
9.5 理論保密性
9.6 實際保密性
小結
第10章 信息論與其他學科的關系和應用
10.1 信息熵與熱力學熵
10.2 信息論與光學
10.2.1 光學信息量
10.2.2 光量子信道的信道容量
10.2.3 最大熵光學圖像恢復
10.3 最大熵與譜估計
10.3.1 高斯隨機過程的熵率
10.3.2 伯格的最大熵定理
10.4 信息論與生物醫(yī)學
10.4.1 DNA到蛋白質的通信系統(tǒng)
10.4.2 醫(yī)學中的信息分析
小結
附錄
附錄A 凸函數(shù)和詹森不等式
附錄B 馬爾可夫鏈
B.1 馬爾可夫鏈的定義
B.2 轉移概率和轉換矩陣
B.3 各態(tài)歷經(jīng)定理
附錄C 熵函數(shù)的函數(shù)表
參考書目和文獻