信息論基礎(chǔ)

第1章  緒論與概覽        1
 第2章  熵. 相對熵和互信息        9
 2.1  熵        9
 2.2  聯(lián)合熵和條件熵        11
 2.3  相對熵和互信息        13
 2.4  熵與互信息的關(guān)系        14
 2.5  熵. 相對熵和互信息的鏈?zhǔn)椒▌t        15
 2.6  Jensen不等式及其結(jié)果        17
 2.7  對數(shù)和不等式及其應(yīng)用        22
 2.8  數(shù)據(jù)處理不等式        24
 2.9  熱力學(xué)第二定律        25
 2.10  充分統(tǒng)計(jì)量        27
 2.11  Fano不等式        28
 要點(diǎn)        30
 習(xí)題        31
 歷史回顧        36
 第3章  漸近均分性        39
 3.1  漸近均分性的定義        39
 3.2  AEP的結(jié)果應(yīng)用：數(shù)據(jù)壓縮        41
 3.3  高概率集與典型集        42
 要點(diǎn)        43
 習(xí)題        44
 歷史回顧        45
 第4章  隨機(jī)過程的熵率        47
 4.1  馬爾可夫鏈        47
 4.2  熵率        49
 4.3  例子：加權(quán)圖上隨機(jī)游動(dòng)的熵率        51
 4.4  隱馬爾可夫模型        53
 要點(diǎn)        55
 習(xí)題        56
 歷史回顧        60
 第5章  數(shù)據(jù)壓縮        61
 5.1  有關(guān)編碼的例子        61
 5.2  Kraft不等式        64
 5.3  最優(yōu)碼        66
 5.4  最優(yōu)碼長的界        67
 5.5  惟一可譯碼的Kraft不等式        70
 5.6  赫夫曼碼        72
 5.7  有關(guān)赫夫曼碼的評論        73
 5.8  赫夫曼碼的最優(yōu)性        75
 5.9  Shannon-Fano-Elias編碼        78
 5.10  算術(shù)編碼        80
 5.11  香農(nóng)碼的競爭最優(yōu)性        83
 5.12  由均勻硬幣投擲生成離散分布        85
 要點(diǎn)        91
 習(xí)題        91
 歷史回顧        96
 第6章  博弈與數(shù)據(jù)壓縮        97
 6.1  馬賽        97
 6.2  博弈與邊信息        100
 6.3  相依的馬賽及其熵率        102
 6.4  英文的熵        103
 6.5  數(shù)據(jù)壓縮與博弈        106
 6.6  英文的熵的博弈估計(jì)        107
 要點(diǎn)        108
 習(xí)題        109
 歷史回顧        111
 第7章  Kolmogorov復(fù)雜度        113
 7.1  計(jì)算模型        114
 7.2  Kolmogorov復(fù)雜度：定義和例子        115
 7.3  Kolmogorov復(fù)雜度與熵        119
 7.4  整數(shù)的Kolmogorov復(fù)雜度        121
 7.5  算法隨機(jī)序列與不可壓縮序列        122
 7.6  普適概率        125
 7.7  停止問題和Kolmogorov復(fù)雜度的不可計(jì)算性        126
 7.8  W        127
 7.9  普適投注策略        129
 7.10  奧克姆剃刀        130
 7.11  Kolmogorov復(fù)雜度與普適概率        131
 7.12  Kolmogorov充分統(tǒng)計(jì)量        136
 要點(diǎn)        139
 習(xí)題        140
 歷史回顧        142
 第8章  信道容量        143
 8.1  信道容量的例子        144
 8.1.1  無噪聲二元信道        144
 8.1.2  無重疊輸出的有噪聲信道        144
 8.1.3  有噪聲的打字機(jī)信道        145
 8.1.4  二元對稱信道        145
 8.1.5  二元擦除信道        146
 8.2  對稱信道        147
 8.3  信道容量的性質(zhì)        149
 8.4  信道編碼定理預(yù)覽        149
 8.5  定義        150
 8.6  聯(lián)合典型序列        152
 8.7  信道編碼定理        154
 8.8  零誤差碼        158
 8.9  Fano不等式與編碼定理的逆定理        159
 8.10  信道編碼定理的逆定理中的等式        162
 8.11  漢明碼        163
 8.12  反饋容量        165
 8.13  聯(lián)合信源信道編碼定理        167
 要點(diǎn)        170
 習(xí)題        171
 歷史回顧        173
 第9章  微分熵        175
 9.1  定義        175
 9.2  連續(xù)隨機(jī)變量的AEP        176
 9.3  微分熵與離散熵的關(guān)系        178
 9.4  聯(lián)合微分熵和條件微分熵        179
 9.5  相對熵和互信息        180
 9.6  微分熵. 相對熵以及互信息的性質(zhì)        181
 9.7  離散熵的微分熵界        183
 要點(diǎn)        184
 習(xí)題        185
 歷史回顧        186
 第10章  高斯信道        187
 10.1  高斯信道的定義        188
 10.2  高斯信道編碼定理的逆定理        192
 10.3  有限帶寬信道        193
 10.4  并聯(lián)高斯信道        196
 10.5  彩色高斯噪聲信道        198
 10.6  帶反饋的高斯信道        200
 要點(diǎn)        204
 習(xí)題        205
 歷史回顧        207
 第11章  最大熵與譜估計(jì)        209
 11.1  最大熵分布        209
 11.2  例子        210
 11.3  反常的最大熵問題        212
 11.4  譜估計(jì)        213
 11.5  高斯過程的熵率        214
 11.6  Burg最大熵定理        215
 要點(diǎn)        217
 習(xí)題        217
 歷史回顧        218
 第12章  信息論與統(tǒng)計(jì)學(xué)        219
 12.1  型方法        219
 12.2  大數(shù)定律        225
 12.3  通用信源編碼        226
 12.4  大偏差理論        229
 12.5  Sanov定理的例子        231
 12.6  條件極限定理        233
 12.7  假設(shè)檢驗(yàn)        239
 12.8  Stein引理        243
 12.9  Chernoff界        245
 12.10  Lempel-Ziv編碼        251
 12.11  Fisher信息與Cram巖-Rao不等式        256
 要點(diǎn)        260
 習(xí)題        262
 歷史回顧        264
 第13章  率失真理論        265
 13.1  量化        265
 13.2  定義        266
 13.3  率失真函數(shù)的計(jì)算        269
 13.3.1  二元信源        269
 13.3.2  高斯信源        270
 13.3.3  獨(dú)立高斯隨機(jī)變量的同步描述        273
 13.4  率失真定理的逆定理        275
 13.5  率失真函數(shù)的可達(dá)性        277
 13.6  強(qiáng)典型序列與率失真        282
 13.7  率失真函數(shù)的特征        285
 13.8  信道容量與率失真函數(shù)的計(jì)算        286
 要點(diǎn)        289
 習(xí)題        289
 歷史回顧        293
 第14章  網(wǎng)絡(luò)信息論        295
 14.1  高斯多用戶信道        297
 14.1.1  單用戶高斯信道        298
 14.1.2  m個(gè)用戶的高斯多接入信道        298
 14.1.3  高斯廣播信道        299
 14.1.4  高斯中繼信道        299
 14.1.5  高斯干擾信道        301
 14.1.6  高斯雙向信道        301
 14.2  聯(lián)合典型序列        302
 14.3  多接入信道        305
 14.3.1  多接入信道容量區(qū)域的可達(dá)性        309
 14.3.2  對多接入信道容量區(qū)域的評述        311
 14.3.3  多接入信道容量區(qū)域的凸性        312
 14.3.4  多接入信道的逆定理        314
 14.3.5  m個(gè)用戶的多接入信道        317
 14.3.6  高斯多接入信道        318
 14.4  相關(guān)信源的編碼        321
 14.4.1  Slepian-Wolf定理的可達(dá)性        323
 14.4.2  Slepian-Wolf定理的逆定理        325
 14.4.3  多信源的Slepian-Wolf定理        327
 14.4.4  Slepian-Wolf編碼的解釋        327
 14.5  Slepian-Wolf編碼與多接入信道之間的對偶性        328
 14.6  廣播信道        329
 14.6.1  廣播信道的定義        331
 14.6.2  退化廣播信道        332
 14.6.3  退化廣播信道的容量區(qū)域        332
 14.7  中繼信道        336
 14.8  具有邊信息的信源編碼        340
 14.9  具有邊信息的率失真        343
 14.10  一般多端網(wǎng)絡(luò)        348
 要點(diǎn)        353
 習(xí)題        354
 歷史回顧        358
 第15章  信息論與股票市場        361
 15.1  股票市場：定義        361
 15.2  對數(shù)最優(yōu)投資組合的Kuhn-Tucker特征        363
 15.3  對數(shù)最優(yōu)投資組合的漸近最優(yōu)性        365
 15.4  邊信息與雙倍率        367
 15.5  平穩(wěn)市場中的投資        368
 15.6  對數(shù)最優(yōu)投資組合的競爭最優(yōu)性        370
 15.7  Shannon-McMillan-Breiman定理        372
 要點(diǎn)        377
 習(xí)題        378
 歷史回顧        379
 第16章  信息論的不等式        381
 16.1  信息論的基本不等式        381
 16.2  微分熵        383
 16.3  熵與相對熵的界        385
 16.4  型的不等式        387
 16.5  子集的熵率        388
 16.6  熵與Fisher信息        390
 16.7  熵冪不等式與Brunn-Minkowski不等式        393
 16.8  行列式的不等式        397
 16.9  行列式的比值的不等式        400
 全書要點(diǎn)        402
 習(xí)題        402
 歷史回顧        403
 參考文獻(xiàn)        405
 索引        419
</font>