自然語言理解

第 1章自然語言處理概要 1

1.1自然語言處理的概念和術(shù)語 .1

1.1.1自然語言 .1

1.1.2自然語言處理與自然語言理解 .2

1.1.3計(jì)算語言學(xué) 3

1.2自然語言處理的技術(shù)性挑戰(zhàn) .4

1.3機(jī)器翻譯 7

1.4語言處理層次 .9

1.5應(yīng)用型自然語言處理：人機(jī)對(duì)話系統(tǒng) 16

1.6自然語言處理的學(xué)術(shù)出版體系 19
參考文獻(xiàn)25

第 2章 n元語言模型.27

2.1概率論基礎(chǔ).27

2.2語言模型用于語言生成 29

2.3 n元語言模型的工作方式及馬爾可夫假設(shè) .30

2.3.1 n元機(jī)制 .30

2.3.2馬爾可夫假設(shè).31

2.4評(píng)價(jià)指標(biāo)：困惑度.32

2.5 n元語言模型的平滑方法.33

2.5.1 Laplace平滑（加一平滑）34

2.5.2 Good-Turing平滑 35

2.5.3 Jelinek-Mercer平滑 .36

2.5.4 Katz平滑37

2.5.5 Kneser-Ney平滑 37

2.5.6 Pitman-Yor語言模型 .39

2.6非 n元機(jī)制的平滑方法 .41

2.6.1緩存 41

2.6.2跳詞 41

2.6.3聚類 42

2.7平滑方法的經(jīng)驗(yàn)結(jié)果 .43

2.8 n元語言模型的建模工具.44

參考文獻(xiàn)45

XII自然語言理解
第 3章語言編碼表示 .47

3.1獨(dú)熱表示 47

3.2特征函數(shù) 49

3.3通用特征模板 .52

3.4加權(quán)的獨(dú)熱表示：TF-IDF.53
參考文獻(xiàn)55

第 4章非監(jiān)督的結(jié)構(gòu)化學(xué)習(xí) .56

4.1自然語言處理的方法構(gòu)成.56

4.2簡(jiǎn)單任務(wù)：詞/子詞切分 58

4.3切分算法 58

4.3.1通用切分框架.58

4.3.2全局優(yōu)度最大化：Viterbi解碼算法 .59

4.3.3局部?jī)?yōu)度最大化：貪心解碼算法 59

4.4優(yōu)度度量 60

4.4.1頻率 60

4.4.2鄰接多樣性 61

4.4.3分支熵.62

4.4.4描述長(zhǎng)度增益.63

4.4.5點(diǎn)互信息 .63

4.4.6學(xué)生 t測(cè)試64

4.5非監(jiān)督分詞.64

4.5.1數(shù)據(jù)集和評(píng)估指標(biāo) 64

4.5.2詞典預(yù)處理技巧 .65

4.5.3性能 66

4.6推廣的字節(jié)對(duì)編碼切分算法 .67
參考文獻(xiàn)67

第 5章結(jié)構(gòu)化學(xué)習(xí) 69

5.1機(jī)器學(xué)習(xí)的粒度和語言單元 .69

5.2結(jié)構(gòu)化學(xué)習(xí)的必要性 .72

5.3自然語言處理中的結(jié)構(gòu)化學(xué)習(xí)任務(wù) .74

5.4退化為分類任務(wù) 76

5.5結(jié)構(gòu)分解 78

5.6共時(shí)結(jié)構(gòu)分解：圖模型 78

5.7歷時(shí)結(jié)構(gòu)分解：轉(zhuǎn)移模型.82

5.8兩類結(jié)構(gòu)化分解方式的優(yōu)劣 .83

5.9結(jié)構(gòu)化學(xué)習(xí)的簡(jiǎn)化情形 84
參考文獻(xiàn)85

目錄 XIII
第 6章結(jié)構(gòu)上的標(biāo)注任務(wù) 86

6.1從結(jié)構(gòu)標(biāo)注到序列標(biāo)注 86

6.2局部馬爾可夫模型.88

6.3全局馬爾可夫模型和條件隨機(jī)場(chǎng).90

6.3.1全局馬爾可夫模型 90

6.3.2馬爾可夫隨機(jī)場(chǎng) .91

6.3.3條件隨機(jī)場(chǎng) 92

6.4隱馬爾可夫模型 95

6.4.1從馬爾可夫鏈到隱馬爾可夫模型 95

6.4.2隱馬爾可夫模型的基本計(jì)算任務(wù)：概率估計(jì) .96

6.4.3隱馬爾可夫模型的訓(xùn)練：參數(shù)估計(jì).99

6.4.4隱馬爾可夫模型的解碼：Viterbi算法99

6.5自然語言處理中的結(jié)構(gòu)標(biāo)注任務(wù). 100

6.5.1再標(biāo)注的序列標(biāo)注任務(wù) . 100

6.5.2詞性標(biāo)注任務(wù)的隱馬爾可夫模型實(shí)現(xiàn)示例. 102

6.5.3推廣的分詞建模：不等單元的結(jié)構(gòu)分解 105
參考文獻(xiàn) 107

第 7章機(jī)器學(xué)習(xí)模型 . 109

7.1機(jī)器學(xué)習(xí)模型的要素配置. 109

7.2損失函數(shù) 111

7.3 k近鄰方法 . 116

7.4感知機(jī) . 119

7.5鉸鏈損失與支持向量機(jī) 124

7.5.1最大化間隔 125

7.5.2懲罰項(xiàng)導(dǎo)出的軟邊界. 128

7.5.3映射到高維空間 . 129

7.5.4核函數(shù). 132

7.5.5支持向量機(jī)的訓(xùn)練算法 . 134

7.5.6多類支持向量機(jī) . 136

7.5.7支持向量機(jī)工具包 136

7.5.8支持向量機(jī)總結(jié) . 138

7.6交叉熵?fù)p失與最大熵模型. 138

7.6.1最大似然估計(jì)：對(duì)數(shù)-線性模型 139

7.6.2最大熵原理 143

7.6.3平滑 145

7.6.4最大熵模型的工具包. 146

7.7從神經(jīng)元學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò). 146

參考文獻(xiàn) 147

XIV自然語言理解
第 8章深度學(xué)習(xí)模型 . 150

8.1表示學(xué)習(xí) 152

8.2連續(xù)空間語言模型：詞嵌入或詞向量 154

8.2.1連續(xù)空間語言模型 154

8.2.2連續(xù)空間語言模型的機(jī)器學(xué)習(xí)解釋. 156

8.2.3 Word2Vec和 GloVe詞嵌入 159

8.2.4評(píng)估詞向量 162

8.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)配置 . 167

8.3.1神經(jīng)網(wǎng)絡(luò)的拓?fù)溥B接方式 168

3.3.2激活函數(shù) . 170

8.4深度學(xué)習(xí)模型的訓(xùn)練 . 175

8.4.1訓(xùn)練目標(biāo)：輸出表示和損失函數(shù) 175

8.4.2誤差反向傳播算法 178

8.4.3深度學(xué)習(xí)的訓(xùn)練管理器 . 179

8.5編碼器-解碼器建模 . 180

8.6編碼器架構(gòu)：循環(huán)神經(jīng)網(wǎng)絡(luò) . 183

8.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)的 BPTT訓(xùn)練算法 185

8.6.2長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) . 186

8.7編碼器架構(gòu)：卷積神經(jīng)網(wǎng)絡(luò) . 188

8.7.1卷積 189

8.7.2池化 190

8.7.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu). 191

8.8編碼器架構(gòu)：Transformer . 192

8.8.1自注意力機(jī)制. 192

8.8.2 Transformer網(wǎng)絡(luò)結(jié)構(gòu) 193

8.9編碼器比較：RNN、CNN和 Transformer 196

8.10序列生成的解碼過程 196

8.11符號(hào)主義對(duì)陣聯(lián)結(jié)主義 199

8.12深度學(xué)習(xí)工具包 201
參考文獻(xiàn) 203

第 9章預(yù)訓(xùn)練語言模型 206

9.1從表示學(xué)習(xí)到自監(jiān)督學(xué)習(xí). 206

9.2從 n元語言模型到預(yù)訓(xùn)練語言模型 207

9.3輸入單元管理 . 211

9.4預(yù)訓(xùn)練語言模型的自回歸解釋 212

9.5以編輯操作定義自監(jiān)督學(xué)習(xí) . 216

9.6采樣與預(yù)測(cè)目標(biāo)的單元選擇 . 217

目錄 XV
9.7編碼器架構(gòu). 218

9.8預(yù)訓(xùn)練語言模型方法的普適化 220

9.9預(yù)訓(xùn)練語言模型的強(qiáng)化策略 . 221

9.9.1知識(shí)增強(qiáng) . 222

9.9.2多模態(tài)預(yù)訓(xùn)練語言模型 . 222

9.9.3模型優(yōu)化 . 224

9.10典型的預(yù)訓(xùn)練語言模型 224
參考文獻(xiàn) 228

第 10章句法分析 232

10.1句法分析概要 233

10.2成分/短語句法分析 . 235

10.2.1喬姆斯基文法層次體系 235

10.2.2上下文無關(guān)文法 237

10.2.3概率上下文無關(guān)文法 242

10.3依存句法 246

10.3.1帶中心詞標(biāo)注的成分句法 . 246

10.3.2依存結(jié)構(gòu) 247

10.3.3成分/短語結(jié)構(gòu)到依存結(jié)構(gòu)的轉(zhuǎn)換 . 248

10.4句法標(biāo)注語料：樹庫(kù) 250

10.5成分/短語句法分析算法. 251

10.5.1 CYK算法 251

10.5.2 Earley算法 254

10.6依存句法分析算法 . 255

10.6.1基于圖模型的依存句法分析 255

10.6.2基于轉(zhuǎn)換模型的依存句法分析 259

10.6.3非投影型依存分析 . 261

10.7句法分析的深度學(xué)習(xí)方法改進(jìn) 264

10.8依存分析的序列到序列建模 266

10.9從容易優(yōu)先分析到全局貪心分析 . 267

10.10句法分析的經(jīng)驗(yàn)結(jié)果 270
參考文獻(xiàn) 272

第 11章語義角色標(biāo)注 . 279

11.1從語義分析到語義角色標(biāo)注 279

11.2句法分析樹上的語義圖 281

11.3語義角色標(biāo)注的規(guī)范和語料 283

11.4語義角色標(biāo)注的建模方式 . 285

XVI自然語言理解
11.5句法特征集成：傳統(tǒng)機(jī)器學(xué)習(xí)模型 291

11.6句法編碼器：深度學(xué)習(xí)模型 292

11.7句法裁剪 297

11.8統(tǒng)一建模成分和依存語義角色標(biāo)注 299

11.9語義角色標(biāo)注中的句法角色變遷 . 300

11.10語義角色標(biāo)注的經(jīng)驗(yàn)結(jié)果 . 303
參考文獻(xiàn) 304

第 12章機(jī)器閱讀理解 . 307

12.1機(jī)器閱讀理解任務(wù)的類型和評(píng)價(jià)指標(biāo) 308

12.2機(jī)器閱讀理解的深度學(xué)習(xí)建模 310

12.2.1編碼器 312

12.2.2解碼器 314

12.3對(duì)話理解 317

12.4面向推理的閱讀理解 319

12.5常識(shí)問答 320

12.6開放域問答 . 322
參考文獻(xiàn) 325

第 13章大語言模型及其前沿應(yīng)用 334

13.1腦計(jì)劃與預(yù)訓(xùn)練語言模型 . 334

13.2從預(yù)訓(xùn)練語言模型到大語言模型 . 336

13.3從提示學(xué)習(xí)到思維鏈推理 . 343

13.4對(duì)話式大語言模型 ChatGPT . 349

13.5知識(shí)邊界 356
參考文獻(xiàn) 363

后記. 366