自然語言處理綜論（第二版）

第1章導(dǎo)論
1．1語音與語言處理中的知識(shí)
1．2歧義
1．3模型和算法
1．4語言、思維和理解
1．5學(xué)科現(xiàn)狀與近期發(fā)展
1．6語音和語言處理簡(jiǎn)史
1．6．1基礎(chǔ)研究：20世紀(jì)40年代和20世紀(jì)50年代
1．6．2兩個(gè)陣營(yíng)：1957年至1970年
1．6．3四個(gè)范型：1970年至1983年
1．6．4經(jīng)驗(yàn)主義和有限狀態(tài)模型的復(fù)蘇：1983年至1993年
1．6．5不同領(lǐng)域的合流：1994年至1999年
1．6．6機(jī)器學(xué)習(xí)的興起：2000年至2008年
1．6．7關(guān)于多重發(fā)現(xiàn)
1．6．8心理學(xué)的簡(jiǎn)要注記
1．7小結(jié)
1．8文獻(xiàn)和歷史說明
第一部分 詞匯的計(jì)算機(jī)處理
第2章正則表達(dá)式與自動(dòng)機(jī)
2．1正則表達(dá)式
2．1．1基本正則表達(dá)式模式
2．1．2析取、組合與優(yōu)先關(guān)系
2．1．3一個(gè)簡(jiǎn)單的例子
2．1．4一個(gè)比較復(fù)雜的例子
2．1．5高級(jí)算符
2．1．6正則表達(dá)式中的替換、存儲(chǔ)器與ELIZA
2．2有限狀態(tài)自動(dòng)機(jī)
2．2．1用FSA來識(shí)別羊的語言
2．2．2形式語言
2．2．3其他例子
2．2．4非確定FSA
2．2．5使用NFSA接收符號(hào)串
2．2．6識(shí)別就是搜索
2．2．7確定自動(dòng)機(jī)與非確定自動(dòng)機(jī)的關(guān)系
2．3正則語言與 FSA
2．4小結(jié)
2．5文獻(xiàn)和歷史說明
第3章 詞與轉(zhuǎn)錄機(jī)
3．1英語形態(tài)學(xué)概觀
3．1．1屈折形態(tài)學(xué)
3．1．2派生形態(tài)學(xué)
3．1．3附著
3．1．4非毗連形態(tài)學(xué)
3．1．5一致關(guān)系
3．2有限狀態(tài)形態(tài)剖析
3．3有限狀態(tài)詞表的建造
3．4有限狀態(tài)轉(zhuǎn)錄機(jī)
3．4．1定序轉(zhuǎn)錄機(jī)和確定性
3．5用于形態(tài)剖析的FST
3．6轉(zhuǎn)錄機(jī)和正詞法規(guī)則
3．7把FST詞表與規(guī)則相結(jié)合
3．8與詞表無關(guān)的FST：Porter詞干處理器
3．9單詞和句子的詞例還原
3．9．1中文的自動(dòng)切詞
3．10拼寫錯(cuò)誤的檢查與更正
3．11最小編輯距離
3．12人是怎樣進(jìn)行形態(tài)處理的
3．13小結(jié)
3．14文獻(xiàn)和歷史說明
第4章 N元語法
4．1語料庫中單詞數(shù)目的計(jì)算
4．2簡(jiǎn)單的（非平滑的）N元語法
4．3訓(xùn)練集和測(cè)試集
4．3．1N元語法及其對(duì)訓(xùn)練語料庫的敏感性
4．3．2未知詞：開放詞匯與封閉詞匯
4．4N元語法的評(píng)測(cè)：困惑度
4．5平滑
4．5．1Laplace平滑
4．5．2Good Turing打折法
4．5．3Good Turing估計(jì)的一些高級(jí)專題
4．6插值法
4．7回退法
4．7．1高級(jí)專題：計(jì)算Katz回退的α和P*
4．8實(shí)際問題：工具包和數(shù)據(jù)格式
4．9語言模型建模中的高級(jí)專題
4．9．1高級(jí)的平滑方法：Kneser Ney平滑法
4．9．2基于類別的N元語法
4．9．3語言模型的自適應(yīng)和網(wǎng)絡(luò)（Web）應(yīng)用
4．9．4長(zhǎng)距離信息的使用：簡(jiǎn)要的綜述
4．10信息論背景
4．10．1用于比較模型的交叉熵
4．11高級(jí)問題：英語的熵和熵率均衡性
4．12小結(jié)
4．13文獻(xiàn)和歷史說明
第5章詞類標(biāo)注
5．1（大多數(shù)）英語詞的分類
5．2英語的標(biāo)記集
5．3詞類標(biāo)注
5．4基于規(guī)則的詞類標(biāo)注
5．5基于隱馬爾可夫模型的詞類標(biāo)注
5．5．1計(jì)算最可能的標(biāo)記序列： 一個(gè)實(shí)例
5．5．2隱馬爾可夫標(biāo)注算法的形式化
5．5．3使用Viterbi算法來進(jìn)行HMM標(biāo)注
5．5．4把HMM擴(kuò)充到三元語法
5．6基于轉(zhuǎn)換的標(biāo)注
5．6．1怎樣應(yīng)用TBL規(guī)則
5．6．2怎樣學(xué)習(xí)TBL規(guī)則
5．7評(píng)測(cè)和錯(cuò)誤分析
5．7．1錯(cuò)誤分析
5．8詞類標(biāo)注中的高級(jí)專題
5．8．1實(shí)際問題：標(biāo)記的不確定性與詞例還原
5．8．2未知詞
5．8．3其他語言中的詞類標(biāo)注
5．8．4標(biāo)注算法的結(jié)合
5．9高級(jí)專題：拼寫中的噪聲信道模型
5．9．1上下文錯(cuò)拼更正
5．10小結(jié)
5．11文獻(xiàn)和歷史說明
第6章隱馬爾可夫模型與最大熵模型
6．1馬爾可夫鏈
6．2隱馬爾可夫模型
6．3似然度的計(jì)算：向前算法
6．4解碼：Viterbi算法
6．5HMM的訓(xùn)練：向前向后算法
6．6最大熵模型：背景
6．6．1線性回歸
6．6．2邏輯回歸
6．6．3邏輯回歸：分類
6．6．4高級(jí)專題：邏輯回歸的訓(xùn)練
6．7最大熵模型
6．7．1為什么稱為最大熵
6．8最大熵馬爾可夫模型
6．8．1MEMM的解碼和訓(xùn)練
6．9小結(jié)
6．10文獻(xiàn)和歷史說明
第二部分 語音的計(jì)算機(jī)處理
第7章語音學(xué)
7．1言語語音與語音標(biāo)音法
7．2發(fā)音語音學(xué)
7．2．1發(fā)音器官
7．2．2輔音：發(fā)音部位
7．2．3輔音：發(fā)音方法
7．2．4元音
7．2．5音節(jié)
7．3音位范疇與發(fā)音變異
7．3．1語音特征
7．3．2語音變異的預(yù)測(cè)
7．3．3影響語音變異的因素
7．4聲學(xué)語音學(xué)和信號(hào)
7．4．1波
7．4．2語音的聲波
7．4．3頻率與振幅：音高和響度
7．4．4從波形來解釋音子
7．4．5聲譜和頻域
7．4．6聲源濾波器模型
7．5語音資源
7．6高級(jí)問題：發(fā)音音系學(xué)與姿態(tài)音系學(xué)
7．7小結(jié)
7．8文獻(xiàn)和歷史說明
第8章 語音合成
8．1文本歸一化
8．1．1句子的詞例還原
8．1．2非標(biāo)準(zhǔn)詞
8．1．3同形異義詞的排歧
8．2語音分析
8．2．1查詞典
8．2．2名稱
8．2．3字位-音位轉(zhuǎn)換
8．3韻律分析
8．3．1韻律的結(jié)構(gòu)
8．3．2韻律的突顯度
8．3．3音調(diào)
8．3．4更精巧的模型：ToBI
8．3．5從韻律標(biāo)記計(jì)算音延
8．3．6從韻律標(biāo)記計(jì)算F0
8．3．7文本分析的最后結(jié)果：內(nèi)部表示
8．4雙音子波形合成
8．4．1建立雙音子數(shù)據(jù)庫的步驟
8．4．2雙音子毗連和用于韻律的TD-PSOLA
8．5單元選擇（波形）合成
8．6評(píng)測(cè)
8．7文獻(xiàn)和歷史說明
第9章語音自動(dòng)識(shí)別
9．1語音識(shí)別的總體結(jié)構(gòu)
9．2隱馬爾可夫模型應(yīng)用于語音識(shí)別
9．3特征抽?。篗FCC矢量
9．3．1預(yù)加重
9．3．2加窗
9．3．3離散傅里葉變換
9．3．4Mel濾波器組和對(duì)數(shù)
9．3．5倒譜：逆向傅里葉變換
9．3．6Delta特征與能量
9．3．7總結(jié)：MFCC
9．4 聲學(xué)似然度的計(jì)算
9．4．1矢量量化
9．4．2高斯概率密度函數(shù)
9．4．3概率、對(duì)數(shù)概率和距離函數(shù)
9．5詞典和語言模型
9．6搜索與解碼
9．7嵌入式訓(xùn)練
9．8評(píng)測(cè)：詞錯(cuò)誤率
9．9小結(jié)
9．10文獻(xiàn)和歷史說明
第10章語音識(shí)別：高級(jí)專題
10．1多遍解碼：N最佳表和格
10．2A*解碼算法（“?！苯獯a算法）
10．3依賴于上下文的聲學(xué)模型：三音子
10．4分辨訓(xùn)練
10．4．1最大互信息估計(jì)
10．4．2基于后驗(yàn)分類器的聲學(xué)模型
10．5語音變異的建模
10．5．1環(huán)境語音變異和噪聲
10．5．2說話人變異和說話人適應(yīng)
10．5．3發(fā)音建模：由于語類的差別而產(chǎn)生的變異
10．6元數(shù)據(jù)：邊界、標(biāo)點(diǎn)符號(hào)和不流利現(xiàn)象
10．7人的語音識(shí)別
10．8小結(jié)
10．9文獻(xiàn)和歷史說明
第11章計(jì)算音系學(xué)
11．1有限狀態(tài)音系學(xué)
11．2高級(jí)有限狀態(tài)音系學(xué)
11．2．1元音和諧
11．2．2模板式形態(tài)學(xué)
11．3計(jì)算優(yōu)選理論
11．3．1優(yōu)選理論中的有限狀態(tài)轉(zhuǎn)錄機(jī)模型
11．3．2優(yōu)選理論的隨機(jī)模型
11．4音節(jié)切分
11．5音位規(guī)則和形態(tài)規(guī)則的機(jī)器學(xué)習(xí)
11．5．1音位規(guī)則的機(jī)器學(xué)習(xí)
11．5．2形態(tài)規(guī)則的機(jī)器學(xué)習(xí)
11．5．3優(yōu)選理論中的機(jī)器學(xué)習(xí)
11．6小結(jié)
11．7文獻(xiàn)和歷史說明
第三部分句法的計(jì)算機(jī)處理
第12章英語的形式語法
12．1組成性
12．2上下文無關(guān)語法
12．2．1上下文無關(guān)語法的形式定義
12．3英語的一些語法規(guī)則
12．3．1句子一級(jí)的結(jié)構(gòu)
12．3．2子句與句子
12．3．3名詞短語
12．3．4一致關(guān)系
12．3．5動(dòng)詞短語和次范疇化
12．3．6助動(dòng)詞
12．3．7并列關(guān)系
12．4樹庫
12．4．1樹庫的例子：賓州樹庫課題
12．4．2作為語法的樹庫
12．4．3樹庫搜索
12．4．4中心詞與中心詞的發(fā)現(xiàn)
12．5語法等價(jià)與范式
12．6有限狀態(tài)語法和上下文無關(guān)語法
12．7依存語法
12．7．1依存和中心詞之間的關(guān)系
12．7．2范疇語法
12．8口語的句法
12．8．1不流暢現(xiàn)象與口語修正
12．8．2口語樹庫
12．9語法和人的語言處理
12．10小結(jié)
12．11文獻(xiàn)和歷史說明
第13章句法剖析
13．1剖析就是搜索
13．1．1自頂向下剖析
13．1．2自底向上剖析
13．1．3自頂向下剖析與自底向上剖析比較
13．2歧義
13．3面對(duì)歧義的搜索
13．4動(dòng)態(tài)規(guī)劃剖析方法
13．4．1CKY剖析
13．4．2Earley算法
13．4．3線圖剖析
13．5局部剖析
13．5．1基于規(guī)則的有限狀態(tài)組塊分析
13．5．2基于機(jī)器學(xué)習(xí)的組塊分析方法
13．5．3組塊分析系統(tǒng)的評(píng)測(cè)
13．6小結(jié)
13．7文獻(xiàn)和歷史說明
第14章統(tǒng)計(jì)剖析
14．1概率上下文無關(guān)語法
14．1．1 PCFG用于排歧
14．1．2PCFG用于語言建模
14．2PCFG的概率CKY剖析
14．3PCFG規(guī)則概率的學(xué)習(xí)途徑
14．4PCFG的問題
14．4．1獨(dú)立性假設(shè)忽略了規(guī)則之間的結(jié)構(gòu)依存關(guān)系
14．4．2缺乏對(duì)詞匯依存關(guān)系的敏感性
14．5使用分離非終極符號(hào)的辦法來改進(jìn)PCFG
14．6概率詞匯化的CFG
14．6．1Collins剖析器
14．6．2高級(jí)問題：Collins剖析器更多的細(xì)節(jié)
14．7剖析器的評(píng)測(cè)
14．8高級(jí)問題：分辨再排序
14．9高級(jí)問題：基于剖析器的語言模型
14．10人的剖析
14．11小結(jié)
14．12文獻(xiàn)和歷史說明
第15章特征與合一
15．1特征結(jié)構(gòu)
15．2特征結(jié)構(gòu)的合一
15．3語法中的特征結(jié)構(gòu)
15．3．1一致關(guān)系
15．3．2中心語特征
15．3．3次范疇化
15．3．4長(zhǎng)距離依存關(guān)系
15．4合一的實(shí)現(xiàn)
15．4．1合一的數(shù)據(jù)結(jié)構(gòu)
15．4．2合一算法
15．5帶有合一約束的剖析
15．5．1把合一結(jié)合到Earley剖析器中
15．5．2基于合一的剖析
15．6類型與繼承
15．6．1高級(jí)問題：類型的擴(kuò)充
15．6．2合一的其他擴(kuò)充
15．7小結(jié)
15．8文獻(xiàn)和歷史說明
第16章語言和復(fù)雜性
16．1Chomsky 層級(jí)
16．2怎么判斷一種語言不是正則的
16．2．1抽吸引理
16．2．2證明各種自然語言不是正則語言
16．3自然語言是上下文無關(guān)的嗎
16．4計(jì)算復(fù)雜性和人的語言處理
16．5小結(jié)
16．6文獻(xiàn)和歷史說明
第四部分語義和語用的計(jì)算機(jī)處理
第17章意義的表示
17．1意義表示的計(jì)算要求
17．1．1可驗(yàn)證性
17．1．2無歧義性
17．1．3規(guī)范形式
17．1．4推理與變量
17．1．5表達(dá)能力
17．2模型論語義學(xué)
17．3一階邏輯
17．3．1一階邏輯基礎(chǔ)
17．3．2變量和量詞
17．3．3λ表示法
17．3．4一階邏輯的語義
17．3．5推理
17．4事件與狀態(tài)的表示
17．4．1時(shí)間表示
17．4．2體
17．5描述邏輯
17．6意義的具體化與情境表示方法
17．7小結(jié)
17．8文獻(xiàn)和歷史說明
第18章計(jì)算語義學(xué)
18．1句法驅(qū)動(dòng)的語義分析
18．2句法規(guī)則的語義擴(kuò)充
18．3量詞轄域歧義及非確定性
18．3．1存儲(chǔ)與檢索方法
18．3．2基于約束的方法
18．4基于合一的語義分析方法
18．5語義與Earley分析器的集成
18．6成語和組成性
18．7小結(jié)
18．8文獻(xiàn)和歷史說明
第19章詞匯語義學(xué)
19．1詞義
19．2含義間的關(guān)系
19．2．1同義關(guān)系和反義關(guān)系
19．2．2上下位關(guān)系
19．2．3語義場(chǎng)
19．3WordNet：詞匯關(guān)系信息庫
19．4事件參與者
19．4．1題旨角色
19．4．2因素交替（Diathesis Alternations）
19．4．3題旨角色的問題
19．4．4命題庫
19．4．5FrameNet
19．4．6選擇限制
19．5基元分解
19．6高級(jí)問題：隱喻
19．7小結(jié)
19．8文獻(xiàn)和歷史說明
第20章計(jì)算詞匯語義學(xué)
20．1詞義排歧：綜述
20．2有監(jiān)督詞義排歧
20．2．1監(jiān)督學(xué)習(xí)的特征抽取
20．2．2樸素貝葉斯分類器和決策表分類器
20．3WSD評(píng)價(jià)方法、基準(zhǔn)線和上限
20．4WSD：字典方法和同義詞庫方法
20．4．1Lesk算法
20．4．2選擇限制和選擇優(yōu)先度
20．5最低限度的監(jiān)督WSD：自舉法
20．6詞語相似度：語義字典方法
20．7詞語相似度：分布方法
20．7．1定義詞語的共現(xiàn)向量
20．7．2度量與上下文的聯(lián)系
20．7．3定義兩個(gè)向量之間的相似度
20．7．4評(píng)價(jià)分布式詞語相似度
20．8下位關(guān)系和其他詞語關(guān)系
20．9語義角色標(biāo)注
20．10高級(jí)主題：無監(jiān)督語義排歧
20．11小結(jié)
20．12文獻(xiàn)和歷史說明
第21章計(jì)算話語學(xué)
21．1話語分割
21．1．1無監(jiān)督話語分割
21．1．2有監(jiān)督話語分割
21．1．3話語分割的評(píng)價(jià)
21．2文本連貫性
21．2．1修辭結(jié)構(gòu)理論
21．2．2自動(dòng)連貫指派
21．3指代消解
21．4指代現(xiàn)象
21．4．1指示語的五種類型
21．4．2信息狀態(tài)
21．5代詞指代消解所使用的特征
21．5．1用來過濾潛在指代對(duì)象的特征
21．5．2代詞解釋中的優(yōu)先關(guān)系
21．6指代消解的三種算法
21．6．1代詞指代基準(zhǔn)系統(tǒng)：Hobbs算法
21．6．2指代消解的中心算法
21．6．3代詞指代消解的對(duì)數(shù)線性模型
21．6．4代詞指代消解的特征
21．7共指消解
21．8共指消解的評(píng)價(jià)
21．9高級(jí)問題：基于推理的連貫判定
21．10所指的心理語言學(xué)研究
21．11小結(jié)
21．12文獻(xiàn)和歷史說明
第五部分應(yīng)用
第22章信息抽取
22．1命名實(shí)體識(shí)別
22．1．1命名實(shí)體識(shí)別中的歧義
22．1．2基于序列標(biāo)注的命名實(shí)體識(shí)別
22．1．3命名實(shí)體識(shí)別的評(píng)價(jià)
22．1．4實(shí)用NER架構(gòu)
22．2關(guān)系識(shí)別和分類
22．2．1用于關(guān)系分析的有監(jiān)督學(xué)習(xí)方法
22．2．2用于關(guān)系分析的弱監(jiān)督學(xué)習(xí)方法
22．2．3關(guān)系分析系統(tǒng)的評(píng)價(jià)
22．3時(shí)間和事件處理
22．3．1時(shí)間表達(dá)式的識(shí)別
22．3．2時(shí)間的歸一化
22．3．3事件檢測(cè)和分析
22．3．4TimeBank
22．4模板填充
22．4．1模板填充的統(tǒng)計(jì)方法
22．4．2有限狀態(tài)機(jī)模板填充系統(tǒng)
22．5高級(jí)話題：生物醫(yī)學(xué)信息的抽取
22．5．1生物學(xué)命名實(shí)體識(shí)別
22．5．2基因歸一化
22．5．3生物學(xué)角色和關(guān)系
22．6小結(jié)
22．7文獻(xiàn)和歷史說明
第23章問答和摘要
23．1信息檢索
23．1．1向量空間模型
23．1．2詞語權(quán)重計(jì)算
23．1．3詞語選擇和建立
23．1．4信息檢索系統(tǒng)的評(píng)測(cè)
23．1．5同形關(guān)系、多義關(guān)系和同義關(guān)系
23．1．6改進(jìn)用戶查詢的方法
23．2事實(shí)性問答
23．2．1問題處理
23．2．2段落檢索
23．2．3答案處理
23．2．4事實(shí)性答案的評(píng)價(jià)
23．3摘要
23．4單文檔摘要
23．4．1無監(jiān)督的內(nèi)容選擇
23．4．2基于修辭分析的無監(jiān)督摘要
23．4．3有監(jiān)督的內(nèi)容選擇
23．4．4句子簡(jiǎn)化
23．5多文檔摘要
23．5．1多文檔摘要的內(nèi)容選擇
23．5．2多文檔摘要的信息排序
23．6主題摘要和問答
23．7摘要的評(píng)價(jià)
23．8小結(jié)
23．9文獻(xiàn)和歷史說明
第24章對(duì)話與會(huì)話智能代理
24．1人類會(huì)話的屬性
24．1．1話輪和話輪轉(zhuǎn)換
24．1．2語言作為行動(dòng)：言語行為
24．1．3語言作為共同行動(dòng)：對(duì)話的共同基礎(chǔ)
24．1．4會(huì)話結(jié)構(gòu)
24．1．5會(huì)話隱含
24．2基本的對(duì)話系統(tǒng)
24．2．1ASR組件
24．2．2NLU組件
24．2．3生成和TTS組件
24．2．4對(duì)話管理器
24．2．5錯(cuò)誤處理：確認(rèn)和拒絕
24．3VoiceXML
24．4對(duì)話系統(tǒng)的設(shè)計(jì)和評(píng)價(jià)
24．4．1設(shè)計(jì)對(duì)話系統(tǒng)
24．4．2評(píng)價(jià)對(duì)話系統(tǒng)
24．5信息狀態(tài)和對(duì)話行為
24．5．1使用對(duì)話行為
24．5．2解釋對(duì)話行為
24．5．3檢測(cè)糾正行為
24．5．4生成對(duì)話行為：確認(rèn)和拒絕
24．6馬爾可夫決策過程架構(gòu)
24．7高級(jí)問題：基于規(guī)劃的對(duì)話行為
24．7．1規(guī)劃推理解釋和生成
24．7．2對(duì)話的意圖結(jié)構(gòu)
24．8小結(jié)
24．9文獻(xiàn)和歷史說明
第25章機(jī)器翻譯
25．1為什么機(jī)器翻譯如此困難
25．1．1類型學(xué)
25．1．2其他的結(jié)構(gòu)差異
25．1．3詞匯的差異
25．2經(jīng)典的機(jī)器翻譯方法與Vauquois三角形
25．2．1直接翻譯
25．2．2轉(zhuǎn)換方法
25．2．3傳統(tǒng)機(jī)器翻譯系統(tǒng)中的直接和轉(zhuǎn)換相融合的方法
25．2．4中間語言的思想：使用意義
25．3統(tǒng)計(jì)機(jī)器翻譯
25．4P(F|E)：基于短語的翻譯模型
25．5翻譯中的對(duì)齊
25．5．1IBM模型1
25．5．2HMM對(duì)齊
25．6對(duì)齊模型的訓(xùn)練
25．6．1訓(xùn)練對(duì)齊模型的EM算法
25．7用于基于短語機(jī)器翻譯的對(duì)稱對(duì)齊
25．8基于短語統(tǒng)計(jì)機(jī)器翻譯的解碼
25．9機(jī)器翻譯評(píng)價(jià)
25．9．1使用人工評(píng)價(jià)者
25．9．2自動(dòng)評(píng)價(jià)：BLEU
25．10高級(jí)問題：機(jī)器翻譯的句法模型
25．11高級(jí)問題：IBM模型3和繁衍度
25．11．1模型3的訓(xùn)練
25．12高級(jí)問題：機(jī)器翻譯的對(duì)數(shù)線性模型
25．13小結(jié)
25．14文獻(xiàn)和歷史說明
參考文獻(xiàn)