內(nèi)容分發(fā)網(wǎng)絡(luò)原理與實(shí)踐

作者序　2
目錄　2
第　一部分 CDN基本原理與關(guān)鍵技術(shù)　11
1　影響互聯(lián)網(wǎng)應(yīng)用質(zhì)量的關(guān)鍵　11
1．1　互聯(lián)網(wǎng)應(yīng)用發(fā)展　11
1．2　互聯(lián)網(wǎng)應(yīng)用質(zhì)量　12
1．2．1　質(zhì)量是互聯(lián)網(wǎng)應(yīng)用的生命　12
（1）　用戶對(duì)互聯(lián)網(wǎng)應(yīng)用質(zhì)量的期望　12
（2）　互聯(lián)網(wǎng)應(yīng)用質(zhì)量指標(biāo)--QoE　13
1．2．2　網(wǎng)絡(luò)性能是影響質(zhì)量的關(guān)鍵　14
（1）　網(wǎng)絡(luò)性能對(duì)互聯(lián)網(wǎng)應(yīng)用質(zhì)量的影響　14
（2）　網(wǎng)絡(luò)傳送性能指標(biāo)--QoS　17
1．3　提高互聯(lián)網(wǎng)應(yīng)用質(zhì)量的方法　18
1．3．1　集中式部署帶來(lái)的問(wèn)題　18
1．3．2　利用網(wǎng)站鏡像加速　18
1．3．3　利用CDN進(jìn)行加速　19
（1）　互聯(lián)網(wǎng)2：8法則　19
（2）　CDN的加速作用　21
2　CDN基本原理　24
2．1　CDN的基本概念　24
2．1．1　CDN的定義　24
2．1．2　CDN可承載的內(nèi)容　24
2．2　CDN的工作過(guò)程　25
2．2．1　CDN的基本工作過(guò)程　25
2．2．2　CDN內(nèi)容接入　27
（1）　內(nèi)容存儲(chǔ)接入　28
（2）　內(nèi)容預(yù)注入　28
（3）　實(shí)時(shí)回源　28
2．2．3　CDN用戶請(qǐng)求調(diào)度　29
（1）　全局調(diào)度　29
（2）　本地調(diào)度　29
2．2．4　CDN內(nèi)容分發(fā)　30
（1）　Push方式　30
（2）　Pull方式　31
（3）　混合分發(fā)方式　31
2．2．5　CDN內(nèi)容服務(wù)　32
（1）　靜態(tài)內(nèi)容服務(wù)　32
（2）　動(dòng)態(tài)內(nèi)容服務(wù)　33
3　典型的CDN架構(gòu)與組網(wǎng)　34
3．1　CDN功能平面　34
3．2　CDN內(nèi)部網(wǎng)元　35
（1）　內(nèi)容中心節(jié)點(diǎn)　35
（2）　區(qū)域節(jié)點(diǎn)　36
（3）　邊緣服務(wù)節(jié)點(diǎn)　36
（4）　全局內(nèi)容路由　36
（5）　運(yùn)維管理　37
（6）　運(yùn)營(yíng)管理及適配　37
（7）　接口　37
3．3　CDN部署架構(gòu)　39
3．4　CDN間組網(wǎng)　40
4　CDN關(guān)鍵技術(shù)　43
4．1　統(tǒng)一內(nèi)容ID　44
4．1．1　統(tǒng)一資源定位符　44
4．1．2　CDN內(nèi)容統(tǒng)一ID　45
4．2　本地負(fù)載均衡（SLB）　45
4．2．1　負(fù)載均衡技術(shù)　45
4．2．2　負(fù)載均衡的技術(shù)分類(lèi)　46
（1）　基于DNS的負(fù)載均衡　46
（2）　基于客戶端的負(fù)載均衡　46
（3）　基于OSI模型的負(fù)載均衡　47
4．2．3　負(fù)載均衡的算法　48
4．3　用戶請(qǐng)求路由調(diào)度（RR）/全局負(fù)載均衡（GSLB）　50
4．3．1　基于DNS的用戶調(diào)度　50
（1）　智能DNS技術(shù)　50
（2）　基于DNS重定向調(diào)度　53
（3）　策略的優(yōu)劣分析　54
4．3．2　基于 HTTP 的重定向　54
（1）　HTTP重定向基本原理　54
（2）　基于HTTP重定向調(diào)度　55
（3）　策略的優(yōu)劣分析　55
4．4　內(nèi)容緩存技術(shù)　56
4．4．1　緩存技術(shù)　56
4．4．2　緩存替換算法　57
4．5　流媒體技術(shù)　63
4．5．1　實(shí)時(shí)流媒體技術(shù)：RTSP　63
4．5．2　漸進(jìn)式下載流媒體技術(shù)：HTTP Streaming　65
4．5．3　自適應(yīng)流媒體技術(shù)　68
（1）　HTTP Live Streaming（HLS）　70
（2）　Smooth Streaming　70
（3）　HTTP Dynamic Streaming（HDS）　71
（4）　DASH　73
4．6　服務(wù)鑒權(quán)技術(shù)　76
4．6．1　常見(jiàn)的服務(wù)鑒權(quán)技術(shù)　76
4．6．2　CDN服務(wù)鑒權(quán)機(jī)制　77
5　CDN新技術(shù)介紹　80
5．1　前端優(yōu)化技術(shù)　80
5．2　動(dòng)態(tài)加速技術(shù)　82
（1）　差異化緩存技術(shù)　82
（2）　傳輸加速技術(shù)　84
（3）　內(nèi)容生成加速技術(shù)　85
5．3　SDN調(diào)度技術(shù)　86
5．4　P2P流媒體技術(shù)　88
5．5　應(yīng)用協(xié)議加速技術(shù)　88
（1）　廣域網(wǎng)應(yīng)用加速　89
（2）　SSL應(yīng)用加速　89
（3）　HTTPS加速　89
5．6　智能協(xié)同技術(shù)　89
5．7　NVMe技術(shù)　90
第二部分　選擇合適的CDN提升業(yè)務(wù)質(zhì)量　92
6　CDN產(chǎn)業(yè)與市場(chǎng)發(fā)展　92
6．1　CDN產(chǎn)業(yè)發(fā)展　92
6．1．1　CDN產(chǎn)業(yè)的發(fā)展歷程　92
6．1．2　CDN服務(wù)提供商類(lèi)型　93
6．1．3　CDN市場(chǎng)的發(fā)展特點(diǎn)　95
6．2　CDN發(fā)展趨勢(shì)　95
6．2．1　CDN業(yè)務(wù)發(fā)展趨勢(shì)　95
（1）　視頻成為最主要業(yè)務(wù)　96
（2）　增值業(yè)務(wù)快速增長(zhǎng)　96
（3）　差異化訂制需求增長(zhǎng)　97
6．2．2　CDN市場(chǎng)發(fā)展趨勢(shì)　98
（1）　行業(yè)競(jìng)爭(zhēng)加大，資費(fèi)逐年降低　98
（2）　客戶逐步自建，自建和租用結(jié)合　98
（3）　運(yùn)營(yíng)商紛紛切入CDN市場(chǎng)　99
6．2．3　CDN網(wǎng)絡(luò)發(fā)展趨勢(shì)　100
（1）　CDN融合承載　100
（2）　CDN與云結(jié)合　101
（3）　CDN網(wǎng)絡(luò)協(xié)同　104
6．3　CDN服務(wù)商面臨的挑戰(zhàn)　104
6．3．1　不可忽視的安全因素　105
6．3．2　大數(shù)據(jù)流量的利用　105
6．3．3　推進(jìn)統(tǒng)一的技術(shù)標(biāo)準(zhǔn)　105
6．3．4　定制化的技術(shù)創(chuàng)新要求　105
7　選擇合適的CDN　107
7．1　租用CDN vs 自建CDN　107
7．1．1　業(yè)務(wù)需求　107
7．1．2　CDN與成本分析　107
（1）　帶寬成本　107
（2）　建設(shè)和維護(hù)成本　107
7．1．3　CDN租用與自建結(jié)合　108
7．2　租用CDN的選擇　109
7．2．1　CDN服務(wù)類(lèi)型與功能　110
7．2．2　CDN容量與分布　110
7．2．3　CDN運(yùn)營(yíng)維護(hù)　110
7．2．4　CDN價(jià)格　111
7．2．5　多CDN租用　112
7．3　自建CDN的選擇要素　112
7．3．1　開(kāi)源CDN軟件 vs商業(yè)CDN軟件　113
7．3．2　業(yè)務(wù)需求變化　113
7．3．3　開(kāi)發(fā)和維護(hù)能力　114
8　租用CDN實(shí)施的考慮與評(píng)估　115
8．1　CDN需求確認(rèn)　115
8．2　CDN測(cè)試驗(yàn)證　118
8．2．1　CDN服務(wù)切換　118
8．2．2　CDN服務(wù)質(zhì)量測(cè)試　119
（1）　響應(yīng)時(shí)間　120
（2）　節(jié)點(diǎn)性能　121
（3）　服務(wù)錯(cuò)誤率　122
（4）　應(yīng)用層性能　122
8．3　CDN服務(wù)監(jiān)控　123
（1）　設(shè)備監(jiān)控　123
（2）　服務(wù)監(jiān)控　125
8．4　多CDN租用調(diào)度　125
8．4．1　多CDN租用調(diào)度系統(tǒng)(TMS)　126
8．4．2　服務(wù)調(diào)度流程　128
9　自建CDN實(shí)施的考慮與評(píng)估　130
9．1　自建CDN案例分析　130
9．2　自建CDN中的開(kāi)源軟件介紹　132
9．2．1　緩存系統(tǒng)　133
9．2．2　內(nèi)容管理系統(tǒng)　133
9．2．3　內(nèi)容路由系統(tǒng)　134
9．2．4　監(jiān)控系統(tǒng)　135
9．3　自建CDN部署　136
9．4　自建CDN技術(shù)指標(biāo)　137
9．4．1　命中率　137
9．4．2　吞吐量　138
9．4．3　并發(fā)值　139
9．4．4　響應(yīng)時(shí)間　140
9．4．5　MDI　141
9．4．6　MOS　142
9．4．7　穩(wěn)定性和可靠性　143
第三部分　利用開(kāi)源軟件設(shè)計(jì)自有CDN　144
10　開(kāi)源CDN架構(gòu)設(shè)計(jì)　144
10．1　業(yè)務(wù)需求分析　144
10．2　本書(shū)開(kāi)源CDN總體架構(gòu)　145
10．3　CDN網(wǎng)絡(luò)規(guī)劃　147
11　流服務(wù)緩存節(jié)點(diǎn)模塊的設(shè)計(jì)　148
11．1　流服務(wù)緩存節(jié)點(diǎn)的特性　148
11．2　流服務(wù)緩存節(jié)點(diǎn)開(kāi)源軟件簡(jiǎn)介　148
11．2．1　Squid簡(jiǎn)介　148
11．2．2　Quagga簡(jiǎn)介　149
11．2．3　LVS簡(jiǎn)介　150
11．2．4　Keepalived簡(jiǎn)介　150
11．2．5　Nginx簡(jiǎn)介　150
11．2．6　Lua簡(jiǎn)介　150
11．3　模塊設(shè)計(jì)　151
11．3．1　代理緩存（Squid）　151
11．3．2　四層負(fù)載均衡（OSPF+LVS+Keepalived）　152
11．3．3　七層負(fù)載均衡（Nginx+Lua）　153
11．4　環(huán)境配置　153
11．4．1　Squid安裝與配置　153
11．4．2　Ospf安裝與配置　157
11．4．3　LVS安裝　159
11．4．4　Keepalived安裝與配置　160
11．4．5　Nginx安裝與配置　163
11．4．6　lua-nginx-module模塊安裝　164
12　內(nèi)容庫(kù)模塊的設(shè)計(jì)　167
12．1　內(nèi)容庫(kù)的特性　167
12．2　內(nèi)容庫(kù)開(kāi)源軟件簡(jiǎn)介　167
12．2．1　FTP簡(jiǎn)介　167
12．2．2　Ceph簡(jiǎn)介　167
12．3　模塊設(shè)計(jì)　169
12．3．1　內(nèi)容注入（FTP）　169
12．3．2　分布式內(nèi)容存儲(chǔ)（Ceph）　169
12．3．3　內(nèi)容分發(fā)（Nginx）　170
12．4　環(huán)境配置　170
12．4．1　FTP服務(wù)器搭建　170
12．4．2　Ceph安裝與配置　171
12．4．3　Nginx安裝與配置　175
13　全局用戶請(qǐng)求調(diào)度模塊的設(shè)計(jì)　176
13．1　基于DNS的流量管理服務(wù)設(shè)計(jì)　176
13．1．1　基于DNS流量管理的開(kāi)源軟件簡(jiǎn)介　176
（1）　Bind　176
（2）　Mysql數(shù)據(jù)庫(kù)　176
13．1．2　模塊設(shè)計(jì)　177
13．1．3　環(huán)境配置　177
13．2　基于HTTP的應(yīng)用層調(diào)度服務(wù)設(shè)計(jì)　180
13．2．1　基于HTTP調(diào)度的開(kāi)源軟件簡(jiǎn)介　180
13．2．2　模塊設(shè)計(jì)　180
13．2．3　環(huán)境配置　181
14　網(wǎng)絡(luò)管理模塊的設(shè)計(jì)　183
14．1　網(wǎng)絡(luò)管理工作流程　183
14．2　網(wǎng)絡(luò)管理開(kāi)源軟件簡(jiǎn)介　184
14．2．1　Zabbix簡(jiǎn)介　184
14．2．2　InfluxDB簡(jiǎn)介　186
14．2．3　Grafana簡(jiǎn)介　188
14．3　模塊設(shè)計(jì)　188
14．3．1　數(shù)據(jù)采集（Zabbix）　188
14．3．2　數(shù)據(jù)存儲(chǔ)（InfluxDB）　189
14．3．3　數(shù)據(jù)展示（Grafana）　189
14．4　環(huán)境配置　189
14．4．1　Zabbix安裝與配置　189
14．4．2　InfluxDB安裝與配置　192
14．4．3　Grafana安裝與配置　195
15　基于開(kāi)源的自建CDN測(cè)試驗(yàn)證　197
15．2　系統(tǒng)測(cè)試　197
15．2．1　測(cè)試目的　197
15．2．2　測(cè)試方法　198
15．2．3　測(cè)試拓?fù)浣M網(wǎng)　200
15．2．4　測(cè)試內(nèi)容　201
15．2．5　測(cè)試過(guò)程　202
15．2　現(xiàn)網(wǎng)測(cè)試　208
15．2．1　測(cè)試目的　208
15．2．2　測(cè)試方法　208
15．2．3　測(cè)試過(guò)程　209
參考文獻(xiàn)　214