對(duì)象存儲(chǔ)實(shí)戰(zhàn)指南

第一篇 基礎(chǔ)與原理
第1章 對(duì)象存儲(chǔ)概述 2
1．1 什么是對(duì)象存儲(chǔ) 2
1．1．1 存儲(chǔ)發(fā)展歷史 2
1．1．2 塊存儲(chǔ) 4
1．1．3 文件存儲(chǔ) 5
1．1．4 對(duì)象存儲(chǔ) 5
1．2 存儲(chǔ)技術(shù)對(duì)比分析 6
1．3 存儲(chǔ)技術(shù)架構(gòu) 8
1．3．1 存儲(chǔ)區(qū)域網(wǎng)絡(luò)架構(gòu) 8
1．3．2 網(wǎng)絡(luò)附加存儲(chǔ)架構(gòu) 9
1．3．3 對(duì)象存儲(chǔ)架構(gòu) 10
1．4 公共云對(duì)象存儲(chǔ)服務(wù)實(shí)現(xiàn)架構(gòu) 11
1．4．1 基于分布式文件系統(tǒng)構(gòu)建 11
1．4．2 基于本地鍵值存儲(chǔ)構(gòu)建 12
1．5 公共云對(duì)象存儲(chǔ)服務(wù)的關(guān)鍵能力 12
1．5．1 安全性 13
1．5．2 高可靠 13
1．5．3 高可用 13
1．5．4 擴(kuò)展性 14
1．5．5 性價(jià)比 14
1．6 小結(jié) 14
第2章 協(xié)調(diào)和復(fù)制 15
2．1 協(xié)調(diào) 15
2．1．1 協(xié)調(diào)技術(shù)發(fā)展史 15
2．1．2 兩將軍問題 20
2．1．3 拜占庭將軍問題 21
2．1．4 原子廣播 22
2．1．5 視圖復(fù)制 23
2．1．6 PAXOS 24
2．1．7 RAFT 26
2．1．8 協(xié)調(diào)達(dá)成共識(shí)算法分析 27
2．1．9 對(duì)象存儲(chǔ)服務(wù)的共識(shí)應(yīng)用 29
2．2 復(fù)制 30
2．2．1 數(shù)據(jù)冗余技術(shù) 30
2．2．2 復(fù)制一致性 32
2．2．3 復(fù)制協(xié)議 35
2．2．4 存儲(chǔ)領(lǐng)域的復(fù)制技術(shù)應(yīng)用 37
2．3 小結(jié) 39
第3章 命名和同步 40
3．1 命名技術(shù) 40
3．1．1 命名方式 40
3．1．2 命名分類 47
3．1．3 對(duì)象存儲(chǔ)命名應(yīng)用 49
3．2 物理時(shí)鐘同步 53
3．2．1 物理時(shí)鐘同步技術(shù) 53
3．2．2 對(duì)象存儲(chǔ)物理時(shí)鐘同步應(yīng)用 55
3．3 邏輯時(shí)鐘 56
3．3．1 邏輯時(shí)鐘技術(shù) 56
3．3．2 對(duì)象存儲(chǔ)邏輯時(shí)鐘應(yīng)用 59
3．4 小結(jié) 60
第4章 容錯(cuò)和數(shù)據(jù)完整性 61
4．1 容錯(cuò) 62
4．1．1 典型故障場(chǎng)景 62
4．1．2 故障模式 66
4．1．3 故障檢測(cè)和分析 67
4．1．4 故障容錯(cuò)效果 71
4．1．5 分布式提交技術(shù) 72
4．1．6 日志恢復(fù)技術(shù) 74
4．1．7 對(duì)象存儲(chǔ)容錯(cuò) 75
4．2 數(shù)據(jù)完整性 76
4．2．1 數(shù)據(jù)損壞源頭 77
4．2．2 數(shù)據(jù)損壞類型 77
4．2．3 數(shù)據(jù)損壞發(fā)生時(shí)刻 78
4．2．4 數(shù)據(jù)損壞檢測(cè)方法 78
4．2．5 數(shù)據(jù)損壞檢測(cè)算法 78
4．2．6 數(shù)據(jù)損壞修復(fù)技術(shù) 79
4．2．7 對(duì)象存儲(chǔ)數(shù)據(jù)損壞 79
4．3 小結(jié) 80
第5章 元數(shù)據(jù)索引設(shè)計(jì) 82
5．1 對(duì)象存儲(chǔ)元數(shù)據(jù)需求分析 83
5．1．1 業(yè)界NoSQL分析 86
5．1．2 采用NoSQL領(lǐng)域的鍵值存儲(chǔ)技術(shù) 89
5．2 鍵值存儲(chǔ)原理 89
5．2．1 基于B樹的鍵值存儲(chǔ) 89
5．2．2 基于LSM-Tree的鍵值存儲(chǔ) 92
5．2．3 鍵值存儲(chǔ)布局 94
5．3 分布式鍵值存儲(chǔ)實(shí)現(xiàn) 95
5．3．1 基于單機(jī)鍵值存儲(chǔ)構(gòu)建分布式鍵值系統(tǒng) 95
5．3．2 基于分布式文件系統(tǒng)構(gòu)建分布式鍵值系統(tǒng) 96
5．4 對(duì)象存儲(chǔ)元數(shù)據(jù) 97
5．4．1 基于分布式數(shù)據(jù)庫(kù)構(gòu)建元數(shù)據(jù) 97
5．4．2 基于分布式鍵值存儲(chǔ)構(gòu)建元數(shù)據(jù) 97
5．5 小結(jié) 97
第二篇 操作和使用
第6章 快速上手 100
6．1 快速使用公共云對(duì)象存儲(chǔ)服務(wù) 100
6．2 基本概念 100
6．2．1 用戶的訪問密鑰 101
6．2．2 存儲(chǔ)空間 103
6．2．3 對(duì)象或文件 103
6．2．4 地域 103
6．2．5 訪問域名 104
6．3 開通對(duì)象存儲(chǔ)服務(wù) 104
6．3．1 創(chuàng)建存儲(chǔ)空間 105
6．3．2 上傳對(duì)象 107
6．3．3 下載對(duì)象 109
6．3．4 查看對(duì)象 110
6．3．5 刪除對(duì)象 110
6．3．6 刪除存儲(chǔ)空間 111
6．4 小結(jié) 112
第7章 遷移數(shù)據(jù)到對(duì)象存儲(chǔ) 113
7．1 離線遷移設(shè)備 113
7．1．1 什么是離線遷移 113
7．1．2 遷移設(shè)備類型 114
7．1．3 遷移數(shù)據(jù)到更多云產(chǎn)品 115
7．1．4 遷移流程 115
7．1．5 注意事項(xiàng) 117
7．2 在線遷移服務(wù) 118
7．2．1 什么是在線遷移 118
7．2．2 同云對(duì)象存儲(chǔ)OSS內(nèi)的在線數(shù)據(jù)遷移 118
7．2．3 同云產(chǎn)品間的在線數(shù)據(jù)遷移 121
7．2．4 跨云的在線數(shù)據(jù)遷移 124
7．2．5 注意事項(xiàng) 125
7．3 遷移工具 126
7．3．1 ossimport工具 126
7．3．2 ossutil工具 127
7．3．3 鏡像回源 128
7．4 小結(jié) 131
第8章 安全與合規(guī) 132
8．1 安全配置 132
8．1．1 賬戶認(rèn)證 132
8．1．2 訪問授權(quán) 137
8．1．3 數(shù)據(jù)加密 143
8．1．4 監(jiān)控審計(jì) 145
8．1．5 沙箱防護(hù) 146
8．2 合規(guī)管理 146
8．2．1 清單 146
8．2．2 合規(guī)保留 148
8．3 小結(jié) 149
第9章 數(shù)據(jù)保護(hù) 150
9．1 存儲(chǔ)穩(wěn)定性 150
9．1．1 數(shù)據(jù)故障率和錯(cuò)誤率 150
9．1．2 對(duì)象存儲(chǔ)各存儲(chǔ)類型的穩(wěn)定性指標(biāo) 154
9．2 同城冗余存儲(chǔ) 155
9．3 跨地域復(fù)制 157
9．4 異地多活 158
9．5 版本控制 159
9．5．1 技術(shù)介紹 160
9．5．2 開啟版本控制 162
9．5．3 暫停版本控制 165
9．5．4 刪除標(biāo)記 167
9．6 小結(jié) 168
第10章 應(yīng)用與實(shí)踐 169
10．1 場(chǎng)景優(yōu)化功能 169
10．1．1 訪問域名 169
10．1．2 傳輸加速 171
10．1．3 上傳對(duì)象 173
10．1．4 下載對(duì)象 179
10．1．5 單連接限速 180
10．1．6 對(duì)象元信息 180
10．1．7 存儲(chǔ)空間標(biāo)簽和對(duì)象標(biāo)簽 181
10．1．8 選取內(nèi)容 182
10．2 生命周期管理 183
10．2．1 規(guī)則介紹 183
10．2．2 存儲(chǔ)類型轉(zhuǎn)換 185
10．2．3 解凍對(duì)象 186
10．3 靜態(tài)網(wǎng)站托管 187
10．3．1 使用說明 187
10．3．2 靜態(tài)網(wǎng)站托管綁定自定義域名 188
10．4 數(shù)據(jù)處理應(yīng)用場(chǎng)景 189
10．4．1 場(chǎng)景介紹 190
10．4．2 原生圖片處理 192
10．4．3 原生視頻處理 202
10．4．4 集成數(shù)據(jù)處理 203
10．5 應(yīng)用場(chǎng)景最佳實(shí)踐 207
10．5．1 隨機(jī)化對(duì)象名前綴 207
10．5．2 網(wǎng)頁上傳數(shù)據(jù) 208
10．5．3 移動(dòng)應(yīng)用上傳數(shù)據(jù) 211
10．5．4 基于對(duì)象存儲(chǔ)的大數(shù)據(jù)分析 214
10．5．5 敏感數(shù)據(jù)保護(hù)場(chǎng)景 218
10．6 小結(jié) 220
第三篇 總結(jié)與展望
第11章 新場(chǎng)景、新趨勢(shì)、新技術(shù) 222
11．1 數(shù)據(jù)湖存儲(chǔ) 222
11．1．1 數(shù)據(jù)湖介紹 222
11．1．2 基于對(duì)象存儲(chǔ)構(gòu)建數(shù)據(jù)湖 223
11．1．3 數(shù)據(jù)湖架構(gòu) 224
11．1．4 數(shù)據(jù)湖應(yīng)用場(chǎng)景 227
11．1．5 數(shù)據(jù)湖應(yīng)用實(shí)踐 232
11．1．6 數(shù)據(jù)湖存儲(chǔ)的關(guān)鍵特性 236
11．2 混合云存儲(chǔ) 237
11．2．1 混合云介紹 237
11．2．2 混合云存儲(chǔ)產(chǎn)品 239
11．2．3 混合云存儲(chǔ)的關(guān)鍵特性 243
11．3 移動(dòng)網(wǎng)絡(luò)5G存儲(chǔ) 243
11．3．1 移動(dòng)網(wǎng)絡(luò)5G介紹 243
11．3．2 中心存儲(chǔ) 245
11．3．3 邊存儲(chǔ) 245
11．3．4 端訪問 245
11．3．5 5G存儲(chǔ)的關(guān)鍵特性 247
11．4 人工智能存儲(chǔ) 247
11．4．1 人工智能介紹 247
11．4．2 人工智能存儲(chǔ)架構(gòu) 247
11．4．3 人工智能存儲(chǔ)的關(guān)鍵特性 249
11．5 存儲(chǔ)新技術(shù)趨勢(shì) 250
11．5．1 新技術(shù)趨勢(shì) 250
11．5．2 硬盤技術(shù) 250
11．5．3 固態(tài)硬盤新技術(shù) 251
11．5．4 內(nèi)存新技術(shù) 252
11．5．5 新技術(shù)影響存儲(chǔ) 252
11．6 小結(jié) 252