Ceph之RADOS設(shè)計(jì)原理與實(shí)現(xiàn)

序1

序2

序3

前言

第1章　一生萬物——RADOS導(dǎo)論 1

1.1　RADOS概述 3

1.2　存儲池與PG 5

1.3　對象演進(jìn)與排序 6

1.4　stable_mod與客戶端尋址 10

1.5　PG分裂與集群擴(kuò)容 13

1.6　總結(jié)和展望 17

第2章　計(jì)算尋址之美與數(shù)據(jù)平衡之殤——CRUSH 19

2.1　抽簽算法 20

2.2　CRUSH算法詳解 24

2.2.1　集群的層級化描述——cluster map 25

2.2.2　數(shù)據(jù)分布策略——placement rule 27

2.3　調(diào)制CRUSH 33

2.3.1　編輯CRUSH map 34

2.3.2　定制CRUSH規(guī)則 38

2.4　數(shù)據(jù)重平衡 40

2.4.1　reweight 42

2.4.2　weightset 45

2.4.3　upmap 47

2.4.4　balancer 48

2.5　總結(jié)和展望 52

第3章　集群的大腦——Monitor 54

3.1　集群表OSDMap 56

3.2　集群管理 60

3.2.1　OSD管理 60

3.2.2　存儲池管理 63

3.2.3　告警管理 66

3.3　總結(jié)和展望 66

第4章　存儲的基石——OSD 68

4.1　OSD概述 69

4.1.1　集群管理 70

4.1.2　網(wǎng)絡(luò)通信 71

4.1.3　公共服務(wù) 72

4.2　OSD上電 74

4.3　故障檢測 75

4.4　空間管理 78

4.5　總結(jié)和展望 82

第5章　高效本地對象存儲引擎——BlueStore 84

5.1　設(shè)計(jì)原理 85

5.2　磁盤數(shù)據(jù)結(jié)構(gòu) 89

5.2.1　PG 89

5.2.2　對象 89

5.3　緩存機(jī)制 97

5.3.1　概述 97

5.3.2　實(shí)現(xiàn) 100

5.4　磁盤空間管理 103

5.4.1　概述 103

5.4.2　BitmapFreelistManager 106

5.4.3　BitmapAllocator 107

5.5　BlueFS 109

5.5.1　概述 109

5.5.2　磁盤數(shù)據(jù)結(jié)構(gòu) 112

5.5.3　塊設(shè)備 116

5.6　實(shí)現(xiàn)原理 116

5.6.1　mkfs 117

5.6.2　mount 117

5.6.3　read 119

5.6.4　write 121

5.7　使用指南 126

5.7.1　部署B(yǎng)lueStore 127

5.7.2　配置參數(shù) 129

5.8　總結(jié)和展望 132

第6章　移動的對象載體——PG 134

6.1　基本概念與術(shù)語 135

6.2　讀寫流程 138

6.2.1　消息接收與分發(fā) 145

6.2.2　do_request 147

6.2.3　do_op 149

6.2.4　execute_ctx 155

6.3　狀態(tài)遷移 163

6.3.1　狀態(tài)機(jī)概述 164

6.3.2　創(chuàng)建PG 167

6.3.3　Peering 170

6.4　總結(jié)和展望 184

第7章　在線數(shù)據(jù)恢復(fù)——Recovery和Backfill 185

7.1　Recovery 186

7.1.1　資源預(yù)留 186

7.1.2　對象修復(fù) 187

7.1.3　增量Recovery和異步Recovery 191

7.2　Backfill 192

7.3　總結(jié)和展望 199

第8章　數(shù)據(jù)正確性與一致性的守護(hù)者——Scrub 201

8.1　Scrub的指導(dǎo)思想 202

8.2　Scrub流程詳解 207

8.2.1　資源預(yù)留 207

8.2.2　范圍界定 209

8.2.3　對象掃描 211

8.2.4　副本比對 213

8.2.5　統(tǒng)計(jì)更新與自動修復(fù) 215

8.3　Scrub搶占 215

8.4　總結(jié)和展望 218

第9章　基于dmClock的分布式流控策略 219

9.1　概述 220

9.2　dmClock基本原理 221

9.2.1　mClock 221

9.2.2　dmClock 224

9.3　dmClock算法實(shí)現(xiàn) 225

9.3.1　I/O請求入隊(duì) 227

9.3.2　I/O請求出隊(duì) 227

9.3.3　實(shí)例分析 229

9.4　在Ceph中的應(yīng)用實(shí)踐 233

9.4.1　client的界定 233

9.4.2　支持帶寬限制 235

9.4.3　存儲卷的QoS 237

9.4.4　集群流控策略 240

9.5　總結(jié)和展望 244

第10章　糾刪碼原理與實(shí)踐 246

10.1　RAID技術(shù)概述 247

10.2　RSRAID和Jerasure 253

10.2.1　計(jì)算校驗(yàn)和 254

10.2.2　數(shù)據(jù)恢復(fù) 255

10.2.3　算術(shù)運(yùn)算 256

10.2.4　缺陷與改進(jìn) 261

10.2.5　Jerasure 262

10.3　糾刪碼在Ceph中的應(yīng)用 264

10.3.1　術(shù)語 266

10.3.2　新寫 268

10.3.3　讀 269

10.3.4　覆蓋寫 271

10.3.5　日志 274

10.3.6　Scrub 275

10.4　總結(jié)和展望 275

......