MySQL運維內參：MySQL、Galera、Inception核心原理與最佳實踐

第一部分 MySQL篇
1 MySQL源代碼入門
MySQL源代碼的組織結構
Linux下的編譯
安裝MySQL庫
MySQL 5.7權限處理
2 MySQL啟動過程
3 連接的生命與使命
用戶連接線程創(chuàng)建
MySQL處理請求
總結
4 MySQL表對象緩存
表結構的實現(xiàn)原理
涉及的參數(shù)變量
優(yōu)缺點總結
存在的問題
5 InnoDB初探
InnoDB的源代碼目錄結構
InnoDB存儲引擎文件組織
InnoDB體系結構
InnoDB存儲引擎啟動與關閉
- - InnoDB 存儲引擎的啟動
- - InnoDB存儲引擎的關閉
6 InnoDB數(shù)據(jù)字典
背景
系統(tǒng)表結構
字典表加載
Rowid管理
總結
7 InnoDB數(shù)據(jù)存儲結構
表空間文件組成結構
- - 段
- - 簇
- - 頁面
段、簇、頁面組織結構
8 InnoDB索引實現(xiàn)原理
背景
B+樹及B樹的區(qū)別
索引的設計
聚簇索引和二級索引
二級索引指針
神奇的B+樹網(wǎng)絡
InnoDB索引的插入過程
一個頁面至少要存儲幾條記錄
頁面結構管理
- - 文件管理頭信息
- - 頁面頭信息
- - 最小記錄和最大記錄
- - 頁面數(shù)據(jù)空間管理
- - 經典的槽管理
- - 頁面尾部
- - 頁面重組
索引頁面的回收
9 InnoDB記錄格式
背景
從源碼入手了解行格式
總結
10 揭秘獨特的兩次寫
單一頁面刷盤
批量頁面刷盤
- - 兩次寫組織結構
- - 批量刷盤兩次寫實現(xiàn)原理
兩次寫的作用
發(fā)散思維
總結
11 InnoDB日志管理機制
InnoDB Buffer Pool
REDO LOG日志文件管理的用途
MTR InnoDB物理事務
日志的意義
日志記錄格式
日志刷盤時機
REDO日志恢復
數(shù)據(jù)庫回滾
- - 數(shù)據(jù)庫UNDO段管理
- - 數(shù)據(jù)庫UNDO日志記錄格式
- - 回滾時刻
總結
12 MySQL 5.7中嶄新的MySQL sys Schema
Performance Schema的改進
sys Schema介紹
- - sys Schema視圖摘要
- - sys Schema重點視圖與應用場景
- - 使用風險
總結
13 方便的MySQL GTID
GTID 相關概念
- - 什么是GTID
- - GTID集合
- - GTID生命周期
GTID的維護
- - gtid_executed表
- - gtid_executed表壓縮
GTID搭建主從
- - 搭建主從時，需要注意的MySQL參數(shù)
- - 開啟GTID
- - 搭建主從
使用GTID案例總結
- - 如何跳過一個GTID
- - 利用GTID模式快速改變主從復制關系
- - 在線將傳統(tǒng)模式復制改為GTID模式復制
- - 在線將GTID模式復制改為傳統(tǒng)模式復制
GTID的限制
14 MySQL半同步復制
半同步特性
半同步主庫端
半同步從庫端
半同步實現(xiàn)
插件安裝
半同步自動開關
15 MySQL 5.7多線程復制原理
背景
行之有效的延遲優(yōu)化方法
MySQL 5.6的多線程復制
MySQL 5.7的多線程復制
- - ordered commit
- - 多線程復制分發(fā)原理
- - 異常故障恢復
16 大量MySQL表導致服務變慢的問題
背景
問題分析
案例解決
總結
17 MySQL快速刪除大表
背景
問題分析
案例解決
發(fā)散思維
總結
18 兩條不同的插入語句導致的死鎖
背景
問題分析
發(fā)散思維
總結
19 MySQL在并發(fā)刪除同一行數(shù)據(jù)時導致死鎖的分析
背景
問題分析
發(fā)散思維
總結
20 參數(shù)SQL_SLAVE_SKIP_COUNTER的奧秘
21 Binlog中的時間戳
背景
問題分析
發(fā)散思維
事務中的事件順序
問題延伸
show processlist中的Time
總結
22 InnoDB中Rowid對Binlog的影響
背景
問題分析
總結
23 MySQL備份：Percona XtraBackup的原理與實踐
備份背景及類型
認識Percona XtraBackup
XtraBackup的工作流程
XtraBackup的備份原理
XtraBackup 需要的權限
innobackupex常用的備份選項說明
XtraBackup備份實踐
- - 全量備份
- - 增量備份
- - 并行備份
- - 其他備份
案例實踐與心得
建議與提醒
24 MySQL分庫分表
分庫分表的種類
分庫分表的原則
分庫分表實現(xiàn)
- - 數(shù)據(jù)庫層的實現(xiàn)
- - 業(yè)務層的實現(xiàn)
25 MySQL數(shù)據(jù)安全
單機安全
集群安全
備份安全
MySQL實例安全保證
- - Double Write
- - REDO LOG
MySQL集群安全保證
- - 傳統(tǒng)的主從模式如何保證數(shù)據(jù)庫安全
- - Semi_Sync Replication方式的復制
- - MySQL集群化如何保證數(shù)據(jù)庫安全
總結
26 MySQL 性能拾遺
適當?shù)臄?shù)據(jù)文件大小
- - 碎片空洞問題
- - 設計問題
合理設計表結構
- - 冗余存儲
- - 拆分存儲
- - 重復存儲
- - 特別提醒
正確使用索引
MySQL系統(tǒng)參數(shù)
內存和CPU
磁盤的革命
云中漫步
總結
27 MySQL Group Replication
Group Replication概述
- - 組的概念
- - 多主復制
- - 單獨的通信機制
Group Replication服務模式
- - 單主模式
- - 多主模式
- - 服務模式的配置
Binlog Event的多線程執(zhí)行
- - group_replication_applier通道
- - 基于主鍵的并行執(zhí)行
搭建Group Replication復制環(huán)境
- - MySQL的參數(shù)設置
- - Group Replication插件的使用
- - Group Replication插件的基本參數(shù)設置
- - Group Replication的數(shù)據(jù)庫用戶
- - Group Replication組初始化
- - 新成員加入組
Group Replication的高可用性
- - 組內成員數(shù)量的變化
- - 強制移除故障成員
Group Replication的監(jiān)控
Group Replication的基本原理
- - 狀態(tài)機復制
- - 分布式的狀態(tài)機復制
- - 分布式的高可用數(shù)據(jù)庫
深入理解Group Replication中事務的執(zhí)行過程
- - 本地事務控制模塊
- - 成員間的通信模塊
- - 全局事務認證模塊
- - 異地事務執(zhí)行模塊
- - 事務流程的總結
深入理解成員加入組的過程
- - 組視圖
- - 加入組時視圖的切換
- - View_change_log_event
- - 恢復
28 MySQL Document Store面面觀
新的JSON數(shù)據(jù)類型和JSON函數(shù)
- - JSON數(shù)據(jù)類型
- - JSON函數(shù)詳解
- - JSON函數(shù)的運用
MySQL X Plugin 和 X Protocol
- - 支持NoSQL所做的努力
- - 安裝MySQL X Plugin
MySQL Shell
- - 安裝MySQL Shell
- - 運行MySQL Shell
- - 在MySQL Shell中操作JSON文檔
- - 用腳本執(zhí)行MySQL Shell
X DevAPI
總結
參考資料
第二部分 Galera篇
29 Galera Cluster的設計與實現(xiàn)
Galera Cluster的優(yōu)點
Galera的引入
Galera接口
總結
30 Galera 參數(shù)解析
狀態(tài)參數(shù)
變量參數(shù)
31 Galera的驗證方法
Binlog與Galera的關系
驗證方法
32 Galera的消息傳送
33 GCache實現(xiàn)原理
配置參數(shù)
實現(xiàn)原理
發(fā)散思維
34 大話SST/IST細節(jié)
初始化節(jié)點環(huán)境
連接到集群并且做SST/IST
如何提供增量數(shù)據(jù)
總結
35 Donor/Desynced詳解
實現(xiàn)方式
意義何在
問答環(huán)節(jié)
36 Galera的并發(fā)控制機制
數(shù)據(jù)復制
寫集驗證
寫集APPLY
事務Commit
37 Galera的流量控制
流量控制的定義
流量控制的實現(xiàn)原理及影響
兩個問題
38 Galera Cluster影響單節(jié)點執(zhí)行效率的因素
單點驗證
并發(fā)控制
等待GTID
總結
39 grastate.dat文件揭秘
引子
分析研究
總結
40 Galera Cluster從庫的轉移
沒有開啟Server級GTID的情況
開啟了GTID（server級）的情況
總結
41 Galera Cluster節(jié)點與其從庫的隨意轉換
背景
從節(jié)點向PXC節(jié)點的轉換
PXC節(jié)點向異步從節(jié)點的轉換
42 業(yè)務更新慢，不是由Galera引起的
43 在線改表引發(fā)的Galera Cluster集群死鎖
背景
用Binlog來代替觸發(fā)器
表名交換
Galera Cluster中的問題
一個有趣的實驗
解決方案
總結
第三部分 Inception篇
44 Inception誕生記
關于SQL審核
- - 半自動化方法
人肉法
不滿現(xiàn)狀的追求
何謂Inception
45 Inception安裝與使用
下載和編譯
啟動配置
線上配置需求
需要額外注意的點
使用方法
舉例說明
環(huán)境變量的設置
46 支持選項
選項說明
DDL與DML語句分離
小技巧
47 Inception的備份回滾
備份存儲架構
備份所需條件
48 審核規(guī)范
支持的語句類型
公共檢查項
插入語句檢查項
更新、刪除語句檢查項
表屬性檢查項
列屬性檢查項
索引屬性檢查項
修改表語句檢查項
總結
49 參數(shù)變量
語法和變量
注意事項
50 友好的結果集
結果集結構
總結
51 命令集語句
遠程信息獲取
顯示本地全部變量
顯示本地某個變量
設置本地變量
顯示OSC執(zhí)行進度
查看當前processlist
52 Inception的彩蛋
對OSC的支持
- - 可選的OSC參數(shù)
- - 查看OSC的執(zhí)行進度
- - 中止OSC的執(zhí)行
- - 查看所有OSC執(zhí)行信息
Inception對SQL執(zhí)行情況的統(tǒng)計
打印語法樹
53 Inception設計
Inception之源
Inception執(zhí)行流程