聯邦學習：算法詳解與系統(tǒng)實現

前言
第一部分 聯邦學習基礎知識
第 1 章 聯邦學習概述 2
1.1 什么是聯邦學習 2
1.1.1 聯邦學習的發(fā)展歷史 3
1.1.2 聯邦學習的工作流程 4
1.1.3 聯邦學習的分類 6
1.2 聯邦學習的應用和挑戰(zhàn) 8
1.2.1 聯邦學習的應用現狀 8
1.2.2 聯邦學習的核心挑戰(zhàn) 9
1.3 分布式機器學習與聯邦學習 10
1.3.1 分布式機器學習的發(fā)展歷史 10
1.3.2 分布式機器學習概述 11
1.3.3 分布式機器學習與聯邦學習的共同發(fā)展 13
1.4 總結 14
第 2 章 聯邦學習應用場景 15
2.1 聯邦學習與金融 15
2.2 聯邦學習與生物醫(yī)學 17
2.3 聯邦學習與計算機視覺 19
2.4 聯邦學習與自然語言處理 22
2.5 聯邦學習與邊緣計算和云計算 25
2.6 聯邦學習與計算機硬件 27
2.7 總結 29
第 3 章 常用隱私保護技術 30
3.1 面向隱私保護的機器學習 30
3.1.1 概述 30
3.1.2 面向隱私保護的機器學習發(fā)展 33
3.2 常用的隱私保護技術 34
3.2.1 差分隱私 34
3.2.2 安全多方計算 41
3.2.3 同態(tài)加密 49
3.3 總結 66
第二部分 聯邦學習算法詳述
第 4 章 縱向聯邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯邦隨機森林算法 69
4.2.1 算法結構 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結 78
第 5 章 縱向聯邦線性回歸算法 79
5.1 縱向聯邦線性回歸 80
5.1.1 算法訓練過程 81
5.1.2 算法預測過程 81
5.1.3 縱向聯邦的一個困境 82
5.2 聯邦多視角線性回歸 82
5.2.1 基于 BFGS 的二階優(yōu)化方法 84
5.2.2 安全計算協議 87
5.3 總結 92
第 6 章 縱向聯邦核學習算法 93
6.1 引言 93
6.2 雙隨機核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機傅里葉特征近似 98
6.2.4 雙隨機梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結構 100
6.3.3 算法設計 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 復雜度分析 106
6.5 實驗驗證 106
6.5.1 實驗設置 106
6.5.2 實驗結果和討論 107
6.6 總結 110
第 7 章 異步縱向聯邦學習算法 111
7.1 引言 111
7.2 相關工作 112
7.2.1 現有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 復雜度分析 124
7.6 實驗驗證 125
7.6.1 實驗設置 125
7.6.2 實驗結果和討論 127
7.7 總結 1