金融數(shù)據(jù)建模應(yīng)用（中級(jí)）

第 1 章 金融大數(shù)據(jù)概述 　　　　　　　1
1.1 認(rèn)識(shí)金融大數(shù)據(jù) 　　　　　　1
1.1.1 大數(shù)據(jù)的定義 　　　　　　　　1
1.1.2 金融大數(shù)據(jù)的定義 　　　　　　1
1.1.3 金融大數(shù)據(jù)的分類 　　　　　　2
1.1.4 金融大數(shù)據(jù)的特點(diǎn) 　　　　　　3
1.1.5 金融大數(shù)據(jù)的作用 　　　　　　4
1.1.6 金融大數(shù)據(jù)的分析方法 　　　　　　　5
1.2 金融大數(shù)據(jù)應(yīng)用 　　　　　　6
1.2.1 金融大數(shù)據(jù)在銀行業(yè)的應(yīng)用 　　　　　　6
1.2.2 金融大數(shù)據(jù)在證券業(yè)的應(yīng)用 　　　　　　8
1.2.3 金融大數(shù)據(jù)在保險(xiǎn)業(yè)的應(yīng)用 　　　　　　8
1.3 金融大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu) 　　　　　　10
1.3.1 數(shù)據(jù)產(chǎn)生層 　　　　　　　　10
1.3.2 數(shù)據(jù)交換層 　　　　　　　　11
1.3.3 流程調(diào)度層 　　　　　　　　13
1.3.4 數(shù)據(jù)計(jì)算層 　　　　　　　　13
1.3.5 數(shù)據(jù)應(yīng)用層 　　　　　　　　17
1.3.6 數(shù)據(jù)訪問層 　　　　　　　　18
1.3.7 數(shù)據(jù)管控層 　　　　　　　　19
1.4 金融大數(shù)據(jù)應(yīng)用的關(guān)鍵技術(shù) 　　　　　20
1.4.1 大數(shù)據(jù)采集技術(shù) 　　　　　　　20
1.4.2 大數(shù)據(jù)預(yù)處理技術(shù) 　　　　　　20
1.4.3 大數(shù)據(jù)存儲(chǔ)與管理技術(shù) 　　　　　　　20
1.4.4 大數(shù)據(jù)分析與挖掘技術(shù) 　　　　　　　21
1.4.5 大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù) 　　　　　　　21
本章習(xí)題 　　　　　　　21
第 2 章 金融數(shù)據(jù)分析基礎(chǔ) 　　　　　　23
2.1 認(rèn)識(shí)金融數(shù)據(jù)分析 　　　　　　　　23
2.1.1 金融數(shù)據(jù)分析的目的 　　　　　　　　23
2.1.2 金融數(shù)據(jù)分析的意義 　　　　　　　　24
2.1.3 金融數(shù)據(jù)分析的基本思路 　　　　　　25
2.1.4 金融數(shù)據(jù)分析常用術(shù)語 　　　　　　　28
2.2 金融數(shù)據(jù)分析流程及應(yīng)用場景 　　　　　　　37
2.2.1 金融數(shù)據(jù)的獲取 　　　　　　　37
2.2.2 金融數(shù)據(jù)的預(yù)處理 　　　　　　38
2.2.3 金融數(shù)據(jù)的清洗 　　　　　　　39
2.2.4 金融數(shù)據(jù)的分析 　　　　　　　39
2.2.5 金融數(shù)據(jù)的展示 　　　　　　　40
2.2.6 金融數(shù)據(jù)分析的應(yīng)用場景 　　　　　　40
2.3 操作誤區(qū) 　　　　　　　　41
2.3.1 偏離分析目的 　　　　　　　42
2.3.2 分析報(bào)告缺少內(nèi)涵 　　　　　　42
本章習(xí)題 　　　　　　　42
第 3 章 金融數(shù)據(jù)建模及常用算法 　　　　　　45
3.1 金融數(shù)據(jù)建模基礎(chǔ) 　　　　　　　　45
3.1.1 數(shù)據(jù)模型 　　　　　　　　　45
3.1.2 數(shù)據(jù)建模 　　　　　　　　　47
3.1.3 金融數(shù)據(jù)模型和金融數(shù)據(jù)建模規(guī)范 　　　　　　48
3.1.4 金融數(shù)據(jù)建模的流程 　　　　　　　　51
3.2 金融數(shù)據(jù)業(yè)務(wù)常用算法 　　　　　　55
3.2.1 相關(guān)分析 　　　　　　　　　55
3.2.2 回歸分析 　　　　　　　　　59
3.2.3 決策樹 　　　　　　　67
3.2.4 聚類分析 　　　　　　　　　71
3.2.5 關(guān)聯(lián)規(guī)則分析 　　　　　　　78
本章習(xí)題 　　　　　　　81
第 4 章 金融數(shù)據(jù)自主建模高級(jí)應(yīng)用 　　　　　82
4.1 自主建模的基本概念 　　　　　　　82
4.1.1 數(shù)據(jù)模型 　　　　　　　　　82
4.1.2 數(shù)據(jù)表 　　　　　　　86
4.1.3 算子 　　　　　　　　86
4.2 大數(shù)據(jù)建模分析平臺(tái)簡介 　　　　　　86
4.2.1 大數(shù)據(jù)建模分析平臺(tái)的功能模塊 　　　　　　87
4.2.2 數(shù)據(jù)手動(dòng)上傳 　　　　　　　96
4.3 模型創(chuàng)建與管理 　　　　　　　　100
4.3.1 模型創(chuàng)建 　　　　　　　　　100
4.3.2 模型管理 　　　　　　　　　102
4.4 單表級(jí)數(shù)據(jù)處理通用算子 　　　　　108
4.4.1 添加字段算子 　　　　　　　108
4.4.2 JSON解析算子 　　　　　　　109
4.4.3 算術(shù)運(yùn)算算子 　　　　　　　111
4.4.4 日期處理算子 　　　　　　　113
4.4.5 字符串處理算子 　　　　　　116
4.4.6 空值率算子 　　　　　　　　120
4.4.7 SQL算子 　　　　　　　　　121
4.5 多表級(jí)數(shù)據(jù)建模算子 　　　　　　　123
4.5.1 左連接算子 　　　　　　　　123
4.5.2 差集算子 　　　　　　　　　125
4.5.3 全關(guān)聯(lián)算子 　　　　　　　　126
4.6 金融數(shù)據(jù)模型綜合應(yīng)用 　　　　　　128
4.6.1 數(shù)據(jù)準(zhǔn)備 　　　　　　　　　128
4.6.2 場景分析 　　　　　　　　　128
4.6.3 模型實(shí)現(xiàn) 　　　　　　　　　133
本章習(xí)題 　　　　　　　133
第 5 章 SQL在金融數(shù)據(jù)建模中的應(yīng)用 　　　　135
5.1 SQL使用場景及技巧 　　　　　　　135
5.2 SQL查詢基本語法及函數(shù)應(yīng)用 　　　　　　139
5.2.1 SQL查詢基本語法 　　　　　　　　139
5.2.2 數(shù)學(xué)運(yùn)算函數(shù)應(yīng)用 　　　　　　　　142
5.2.3 日期函數(shù)應(yīng)用 　　　　　　　146
5.2.4 條件函數(shù)應(yīng)用 　　　　　　　154
5.2.5 字符串函數(shù)應(yīng)用 　　　　　　157
5.2.6 數(shù)值計(jì)算函數(shù)應(yīng)用 　　　　　　　　162
5.2.7 聚合函數(shù)應(yīng)用 　　　　　　　163
5.3 函數(shù)應(yīng)用注意事項(xiàng) 　　　　　　　164
本章習(xí)題 　　　　　　　164
第 6 章 金融數(shù)據(jù)可視化分析高級(jí)應(yīng)用 　　　　166
6.1 金融數(shù)據(jù)可視化分析概述 　　　　　166
6.1.1 金融數(shù)據(jù)可視化分析的定義 　　　　　166
6.1.2 金融數(shù)據(jù)可視化分析的應(yīng)用場景 　　　　　　167
6.1.3 金融數(shù)據(jù)可視化分析的主要功能 　　　　　　167
6.2 可視化圖表類型介紹 　　　　　　　168
6.2.1 數(shù)據(jù)準(zhǔn)備及上傳 　　　　　　168
6.2.2 堆積圖及百分比堆積圖 　　　　　　　169
6.2.3 瀑布圖 　　　　　　　173
6.2.4 詞云圖 　　　　　　　175
6.2.5 散點(diǎn)圖 　　　　　　　177
6.2.6 ?；鶊D 　　　　　　　180
6.3 圖表設(shè)置 　　　　　　　　182
6.3.1 圖表顏色設(shè)置 　　　　　　　182
6.3.2 圖表聯(lián)動(dòng)設(shè)置 　　　　　　　187
6.3.3 圖表篩選設(shè)置 　　　　　　　191
6.3.4 圖表鉆取設(shè)置 　　　　　　　196
6.3.5 圖表排序設(shè)置 　　　　　　　197
6.3.6 圖表樣式設(shè)置 　　　　　　　197
6.4 圖表中的常用計(jì)算 　　　　　　　197
6.4.1 百分比 　　　　　　　197
6.4.2 留存率 　　　　　　　198
6.4.3 活躍率 　　　　　　　198
6.4.4 重復(fù)率 　　　　　　　198
6.4.5 同比 　　　　　　　　199
6.4.6 環(huán)比 　　　　　　　　199
6.4.7 移動(dòng)計(jì)算 　　　　　　　　　200
6.4.8 累計(jì)計(jì)算 　　　　　　　　　200
6.5 圖表中的自定義計(jì)算 　　　　　　　200
6.5.1 分組字段 　　　　　　　　　200
6.5.2 計(jì)算字段 　　　　　　　　　201
本章習(xí)題 　　　　　　　202
第 7 章 金融數(shù)據(jù)建模應(yīng)用案例解析 　　　　　203
7.1 案例背景 　　　　　　　　203
7.2 申請(qǐng)?jiān)u分卡模型的構(gòu)建 　　　　　　204
7.2.1 建模思想及原理 　　　　　　204
7.2.2 建模方法 　　　　　　　　　204
7.2.3 模型開發(fā)流程 　　　　　　　206
7.3 申請(qǐng)?jiān)u分卡模型的實(shí)現(xiàn) 　　　　　　206
7.3.1 數(shù)據(jù)獲取 　　　　　　　　　206
7.3.2 數(shù)據(jù)預(yù)處理 　　　　　　　　207
7.3.3 探索性數(shù)據(jù)分析 　　　　　　210
7.3.4 變量選擇 　　　　　　　　　214
7.3.5 模型開發(fā) 　　　　　　　　　220
7.3.6 模型評(píng)估 　　　　　　　　　225
7.3.7 信用評(píng)分 　　　　　　　　　226
7.4 模型分析總結(jié) 　　　　　　227
本章習(xí)題 　　　　　　　227
第 8 章 金融數(shù)據(jù)建模新技術(shù) 　　　　　229
8.1 機(jī)器學(xué)習(xí) 　　　　　　　　229
8.1.1 機(jī)器學(xué)習(xí)概述 　　　　　　　229
8.1.2 機(jī)器學(xué)習(xí)常用算法 　　　　　　　　230
8.1.3 機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用 　　　　　232
8.2 自然語言處理 　　　　　　232
8.2.1 自然語言處理概述 　　　　　　　　232
8.2.2 自然語言處理的基本任務(wù) 　　　　　　233
8.2.3 自然語言處理在金融領(lǐng)域的應(yīng)用 　　　　　　235
8.3 知識(shí)圖譜 　　　　　　　　236
8.3.1 知識(shí)圖譜概述 　　　　　　　236
8.3.2 知識(shí)圖譜構(gòu)建技術(shù) 　　　　　　　　236
8.3.3 知識(shí)圖譜在金融領(lǐng)域的應(yīng)用 　　　　　239
8.4 區(qū)塊鏈 　　　　　　　　　240
8.4.1 區(qū)塊鏈概述 　　　　　　　　240
8.4.2 區(qū)塊鏈核心技術(shù) 　　　　　　241
8.4.3 區(qū)塊鏈技術(shù)在金融領(lǐng)域的應(yīng)用 　　　　　　　242
本章習(xí)題 　　　　　　　244
第 9 章 金融數(shù)據(jù)安全規(guī)范 　　　　　245
9.1 金融數(shù)據(jù)安全概述 　　　　　　　245
9.1.1 金融數(shù)據(jù)安全的重要性 　　　　　　　245
9.1.2 金融數(shù)據(jù)面臨的風(fēng)險(xiǎn) 　　　　　　　245
9.1.3 我國金融數(shù)據(jù)安全原則 　　　　　　　247
9.1.4 我國金融數(shù)據(jù)安全法規(guī) 　　　　　　　247
9.2 金融數(shù)據(jù)安全分級(jí) 　　　　　　　250
9.2.1 金融數(shù)據(jù)安全分級(jí)的目標(biāo)、原則和范圍 　　　　250
9.2.2 金融數(shù)據(jù)安全分級(jí)要素和規(guī)則 　　　　　　　251
9.2.3 金融數(shù)據(jù)安全級(jí)別劃分 　　　　　　　252
9.3 金融數(shù)據(jù)生命周期安全管理 　　　　　　　253
9.3.1 數(shù)據(jù)采集安全管理 　　　　　　　　253
9.3.2 數(shù)據(jù)傳輸安全管理 　　　　　　　　254
9.3.3 數(shù)據(jù)存儲(chǔ)安全管理 　　　　　　　　256
9.3.4 數(shù)據(jù)使用安全管理 　　　　　　　　257
9.3.5 數(shù)據(jù)刪除安全管理 　　　　　　　　261
9.3.6 數(shù)據(jù)銷毀安全管理 　　　　　　　　262
本章習(xí)題 　　　　　　　263
參考文獻(xiàn)　　　　　　　264