數(shù)據(jù)分析技術(shù)：使用SQL和Excel工具（第2版）

第1章 數(shù)據(jù)挖掘者眼中的SQL 1
1.1 數(shù)據(jù)庫、SQL和大數(shù)據(jù) 2
1.1.1 什么是大數(shù)據(jù)？ 2
1.1.2 關(guān)系型數(shù)據(jù)庫 3
1.1.3 Hadoop和Hive 3
1.1.4 NoSQL和其他類型的數(shù)據(jù)庫 3
1.1.5 SQL 4
1.2 繪制數(shù)據(jù)結(jié)構(gòu) 4
1.2.1 什么是數(shù)據(jù)模型？ 5
1.2.2 什么是表？ 5
1.2.3 什么是實體-關(guān)系圖表？ 8
1.2.4 郵政編碼表 9
1.2.5 訂閱數(shù)據(jù)集 10
1.2.6 訂單數(shù)據(jù)集 11
1.2.7 關(guān)于命名的提示 12
1.3 使用數(shù)據(jù)流描述數(shù)據(jù)分析 12
1.3.1 什么是數(shù)據(jù)流？ 13
1.3.2 數(shù)據(jù)流、SQL和關(guān)系代數(shù) 16
1.4 SQL查詢 16
1.4.1 做什么，而不是怎么去做 16
1.4.2 SELECT語句 17
1.4.3 一個基礎(chǔ)的SQL查詢 17
1.4.4 一個基本的SQL求和查詢 19
1.4.5 聯(lián)接表的意義 20
1.4.6 SQL的其他重要功能 26
1.5 子查詢和公用表表達式 29
1.5.1 用于命名變量的子查詢 29
1.5.2 處理統(tǒng)計信息的子查詢 32
1.5.3 子查詢和IN 33
1.5.4 用于UNION ALL的子查詢 37
1.6 小結(jié) 38
第2章 表中有什么？開始數(shù)據(jù)探索 39
2.1 什么是數(shù)據(jù)探索？ 40
2.2 Excel中的繪圖 40
2.2.1 基礎(chǔ)圖表：柱形圖 41
2.2.2 單元格中的條形圖 45
2.2.3 柱形圖的有用變化形式 47
2.2.4 其他類型的圖表 50
2.3 迷你圖 53
2.4 列中包含的值 55
2.4.1 直方圖 55
2.4.2 計數(shù)的直方圖 58
2.4.3 計數(shù)的累積直方圖 60
2.4.4 數(shù)字值的直方圖(頻率) 60
2.5 探索更多的值——*小值、*大
值和模式 64
2.5.1 *小值和*大值 64
2.5.2 *常見的值(模式) 65
2.6 探索字符串值 66
2.6.1 長度的直方圖 66
2.6.2 起始或結(jié)尾包含空白字符
的字符串 66
2.6.3 處理大小寫問題 67
2.6.4 字符串中存儲的字符是
什么？ 67
2.7 探索兩個列中的值 69
2.7.1 每個州的平均銷售額
是多少？ 70
2.7.2 在一個單獨的訂單中，產(chǎn)品重復(fù)
出現(xiàn)的頻率是多少？ 70
2.7.3 哪個州的American Express
用戶*多？ 73
2.8 由一個列的數(shù)據(jù)擴展到所有列
的數(shù)據(jù)匯總 73
2.8.1 針對單列的匯總 74
2.8.2 返回表中所有列的查詢 76
2.8.3 使用SQL生成匯總編碼 76
2.9 小結(jié) 78
第3章 不同之處是如何不同？ 79
3.1 基本的統(tǒng)計學(xué)概念 80
3.1.1 虛擬假設(shè) 80
3.1.2 可信度和概率 81
3.1.3 正態(tài)分布 82
3.2 平均值的區(qū)別有多大？ 85
3.2.1 方法 85
3.2.2 子集平均值的標(biāo)準(zhǔn)差 85
3.2.3 三個方法 87
3.3 對表做抽樣 89
3.3.1 隨機抽樣 89
3.3.2 可重復(fù)的隨機樣本 90
3.3.3 分層比例抽樣 91
3.3.4 平衡的樣本 92
3.4 計數(shù)的可能性 93
3.4.1 有多少男性成員？ 96
3.4.2 有多少加利福尼亞人？ 98
3.4.3 虛擬假設(shè)和可信度 99
3.4.4 有多少客戶仍然是活躍
客戶？ 100
3.4.5 比率或數(shù)字？ 103
3.5 概率和它們的統(tǒng)計 104
3.5.1 概率的標(biāo)準(zhǔn)差 104
3.5.2 概率的置信區(qū)間 105
3.5.3 概率的不同 106
3.5.4 保守的下限值 107
3.6 卡方檢驗 107
3.6.1 期望值 108
3.6.2 卡方計算 108
3.6.3 卡方分布 109
3.6.4 SQL中的卡方檢驗 111
3.6.5 州和產(chǎn)品之間的特殊關(guān)系 112
3.7 月份和支付類型與不同產(chǎn)品
類型的特殊關(guān)系 114
3.7.1 多維卡方 114
3.7.2 使用SQL查詢 115
3.7.3 結(jié)果 115
3.8 小結(jié) 116
第4章 發(fā)生的地點在何處？ 119
4.1 緯度和經(jīng)度 120
4.1.1 緯度和經(jīng)度的定義 120
4.1.2 度數(shù)、分鐘和秒 121
4.1.3 兩個位置之間的距離 122
4.1.4 包含郵政編碼的圖片 128
4.2 人口統(tǒng)計 131
4.2.1 極端情況：*富有的和*貧
窮的人 132
4.2.2 分別在使用訂單和不使用訂
單的情況下比較郵政編碼 137
4.3 地理等級 142
4.3.1 州中*富有的郵政編碼 142
4.3.2 州中擁有*多訂單的郵政
編碼 143
4.3.3 地理數(shù)據(jù)中有趣的層級
結(jié)構(gòu) 145
4.3.4 計算郡的財富 148
4.3.5 財富值的分布 150
4.3.6 在郡中，哪個郵政編碼是相對
*富有的？ 151
4.3.7 擁有*高的相對訂單占有
份額的郡 152
4.4 在Excel中繪制地圖 155
4.4.1 為什么繪制地圖？ 155
4.4.2 不能繪圖 156
4.4.3 網(wǎng)絡(luò)地圖 156
4.4.4 郵政編碼散點圖之上的州
邊界 157
4.5 小結(jié) 159
第5章 關(guān)于時間 161
5.1 數(shù)據(jù)庫中的日期和時間 162
5.2 開始調(diào)研日期 166
5.2.1 確認日期中沒有時間 166
5.2.2 根據(jù)日期比較計數(shù) 167
5.2.3 訂單數(shù)和訂單大小 172
5.2.4 星期 175
5.3 兩個日期之間有多長？ 178
5.3.1 以天為單位的持續(xù)時間 178
5.3.2 以星期為單位的持續(xù)時間 180
5.3.3 以月為單位的持續(xù)時間 180
5.3.4 有多少個星期一？ 181
5.3.5 下一個周年紀(jì)念日(或生日)
是什么時候？ 184
5.4 跨年比較 188
5.4.1 以天為單位比較 188
5.4.2 以星期為單位比較 189
5.4.3 以月為單位比較 190
5.5 以天計算活躍客戶數(shù)量 196
5.5.1 某天的活躍客戶數(shù)量 196
5.5.2 每天的活躍客戶數(shù)量 196
5.5.3 有多少不同類型的客戶？ 198
5.5.4 不同任期時段的客戶數(shù)量 198
5.5.5 只使用SQL計算活躍客戶 201
5.6 Excel中的簡單圖表動畫 203
5.6.1 從訂單生成日期到運貨
日期 203
5.6.2 訂單延時在每年中的變化 205
5.7 小結(jié) 208
第6章 客戶的持續(xù)時間有多久？使用
生存分析理解客戶和他們的
價值 209
6.1 生存分析 210
6.1.1 平均壽命 211
6.1.2 醫(yī)學(xué)研究 212
6.1.3 關(guān)于風(fēng)險率的示例 212
6.2 風(fēng)險計算 213
6.2.1 數(shù)據(jù)調(diào)研 214
6.2.2 風(fēng)險率 216
6.2.3 客戶可視化：時間與任期 217
6.2.4 截尾 219
6.3 生存率和保留率 220
6.3.1 生存率的點的估計 220
6.3.2 計算任意任期的生存率 221
6.3.3 在SQL中計算生存率 222
6.3.4 簡單的客戶保留率計算 225
6.3.5 保留率和生存率的區(qū)別 226
6.3.6 風(fēng)險率和生存率的簡單
示例 227
6.4 對比不同的客戶分組 230
6.4.1 市場總結(jié) 230
6.4.2 市場分層 231
6.4.3 生存率比例 234
6.4.4 條件生存率 234
6.5 隨時間變化的生存率 236
6.5.1 特定風(fēng)險率隨時間的變化 236
6.5.2 按照起始年份分類的客戶
生存率 238
6.5.3 之前的生存率什么樣？ 239
6.6 由生存率衍生出來的重要
指標(biāo) 241
6.6.1 估算生存點 241
6.6.2 客戶任期的中間值 242
6.6.3 客戶生命周期的中間值 242
6.6.4 風(fēng)險率的置信度 243
6.7 使用生存率計算客戶價值 245
6.7.1 估算收入 246
6.7.2 對個體的未來收入的估算 247
6.7.3 當(dāng)前客戶分組的收入估算 249
6.7.4 所有客戶未來收入的估算 251
6.8 預(yù)測 253
6.8.1 對已有客戶的預(yù)測 254
6.8.2 對新開始者的預(yù)測 258
6.9 小結(jié) 259
第7章 影響生存率的因素：客戶
任期 261
7.1 哪些因素是重要的，何時
重要？ 262
7.1.1 方法說明 262
7.1.2 使用平均值比較數(shù)字因素 264
7.1.3 風(fēng)險比例 268
7.2 左截斷 271
7.2.1 認識左截斷 271
7.2.2 左截斷的影響 273
7.2.3 如何從理論上解決左截斷
問題 274
7.2.4 估算一個任期的風(fēng)險率 275
7.2.5 估算所有任期的風(fēng)險率 276
7.2.6 在SQL中計算 277
7.3 時間窗 278
7.3.1 一個商業(yè)問題 278
7.3.2 時間窗=左截斷+右截尾 278
7.4 競爭風(fēng)險 283
7.4.1 競爭風(fēng)險的示例 283
7.4.2 競爭風(fēng)險的“風(fēng)險率” 284
7.4.3 競爭風(fēng)險的“生存率” 286
7.4.4 隨著時間的變化，客戶身上
發(fā)生了什么？ 287
7.5 事件前后 291
7.5.1 三種情況 291
7.5.2 使用生存率預(yù)測來理解一次
性事件 293
7.5.3 比較前后風(fēng)險率 294
7.5.4 基于對列的方法 294
7.5.5 基于對列的方法：完全隊列 295
7.5.6 事件影響的直接估計 297
7.6 小結(jié) 301
第8章 多次購買以及其他重復(fù)事件 303
8.1 標(biāo)識客戶 304
8.1.1 誰是那個客戶？ 304
8.1.2 其他客戶信息 313
8.1.3 每一年出現(xiàn)多少新客戶？ 316
8.2 RFM分析 325
8.2.1 維度 325
8.2.2 計算RFM單元格 329
8.2.3 RFM的有用程度 330
8.3 隨著時間的變化，哪些家庭的
購買金額在增長？ 334
8.3.1 *早值和*晚值的比較 334
8.3.2 *年和*后一年的值的
比較 341
8.3.3 *佳擬合線的趨勢 343
8.4 距離下一次事件的時間 344
8.4.1 計算背后的想法 344
8.4.2 使用SQL計算下一次購買
日期 345
8.4.3 從下一次購買日期到時間至
事件的分析 346
8.4.4 時間到事件分析的分層 347
8.5 小結(jié) 347
第9章 購物車?yán)镉惺裁?？購物?br />分析 349
9.1 探索產(chǎn)品 349
9.1.1 產(chǎn)品的散點圖 350
9.1.2 產(chǎn)品組的運輸年份 351
9.1.3 訂單中的重復(fù)產(chǎn)品 353
9.1.4 單位數(shù)量的直方圖 358
9.1.5 在一個訂單中，哪個產(chǎn)品可能
出現(xiàn)多次購買的情況？ 359
9.1.6 改變價格 361
9.2 產(chǎn)品和客戶價值 362
9.2.1 訂單大小的一致性 362
9.2.2 與一次性客戶關(guān)聯(lián)的產(chǎn)品 365
9.2.3 與*好的客戶相關(guān)的產(chǎn)品 368
9.2.4 剩余價值 370
9.3 產(chǎn)品的地理分布 372
9.3.1 每一個州中*常見的產(chǎn)品 372
9.3.2 哪些產(chǎn)品廣受歡迎，哪些產(chǎn)品
只在本地受歡迎？ 373
9.4 哪些客戶購買了指定產(chǎn)品？ 375
9.4.1 哪些客戶擁有*受歡迎的
產(chǎn)品？ 375
9.4.2 客戶擁有哪個產(chǎn)品？ 376
9.4.3 哪些客戶有3個特定的
產(chǎn)品？ 381
9.4.4 普遍的嵌套集合的查詢 384
9.5 小結(jié) 385
第10章 關(guān)聯(lián)規(guī)則 387
10.1 項集 388
10.1.1 兩個產(chǎn)品的組合 388
10.1.2 更常見的項集 391
10.1.3 家庭，而不是訂單 396
10.2 *簡單的關(guān)聯(lián)規(guī)則 399
10.2.1 關(guān)聯(lián)和規(guī)則 400
10.2.2 零項關(guān)聯(lián)規(guī)則 400
10.2.3 概率的分布情況 401
10.2.4 零項關(guān)聯(lián)告訴了我們
什么？ 402
10.3 單項關(guān)聯(lián)規(guī)則 402
10.3.1 單項關(guān)聯(lián)規(guī)則的價值 402
10.3.2 生成所有的單項規(guī)則 404
10.3.3 包含評估信息的單項
規(guī)則 405
10.3.4 基于產(chǎn)品組的單項規(guī)則 406
10.4 雙項關(guān)聯(lián) 407
10.4.1 計算雙項關(guān)聯(lián) 408
10.4.2 使用卡方找到*佳規(guī)則 409
10.4.3 異質(zhì)相關(guān) 413
10.5 擴展關(guān)聯(lián)規(guī)則 416
10.5.1 多項關(guān)聯(lián) 416
10.5.2 一個查詢中的多項關(guān)聯(lián) 418
10.5.3 使用產(chǎn)品屬性的規(guī)則 418
10.5.4 左右兩側(cè)項集內(nèi)容不同
的規(guī)則 419
10.5.5 之前和之后：有序關(guān)聯(lián)
規(guī)則 419
10.6 小結(jié) 422
第11章 SQL數(shù)據(jù)挖掘模型 423
11.1 定向數(shù)據(jù)挖掘介紹 424
11.1.1 定向模型 424
11.1.2 建模中的數(shù)據(jù) 425
11.1.3 建模應(yīng)用示例 427
11.1.4 模型評估 429
11.2 相似性模型 429
11.2.1 模型是什么？ 430
11.2.2 *好的郵政編碼是
哪個？ 430
11.2.3 基礎(chǔ)的相似性模型 431
11.2.4 使用Z分數(shù)計算相似性
模型 433
11.2.5 鄰近模型示例 434
11.3 *受歡迎產(chǎn)品的查找模型 435
11.3.1 *受歡迎的產(chǎn)品 435
11.3.2 計算*受歡迎的產(chǎn)品組 436
11.3.3 評估查找模型 437
11.3.4 使用調(diào)試查找模型做
預(yù)測 437
11.3.5 使用二元分類 439
11.4 用于訂單大小的查找模型 440
11.4.1 *基本的模型：無維度
模型 440
11.4.2 添加一個維度 441
11.4.3 添加額外的維度 443
11.4.4 檢查不穩(wěn)定性 443
11.4.5 使用平均值圖表評估
模型 444
11.5 用于響應(yīng)率的查找模型 445
11.5.1 將整體概率作為一個
模型 445
11.5.2 探索不同的維度 446
11.5.3 模型的精準(zhǔn)度 447
11.5.4 ROC圖表和AUC 450
11.5.5 加入更多的維度 453
11.6 樸素貝葉斯模型(證據(jù)模型) 455
11.6.1 概率的一些概念 455
11.6.2 計算樸素貝葉斯模型 457
11.6.3 樸素貝葉斯模型：評分和
提升度 463
11.6.4 樸素貝葉斯模型和查找
模型的比較 465
11.7 小結(jié) 466
第12章 *佳擬合線：線性回歸
模型 467
12.1 *佳擬合線 468
12.1.1 任期和支付金額 468
12.1.2 *佳擬合線的屬性 469
12.1.3 小心數(shù)據(jù) 473
12.1.4 圖表中的趨勢線 474
12.1.5 使用LINEST()函數(shù)的
*佳擬合 479
12.2 使用R2衡量擬合程度 483
12.2.1 R2值 483
12.2.2 R2的局限性 484
12.2.3 R2的含義 484
12.3 直接計算*佳擬合線系數(shù) 485
12.3.1 計算系數(shù) 485
12.3.2 在SQL中計算*佳
擬合線 486
12.3.3 價格彈性 487
12.4 加權(quán)的線性回歸 492
12.4.1 在*年停止的客戶 492
12.4.2 加權(quán)的*佳擬合 493
12.4.3 圖表中的加權(quán)*佳
擬合線 494
12.4.4 SQL中的加權(quán)*佳
擬合線 495
12.4.5 使用Solver的加權(quán)*佳
擬合線 496
12.5 多個輸入 498
12.5.1 Excel中的多維回歸 498
12.5.2 建立包含三個變量的
模型 500
12.5.3 使用Solver處理多維
回歸 501
12.5.4 逐個選擇輸入變量 501
12.5.5 SQL中的多維回歸 502
12.6 小結(jié) 503
第13章 為進一步分析數(shù)據(jù)創(chuàng)建客戶
簽名 505
13.1 什么是客戶簽名？ 506
13.1.1 什么是客戶？ 506
13.1.2 客戶簽名的源數(shù)據(jù) 507
13.1.3 使用客戶簽名 510
13.2 設(shè)計客戶簽名 511
13.2.1 調(diào)試和預(yù)測 511
13.2.2 字段的角色 511
13.2.3 時間段 512
13.3 建立客戶簽名的操作 515
13.3.1 驅(qū)動表 515
13.3.2 查找數(shù)據(jù) 518
13.3.3 *初的交易 520
13.3.4 旋轉(zhuǎn) 521
13.3.5 總結(jié) 528
13.4 抽取特征 530
13.4.1 地理位置信息 530
13.4.2 日期時間列 531
13.4.3 字符串中的模式 532
13.5 總結(jié)客戶行為 534
13.5.1 計算時間序列的斜率 534
13.5.2 周末消費者 537
13.5.3 下降的使用行為 540
13.6 小結(jié) 541
第14章 性能問題：高效使用SQL 543
14.1 查詢引擎和性能 544
14.1.1 用于理解性能的時間
復(fù)雜度 544
14.1.2 一個簡單的示例 545
14.1.3 與性能相關(guān)的思考 547
14.1.4 性能的含義和測量 549
14.1.5 性能提升入門 549
14.2 高效使用索引 553
14.2.1 什么是索引？ 553
14.2.2 索引的簡單示例 557
14.2.3 索引的限制 560
14.2.4 高效使用復(fù)合索引 562
14.3 何時使用OR是低效的？ 566
14.3.1 有時UNION ALL比OR
更好 566
14.3.2 有時LEFT OUTER JOIN比
OR更高效 567
14.3.3 有時多個條件表達式
更好 568
14.4 贊成和反對：表達一件事情的
不同方法 569
14.4.1 在Orders表中，哪些州
沒有被識別？ 569
14.4.2 一個關(guān)于GROUP BY的
難題 571
14.4.3 小心COUNT(*)=0 573
14.5 窗口函數(shù) 576
14.5.1 窗口函數(shù)適用于什么
地方？ 576
14.5.2 窗口函數(shù)的靈活使用 576
14.6 小結(jié) 582
附錄 數(shù)據(jù)庫之間的等價結(jié)構(gòu) 583