圖解數(shù)據(jù)科學(xué)：手把手教你挖掘數(shù)據(jù)的隱藏價(jià)值

第一章 數(shù)據(jù)科學(xué)的支撐技術(shù)

- 應(yīng)對(duì)未來(lái)需求高漲的必修課 -

1-1 21 世紀(jì)的石油

數(shù)據(jù)、信息 ..........................................................................................002

1-2 數(shù)據(jù)為何越來(lái)越多

信息化社會(huì)、物聯(lián)網(wǎng)、信息社會(huì)、傳感器 .....................................004

1-3 綜合各種知識(shí)進(jìn)行分析

數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘..........................................................................006

1-4 從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值的職業(yè)

數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、數(shù)據(jù)分析師..........................................008

1-5 數(shù)據(jù)不能直接拿來(lái)使用

結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)..............................................................010

1-6 大量的數(shù)據(jù)是寶藏

數(shù)據(jù)、3 個(gè) V........................................................................................012

1-7 人與計(jì)算機(jī)易于處理的數(shù)據(jù)不同

雜亂數(shù)據(jù)、整齊數(shù)據(jù)..........................................................................014

1-8 把握供數(shù)據(jù)使用的數(shù)據(jù)

主數(shù)據(jù)、元數(shù)據(jù)..................................................................................016

1-9 將數(shù)據(jù)整理到一處

數(shù)據(jù)基礎(chǔ)設(shè)施、商業(yè)智能儀表盤、數(shù)據(jù)管道 .................................018

1-10 對(duì)高效處理流程進(jìn)行思考

算法、數(shù)據(jù)結(jié)構(gòu)..................................................................................020

1-11 導(dǎo)出規(guī)則的實(shí)用化

模型、建模?..........................................................................................022

1-12 用于處理數(shù)據(jù)的編程語(yǔ)言

R 語(yǔ)言、Python 語(yǔ)言、Julia 語(yǔ)言?......................................................024

1-13 任何人都可以免費(fèi)使用的數(shù)據(jù)

開放數(shù)據(jù)、e-Stat、WebAPI?..............................................................026

1-14 一邊娛樂(lè)，一邊學(xué)習(xí)分析方法

Kaggle、編程比賽、CTF?....................................................................028

1-15 圍繞 IT 進(jìn)行思考

數(shù)字化轉(zhuǎn)型、數(shù)碼化、數(shù)字化?..........................................................030

1-16 已經(jīng)分析的數(shù)據(jù)的運(yùn)用事例

聊天機(jī)器人、推薦?..............................................................................032

1-17 購(gòu)買了這款商品的顧客還同時(shí)購(gòu)買了這樣的商品

購(gòu)物籃分析、關(guān)聯(lián)分析、RFM 分析?.................................................034

1-18 根據(jù)數(shù)據(jù)進(jìn)行不同的定價(jià)

動(dòng)態(tài)定價(jià)、金融科技?..........................................................................036

1-19 從小規(guī)模出發(fā)進(jìn)行嘗試

概念驗(yàn)證、小規(guī)模啟動(dòng)?......................................................................038

1-20 持續(xù)不斷地謀求改善

PDCA 循環(huán)、OODA 循環(huán)、反饋循環(huán)?...............................................040

1-21 先行確定目標(biāo)，之后有策略地進(jìn)行實(shí)施

KPI、KGI、KSF??.................................................................................042

1-22 把握與數(shù)據(jù)相關(guān)的人

用例、利益相關(guān)者?..............................................................................044

試一試 ?嘗試一下對(duì)使用數(shù)據(jù)的事例進(jìn)行調(diào)查吧?........................... 046

第二章 數(shù)據(jù)的基礎(chǔ)

- 表示方法與讀取方法 -

2-1 數(shù)據(jù)的分類

名義尺度、定序尺度、定距尺度、比例尺度、定性變量、

定量變量 ..............................................................................................048

2-2 從范圍的角度對(duì)數(shù)據(jù)加以區(qū)分

頻數(shù)分布表、組、頻數(shù)、組距、直方圖..........................................050

2-3 區(qū)別使用各種圖形

棒狀圖、折線圖..................................................................................052

2-4 表示比例的圖形

餅狀圖、帶狀圖..................................................................................054

2-5 將各種數(shù)據(jù)展示于一張圖中

雷達(dá)圖、箱形圖..................................................................................056

2-6 構(gòu)成數(shù)據(jù)基準(zhǔn)的數(shù)值

代表性數(shù)值、平均值、中位數(shù)、魯棒性、眾數(shù) .............................058

2-7 掌握數(shù)據(jù)離散程度

方差、標(biāo)準(zhǔn)偏差..................................................................................060

2-8 用一個(gè)標(biāo)準(zhǔn)判斷

變異系數(shù)、標(biāo)準(zhǔn)化、偏差值..............................................................062

2-9 處理不恰當(dāng)?shù)臄?shù)據(jù)

異常值、缺失值..................................................................................064

2-10 為什么銷售額的八成來(lái)自兩成的商品 ?

帕累托定律、帕累托分析、帕累托圖、長(zhǎng)尾效應(yīng) .........................066

2-11 對(duì)數(shù)量實(shí)施視覺展示

數(shù)據(jù)可視化、層級(jí)區(qū)分圖、文字云圖..............................................068

2-12 任何人都可以使用的便捷的數(shù)據(jù)分析工具

BI 工具、OLAP?....................................................................................070

2-13 集中管理數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)集市?..........................................................072

2-14 對(duì)數(shù)據(jù)協(xié)作進(jìn)行思考

ETL、EAI、ESB?..................................................................................074

2-15 對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行可視化

ER 圖、DFD 圖、CRUD 表、CRUD 圖?............................................076

2-16 設(shè)計(jì)數(shù)據(jù)庫(kù)

正規(guī)化、非正規(guī)化?..............................................................................078

2-17 對(duì)紙上打印的數(shù)據(jù)進(jìn)行提取處理

OCR、OMR?..........................................................................................080

2-18 高精度、高速度地導(dǎo)入數(shù)據(jù)

條形碼、二維碼、NFC?.......................................................................082

試一試 ?嘗試一下對(duì)使用數(shù)據(jù)的事例進(jìn)行調(diào)查吧?............................ 084

第三章 數(shù)據(jù)處理與充分利用

- 對(duì)數(shù)據(jù)進(jìn)行分類和預(yù)測(cè) -

3-1 根據(jù)獲取時(shí)間而變化的數(shù)據(jù)

時(shí)間序列數(shù)據(jù)、趨勢(shì)、噪聲、周期?..................................................086

3-2 程序自動(dòng)輸出的數(shù)據(jù)

日志、轉(zhuǎn)儲(chǔ)文件?..................................................................................088

3-3 捕捉長(zhǎng)期變化

移動(dòng)平均法、移動(dòng)平均線、加權(quán)移動(dòng)平均法?.................................090

3-4 掌握兩個(gè)數(shù)軸之間的關(guān)系

散點(diǎn)圖、協(xié)方差、相關(guān)系數(shù)?..............................................................092

3-5 不被表面的關(guān)系所欺騙

相關(guān)關(guān)系、因果關(guān)系、偽相關(guān)?..........................................................094

3-6 立足于多個(gè)數(shù)軸進(jìn)行匯總

交叉匯總、聯(lián)合分析、直交表?..........................................................096

3-7 通過(guò)減少數(shù)軸的數(shù)量來(lái)把握特征

維度、主成分分析?..............................................................................098

3-8 了解人們對(duì)兩點(diǎn)之間距離的看法

歐幾里得距離、曼哈頓距離?..............................................................100

3-9 調(diào)查相似的角度

余弦相似度、Word2Vec?.....................................................................102

3-10 數(shù)據(jù)分析不只有帥氣的一面

預(yù)處理、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)清洗、數(shù)據(jù)分析識(shí)別?.............................104

3-11 明確多個(gè)數(shù)軸之間的關(guān)系

回歸分析、最小二乘法?......................................................................106

3-12 了解高級(jí)回歸分析

多重回歸分析、邏輯回歸分析?..........................................................108

3-13 對(duì)分類進(jìn)行預(yù)測(cè)

判別分析、馬哈拉諾比斯距離?..........................................................110

3-14 基于已掌握的知識(shí)進(jìn)行數(shù)值推算

費(fèi)米估算?..............................................................................................112

3-15 實(shí)現(xiàn)對(duì)擲骰子結(jié)果的操控

隨機(jī)數(shù)、偽隨機(jī)數(shù)、隨機(jī)種子、蒙特卡羅法?.................................114

3-16 通過(guò)反復(fù)預(yù)測(cè)提高精度

德爾菲法、指數(shù)平滑法??.....................................................................116

3-17 了解各種分析方法

多變量分析、數(shù)量化一類、數(shù)量化二類、數(shù)量化三類?.................118

試一試 ?嘗試一下統(tǒng)計(jì)問(wèn)卷調(diào)查的結(jié)果吧?........................................ 120

第四章 需要了解的統(tǒng)計(jì)學(xué)知識(shí)

- 立足于數(shù)據(jù)推測(cè)答案 -

4-1 統(tǒng)計(jì)學(xué)的分類

描述統(tǒng)計(jì)學(xué)、推斷統(tǒng)計(jì)學(xué)..................................................................122

4-2 抽取數(shù)據(jù)

總體、樣本、隨機(jī)抽樣......................................................................124

4-3 用數(shù)值表示易發(fā)性

統(tǒng)計(jì)概率、數(shù)學(xué)概率、概率、期望值 .............................................126

4-4 針對(duì)幾個(gè)獨(dú)立事件同時(shí)發(fā)生的概率進(jìn)行思考

同時(shí)概率、獨(dú)立性、互斥性、條件概率、概率的乘法定理.........128

4-5 基于結(jié)果對(duì)原因進(jìn)行思考

先驗(yàn)概率、后驗(yàn)概率、貝葉斯定理、似然 .....................................130

4-6 把握數(shù)據(jù)的分布

概率分布、均勻分布、二項(xiàng)分布、正態(tài)分布、標(biāo)準(zhǔn)正態(tài)分布.....132

4-7 如果收集眾多數(shù)據(jù)，就能接近真實(shí)值

中心極限定理、大數(shù)定律..................................................................134

4-8 用函數(shù)來(lái)表示分布

概率密度函數(shù)、累積分布函數(shù)..........................................................136

4-9 根據(jù)抽取的數(shù)據(jù)推測(cè)原始的總體

無(wú)偏估計(jì)量、點(diǎn)估計(jì)、區(qū)間估計(jì)、置信區(qū)間 .................................138

4-10 在不知道方差的情況下進(jìn)行推算

標(biāo)準(zhǔn)誤差、無(wú)偏方差、自由度、t 分布 ...........................................140

4-11 從統(tǒng)計(jì)學(xué)的角度進(jìn)行驗(yàn)證

檢驗(yàn)、原假設(shè)、備譯假設(shè)、拒絕......................................................142

4-12 確定做出正確判斷的基準(zhǔn)

檢驗(yàn)統(tǒng)計(jì)量、拒絕域、顯著性水平、雙側(cè)檢驗(yàn)、單側(cè)檢驗(yàn).........144

4-13 對(duì)檢驗(yàn)結(jié)果做出判斷

p 值、顯著性差異、錯(cuò)誤、第一類錯(cuò)誤、第二類錯(cuò)誤?..................146

4-14 檢驗(yàn)平均值

Z 檢驗(yàn)、t 檢驗(yàn)??....................................................................................148

4-15 檢驗(yàn)方差

χ 2 分布、χ 2 檢驗(yàn)、F 檢驗(yàn)?...................................................................150

試一試 ?嘗試檢驗(yàn)一下身邊的食品吧?................................................ 152

第五章 需要了解的有關(guān)人工智能的知識(shí)

- 常用的手法及其機(jī)制 -

5-1 打造與人類具有同等智慧的計(jì)算機(jī)

人工智能、圖靈測(cè)試??.........................................................................154

5-2 實(shí)現(xiàn)人工智能的手法

機(jī)器學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)?.............................156

5-3 用于評(píng)價(jià)人工智能的指標(biāo)

混淆矩陣、準(zhǔn)確率、精確率、召回率、F 值、交叉驗(yàn)證??.............158

5-4 掌握學(xué)習(xí)的進(jìn)度

過(guò)擬合、欠擬合?..................................................................................160

5-5 模仿大腦的學(xué)習(xí)方法

神經(jīng)網(wǎng)絡(luò)、損失函數(shù)、誤差反向傳播法..........................................162

5-6 逐漸接近最優(yōu)解

梯度下降法、局部解、學(xué)習(xí)率?..........................................................164

5-7 深入各分層，利用大量數(shù)據(jù)進(jìn)行學(xué)習(xí)

深度學(xué)習(xí)、CNN、RNN、LSTM.........................................................166

5-8 對(duì)誤差進(jìn)行量化

偏差 - 方差分解、折中?......................................................................168

5-9 提升精度

正則化、拉索回歸、嶺回歸?..............................................................170

5-10 分成多個(gè)組

聚類、k 均值算法?...............................................................................172

5-11 劃分為任意個(gè)簇

分層次聚類、Ward 法、最短距離法、最長(zhǎng)距離法?........................174

5-12 在樹結(jié)構(gòu)中學(xué)習(xí)

決策樹、不純度、信息增益?..............................................................176

5-13 使用多個(gè)人工智能進(jìn)行多數(shù)表決

隨機(jī)森林、集成學(xué)習(xí)、引導(dǎo)聚集算法、提升方法?.........................178

5-14 評(píng)價(jià)規(guī)則的指標(biāo)

支持度、置信度、提升度?..................................................................180

5-15 邊界余量的最大化

支持向量機(jī)、超平面、硬余量、軟余量..........................................182

5-16 進(jìn)行自動(dòng)的機(jī)器學(xué)習(xí)

自動(dòng)化機(jī)器學(xué)習(xí)、可解釋性人工智能?..............................................184

5-17 結(jié)合各種方法尋找解決方法

運(yùn)籌學(xué)、數(shù)理優(yōu)化、數(shù)理設(shè)計(jì)法、概率設(shè)計(jì)法?.............................186

試一試 ?查找一下最新的論文吧?........................................................ 188

第六章 有關(guān)安全與隱私的問(wèn)題

- 數(shù)據(jù)社會(huì)將走向何方？ -

6-1 處理數(shù)據(jù)時(shí)必須遵守道德

信息倫理、數(shù)據(jù)倫理?..........................................................................190

6-2 數(shù)據(jù)可靠性堪憂

統(tǒng)計(jì)造假、技術(shù)人員倫理??.................................................................192

6-3 錯(cuò)誤認(rèn)識(shí)導(dǎo)致精度下降

數(shù)據(jù)偏差、算法偏差 .........................................................................194

6-4 在日本對(duì)于個(gè)人信息的處理

個(gè)人信息保護(hù)法、P 認(rèn)證 ..................................................................196

6-5 在海外對(duì)于個(gè)人信息的處理

GDPR、CCPA ......................................................................................198

6-6 對(duì)個(gè)人信息的充分利用進(jìn)行思考

假名化、匿名化、k- 匿名化 ............................................................200

6-7 對(duì)數(shù)據(jù)的流通、一般使用與充分利用進(jìn)行思考

數(shù)據(jù)驅(qū)動(dòng)型社會(huì)、超智能社會(huì)、信息銀行 ....................................202

6-8 制定處理數(shù)據(jù)時(shí)的規(guī)則

信息安全政策、隱私政策..................................................................204

6-9 公示收集數(shù)據(jù)的目的

使用目的、選擇加入、選擇退出......................................................206

6-10 了解保有數(shù)據(jù)的權(quán)利

知識(shí)產(chǎn)權(quán)、著作權(quán)..............................................................................208

6-11 自動(dòng)獲得外部數(shù)據(jù)

抓取、爬取 ..........................................................................................210

6-12 對(duì)保有數(shù)據(jù)的讀取進(jìn)行管理

訪問(wèn)控制、備份..................................................................................212

6-13 防止從內(nèi)部帶出數(shù)據(jù)

審計(jì)、數(shù)據(jù)泄露防護(hù)..........................................................................214

6-14 每次都能得到相同結(jié)果

冪等性 ..................................................................................................216