圖解數(shù)據(jù)科學(xué)：手把手教你挖掘數(shù)據(jù)的隱藏價值

第一章 數(shù)據(jù)科學(xué)的支撐技術(shù)

- 應(yīng)對未來需求高漲的必修課 -

1-1 21 世紀的石油

數(shù)據(jù)、信息 ..........................................................................................002

1-2 數(shù)據(jù)為何越來越多

信息化社會、物聯(lián)網(wǎng)、信息社會、傳感器 .....................................004

1-3 綜合各種知識進行分析

數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘..........................................................................006

1-4 從數(shù)據(jù)中發(fā)現(xiàn)價值的職業(yè)

數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、數(shù)據(jù)分析師..........................................008

1-5 數(shù)據(jù)不能直接拿來使用

結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)..............................................................010

1-6 大量的數(shù)據(jù)是寶藏

數(shù)據(jù)、3 個 V........................................................................................012

1-7 人與計算機易于處理的數(shù)據(jù)不同

雜亂數(shù)據(jù)、整齊數(shù)據(jù)..........................................................................014

1-8 把握供數(shù)據(jù)使用的數(shù)據(jù)

主數(shù)據(jù)、元數(shù)據(jù)..................................................................................016

1-9 將數(shù)據(jù)整理到一處

數(shù)據(jù)基礎(chǔ)設(shè)施、商業(yè)智能儀表盤、數(shù)據(jù)管道 .................................018

1-10 對高效處理流程進行思考

算法、數(shù)據(jù)結(jié)構(gòu)..................................................................................020

1-11 導(dǎo)出規(guī)則的實用化

模型、建模?..........................................................................................022

1-12 用于處理數(shù)據(jù)的編程語言

R 語言、Python 語言、Julia 語言?......................................................024

1-13 任何人都可以免費使用的數(shù)據(jù)

開放數(shù)據(jù)、e-Stat、WebAPI?..............................................................026

1-14 一邊娛樂，一邊學(xué)習(xí)分析方法

Kaggle、編程比賽、CTF?....................................................................028

1-15 圍繞 IT 進行思考

數(shù)字化轉(zhuǎn)型、數(shù)碼化、數(shù)字化?..........................................................030

1-16 已經(jīng)分析的數(shù)據(jù)的運用事例

聊天機器人、推薦?..............................................................................032

1-17 購買了這款商品的顧客還同時購買了這樣的商品

購物籃分析、關(guān)聯(lián)分析、RFM 分析?.................................................034

1-18 根據(jù)數(shù)據(jù)進行不同的定價

動態(tài)定價、金融科技?..........................................................................036

1-19 從小規(guī)模出發(fā)進行嘗試

概念驗證、小規(guī)模啟動?......................................................................038

1-20 持續(xù)不斷地謀求改善

PDCA 循環(huán)、OODA 循環(huán)、反饋循環(huán)?...............................................040

1-21 先行確定目標，之后有策略地進行實施

KPI、KGI、KSF??.................................................................................042

1-22 把握與數(shù)據(jù)相關(guān)的人

用例、利益相關(guān)者?..............................................................................044

試一試 ?嘗試一下對使用數(shù)據(jù)的事例進行調(diào)查吧?........................... 046

第二章 數(shù)據(jù)的基礎(chǔ)

- 表示方法與讀取方法 -

2-1 數(shù)據(jù)的分類

名義尺度、定序尺度、定距尺度、比例尺度、定性變量、

定量變量 ..............................................................................................048

2-2 從范圍的角度對數(shù)據(jù)加以區(qū)分

頻數(shù)分布表、組、頻數(shù)、組距、直方圖..........................................050

2-3 區(qū)別使用各種圖形

棒狀圖、折線圖..................................................................................052

2-4 表示比例的圖形

餅狀圖、帶狀圖..................................................................................054

2-5 將各種數(shù)據(jù)展示于一張圖中

雷達圖、箱形圖..................................................................................056

2-6 構(gòu)成數(shù)據(jù)基準的數(shù)值

代表性數(shù)值、平均值、中位數(shù)、魯棒性、眾數(shù) .............................058

2-7 掌握數(shù)據(jù)離散程度

方差、標準偏差..................................................................................060

2-8 用一個標準判斷

變異系數(shù)、標準化、偏差值..............................................................062

2-9 處理不恰當(dāng)?shù)臄?shù)據(jù)

異常值、缺失值..................................................................................064

2-10 為什么銷售額的八成來自兩成的商品 ?

帕累托定律、帕累托分析、帕累托圖、長尾效應(yīng) .........................066

2-11 對數(shù)量實施視覺展示

數(shù)據(jù)可視化、層級區(qū)分圖、文字云圖..............................................068

2-12 任何人都可以使用的便捷的數(shù)據(jù)分析工具

BI 工具、OLAP?....................................................................................070

2-13 集中管理數(shù)據(jù)

數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)集市?..........................................................072

2-14 對數(shù)據(jù)協(xié)作進行思考

ETL、EAI、ESB?..................................................................................074

2-15 對數(shù)據(jù)結(jié)構(gòu)進行可視化

ER 圖、DFD 圖、CRUD 表、CRUD 圖?............................................076

2-16 設(shè)計數(shù)據(jù)庫

正規(guī)化、非正規(guī)化?..............................................................................078

2-17 對紙上打印的數(shù)據(jù)進行提取處理

OCR、OMR?..........................................................................................080

2-18 高精度、高速度地導(dǎo)入數(shù)據(jù)

條形碼、二維碼、NFC?.......................................................................082

試一試 ?嘗試一下對使用數(shù)據(jù)的事例進行調(diào)查吧?............................ 084

第三章 數(shù)據(jù)處理與充分利用

- 對數(shù)據(jù)進行分類和預(yù)測 -

3-1 根據(jù)獲取時間而變化的數(shù)據(jù)

時間序列數(shù)據(jù)、趨勢、噪聲、周期?..................................................086

3-2 程序自動輸出的數(shù)據(jù)

日志、轉(zhuǎn)儲文件?..................................................................................088

3-3 捕捉長期變化

移動平均法、移動平均線、加權(quán)移動平均法?.................................090

3-4 掌握兩個數(shù)軸之間的關(guān)系

散點圖、協(xié)方差、相關(guān)系數(shù)?..............................................................092

3-5 不被表面的關(guān)系所欺騙

相關(guān)關(guān)系、因果關(guān)系、偽相關(guān)?..........................................................094

3-6 立足于多個數(shù)軸進行匯總

交叉匯總、聯(lián)合分析、直交表?..........................................................096

3-7 通過減少數(shù)軸的數(shù)量來把握特征

維度、主成分分析?..............................................................................098

3-8 了解人們對兩點之間距離的看法

歐幾里得距離、曼哈頓距離?..............................................................100

3-9 調(diào)查相似的角度

余弦相似度、Word2Vec?.....................................................................102

3-10 數(shù)據(jù)分析不只有帥氣的一面

預(yù)處理、數(shù)據(jù)準備、數(shù)據(jù)清洗、數(shù)據(jù)分析識別?.............................104

3-11 明確多個數(shù)軸之間的關(guān)系

回歸分析、最小二乘法?......................................................................106

3-12 了解高級回歸分析

多重回歸分析、邏輯回歸分析?..........................................................108

3-13 對分類進行預(yù)測

判別分析、馬哈拉諾比斯距離?..........................................................110

3-14 基于已掌握的知識進行數(shù)值推算

費米估算?..............................................................................................112

3-15 實現(xiàn)對擲骰子結(jié)果的操控

隨機數(shù)、偽隨機數(shù)、隨機種子、蒙特卡羅法?.................................114

3-16 通過反復(fù)預(yù)測提高精度

德爾菲法、指數(shù)平滑法??.....................................................................116

3-17 了解各種分析方法

多變量分析、數(shù)量化一類、數(shù)量化二類、數(shù)量化三類?.................118

試一試 ?嘗試一下統(tǒng)計問卷調(diào)查的結(jié)果吧?........................................ 120

第四章 需要了解的統(tǒng)計學(xué)知識

- 立足于數(shù)據(jù)推測答案 -

4-1 統(tǒng)計學(xué)的分類

描述統(tǒng)計學(xué)、推斷統(tǒng)計學(xué)..................................................................122

4-2 抽取數(shù)據(jù)

總體、樣本、隨機抽樣......................................................................124

4-3 用數(shù)值表示易發(fā)性

統(tǒng)計概率、數(shù)學(xué)概率、概率、期望值 .............................................126

4-4 針對幾個獨立事件同時發(fā)生的概率進行思考

同時概率、獨立性、互斥性、條件概率、概率的乘法定理.........128

4-5 基于結(jié)果對原因進行思考

先驗概率、后驗概率、貝葉斯定理、似然 .....................................130

4-6 把握數(shù)據(jù)的分布

概率分布、均勻分布、二項分布、正態(tài)分布、標準正態(tài)分布.....132

4-7 如果收集眾多數(shù)據(jù)，就能接近真實值

中心極限定理、大數(shù)定律..................................................................134

4-8 用函數(shù)來表示分布

概率密度函數(shù)、累積分布函數(shù)..........................................................136

4-9 根據(jù)抽取的數(shù)據(jù)推測原始的總體

無偏估計量、點估計、區(qū)間估計、置信區(qū)間 .................................138

4-10 在不知道方差的情況下進行推算

標準誤差、無偏方差、自由度、t 分布 ...........................................140

4-11 從統(tǒng)計學(xué)的角度進行驗證

檢驗、原假設(shè)、備譯假設(shè)、拒絕......................................................142

4-12 確定做出正確判斷的基準

檢驗統(tǒng)計量、拒絕域、顯著性水平、雙側(cè)檢驗、單側(cè)檢驗.........144

4-13 對檢驗結(jié)果做出判斷

p 值、顯著性差異、錯誤、第一類錯誤、第二類錯誤?..................146

4-14 檢驗平均值

Z 檢驗、t 檢驗??....................................................................................148

4-15 檢驗方差

χ 2 分布、χ 2 檢驗、F 檢驗?...................................................................150

試一試 ?嘗試檢驗一下身邊的食品吧?................................................ 152

第五章 需要了解的有關(guān)人工智能的知識

- 常用的手法及其機制 -

5-1 打造與人類具有同等智慧的計算機

人工智能、圖靈測試??.........................................................................154

5-2 實現(xiàn)人工智能的手法

機器學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)?.............................156

5-3 用于評價人工智能的指標

混淆矩陣、準確率、精確率、召回率、F 值、交叉驗證??.............158

5-4 掌握學(xué)習(xí)的進度

過擬合、欠擬合?..................................................................................160

5-5 模仿大腦的學(xué)習(xí)方法

神經(jīng)網(wǎng)絡(luò)、損失函數(shù)、誤差反向傳播法..........................................162

5-6 逐漸接近最優(yōu)解

梯度下降法、局部解、學(xué)習(xí)率?..........................................................164

5-7 深入各分層，利用大量數(shù)據(jù)進行學(xué)習(xí)

深度學(xué)習(xí)、CNN、RNN、LSTM.........................................................166

5-8 對誤差進行量化

偏差 - 方差分解、折中?......................................................................168

5-9 提升精度

正則化、拉索回歸、嶺回歸?..............................................................170

5-10 分成多個組

聚類、k 均值算法?...............................................................................172

5-11 劃分為任意個簇

分層次聚類、Ward 法、最短距離法、最長距離法?........................174

5-12 在樹結(jié)構(gòu)中學(xué)習(xí)

決策樹、不純度、信息增益?..............................................................176

5-13 使用多個人工智能進行多數(shù)表決

隨機森林、集成學(xué)習(xí)、引導(dǎo)聚集算法、提升方法?.........................178

5-14 評價規(guī)則的指標

支持度、置信度、提升度?..................................................................180

5-15 邊界余量的最大化

支持向量機、超平面、硬余量、軟余量..........................................182

5-16 進行自動的機器學(xué)習(xí)

自動化機器學(xué)習(xí)、可解釋性人工智能?..............................................184

5-17 結(jié)合各種方法尋找解決方法

運籌學(xué)、數(shù)理優(yōu)化、數(shù)理設(shè)計法、概率設(shè)計法?.............................186

試一試 ?查找一下最新的論文吧?........................................................ 188

第六章 有關(guān)安全與隱私的問題

- 數(shù)據(jù)社會將走向何方？ -

6-1 處理數(shù)據(jù)時必須遵守道德

信息倫理、數(shù)據(jù)倫理?..........................................................................190

6-2 數(shù)據(jù)可靠性堪憂

統(tǒng)計造假、技術(shù)人員倫理??.................................................................192

6-3 錯誤認識導(dǎo)致精度下降

數(shù)據(jù)偏差、算法偏差 .........................................................................194

6-4 在日本對于個人信息的處理

個人信息保護法、P 認證 ..................................................................196

6-5 在海外對于個人信息的處理

GDPR、CCPA ......................................................................................198

6-6 對個人信息的充分利用進行思考

假名化、匿名化、k- 匿名化 ............................................................200

6-7 對數(shù)據(jù)的流通、一般使用與充分利用進行思考

數(shù)據(jù)驅(qū)動型社會、超智能社會、信息銀行 ....................................202

6-8 制定處理數(shù)據(jù)時的規(guī)則

信息安全政策、隱私政策..................................................................204

6-9 公示收集數(shù)據(jù)的目的

使用目的、選擇加入、選擇退出......................................................206

6-10 了解保有數(shù)據(jù)的權(quán)利

知識產(chǎn)權(quán)、著作權(quán)..............................................................................208

6-11 自動獲得外部數(shù)據(jù)

抓取、爬取 ..........................................................................................210

6-12 對保有數(shù)據(jù)的讀取進行管理

訪問控制、備份..................................................................................212

6-13 防止從內(nèi)部帶出數(shù)據(jù)

審計、數(shù)據(jù)泄露防護..........................................................................214

6-14 每次都能得到相同結(jié)果

冪等性 ..................................................................................................216