Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機器對話

推薦序一
推薦序二
前　　言
第一部分　準(zhǔn)備篇
引　言　從科幻電影談起
第1章　自然人機交互技術(shù)漫談
1.1　自然人機交互技術(shù)的發(fā)展
1.1.1　第六感設(shè)備：技術(shù)的組合創(chuàng)新
1.1.2　追影技術(shù)：攝像頭也瘋狂
1.1.3　虛擬現(xiàn)實：真實的體驗場景
1.1.4　增強現(xiàn)實：真實與虛擬的疊加
1.1.5　多點觸摸：信息就在指尖
1.1.6　語音識別：從ViaVoice到Siri
1.1.7　眼球跟蹤：從霍金的座椅談起
1.1.8　人臉識別：Photo DNA
1.1.9　體感操作：達芬奇手術(shù)機器人
1.1.10　腦機界面：霍金座椅的升級版
1.2　“你就是控制器”—Kinect宣言
1.2.1　Kinect銷售記錄及命名來歷
1.2.2　未來照進現(xiàn)實
第二部分　原理篇
第2章　揭開Kinect的神秘面紗—硬件設(shè)備解剖
2.1　兩款Kinect傳感器對比
2.2　Kinect傳感器的硬件組成
2.2.1　Kinect的“心臟”—PS1080 SoC
2.2.2　Kinect的“三只眼”—投影機和兩個攝像頭
2.2.3　Kinect的“四只耳朵”—麥克風(fēng)陣列
2.2.4　會搖擺的“相控雷達”—傳動馬達
2.2.5　姿態(tài)控制—三軸加速度計
2.2.6　USB接口及電源
2.2.7　Kinect風(fēng)扇控制
2.3　Kinect相關(guān)技術(shù)規(guī)格
2.3.1　Kinect近景模式
2.3.2　Kinect放大鏡
2.4　本章小結(jié)
第3章　Kinect工作原理大揭秘
3.1　Kinect for Xbox 360的產(chǎn)品設(shè)計
3.2　基于“管道”的系統(tǒng)架構(gòu)
3.2.1　骨骼跟蹤
3.2.2　動作識別
3.2.3　人臉識別
3.2.4　語音識別
3.3　Kinect眼里的三維世界
3.3.1　深度數(shù)據(jù)是Kinect的精髓
3.3.2　2D視覺與3D視覺
3.4　深度圖像成像原理
3.4.1　ToF光學(xué)測距與結(jié)構(gòu)光測量
3.4.2　Light Coding技術(shù)
3.4.3　激光散斑原理
3.4.4　光源標(biāo)定
3.5　從深度圖像到骨骼圖
3.5.1　動靜分離，識別人體
3.5.2　人體部位分類
3.5.3　從人體部位識別關(guān)節(jié)
3.5.4　會“機器學(xué)習(xí)”的“Kinect大腦”
3.5.5　骨骼跟蹤的精度和效率
3.6　創(chuàng)建你的Avatar
3.6.1　“有骨有肉”
3.6.2　泊松方程噪聲濾除
3.6.3　粗糙變平滑、缺陷自動補齊
3.7　本章小結(jié)
第三部分　基礎(chǔ)篇
第4章　Kinect for Windows SDK導(dǎo)讀
4.1　什么是Kinect SDK
4.1.1　Kinect SDK的發(fā)展歷程
4.1.2　SDK v1.5的新特性
4.1.3　SDK v1.5尚未提供的API
4.1.4　從底層進行封裝
4.2　Kinect for Windows體系架構(gòu)
4.3　應(yīng)用層API詳解
4.3.1　Kinect的核心NUI API
4.3.2　Kinect Audio DMO
4.3.3　Windows Speech SDK
4.4　數(shù)據(jù)流概述
4.4.1　彩色圖像數(shù)據(jù)
4.4.2　用戶分割數(shù)據(jù)
4.4.3　深度圖像數(shù)據(jù)
4.4.4　如何獲取數(shù)據(jù)流
4.5　骨骼跟蹤
4.5.1　骨骼信息檢索
4.5.2　主動跟蹤和被動跟蹤
4.5.3　骨骼跟蹤對象選擇
4.6　NUI坐標(biāo)轉(zhuǎn)換
4.6.1　深度圖像空間坐標(biāo)
4.6.2　骨骼空間坐標(biāo)
4.6.3　坐標(biāo)變換
4.6.4　傳感器陣列和傾斜補償
4.6.5　地面測量
4.6.6　骨骼鏡像
4.7　本章小結(jié)
第5章　Kinect用戶交互設(shè)計的若干思考
5.1　Xbox 360 Kinect Hub界面和Metro風(fēng)格
5.1.1　什么是Metro風(fēng)格
5.1.2　Kinect Hub手勢原型設(shè)計
5.1.3　“懸停選擇”和“翻頁控制”
5.2　體感游戲的優(yōu)勢及局限性
5.2.1　更多的自由度
5.2.2　關(guān)節(jié)點重疊的處理辦法
5.2.3　情感因素和心理暗示
5.2.4　Kinect體感操作的局限性及對策
5.3　用戶交互的趨勢和新特性
5.3.1　Kinect使交互“柔軟化”
5.3.2　用戶交互設(shè)計也可能是一項專利
5.4　Kinect“體感操作”交互設(shè)計的七條軍規(guī)
5.4.1　控制手勢集符合人類自然手勢
5.4.2　讓用戶的肢體移動幅度盡可能小
5.4.3　操作界面的對象采用Metro風(fēng)格
5.4.4　“確認操作”保持簡單、一致
5.4.5　手勢操作盡可能在同一個平面內(nèi)
5.4.6　從三維的視角去看交互設(shè)計
5.4.7　配有簡單明了的手勢說明
5.5　本章小結(jié)
第四部分　開發(fā)篇
第6章　開發(fā)前的準(zhǔn)備工作
6.1　開發(fā)Kinect應(yīng)用所需的技能
6.2　系統(tǒng)要求
6.3　下載和安裝Kinect SDK
6.3.1　Kinect for Windows SDK v1.5
6.3.2　Developer Toolkit
6.3.3　Kinect快速開發(fā)工具箱
6.3.4　XNA開發(fā)環(huán)境
6.4　加載驅(qū)動、檢驗及測試
6.5　配置開發(fā)環(huán)境
6.6　要點和故障排除
6.7　本章小結(jié)
第7章　Hello，Kinect！
7.1　一行代碼的“Hello, Kinect!”
7.1.1　創(chuàng)建WPF工程
7.1.2　添加KinectDiagnosticViewer控件
7.1.3　編寫一行代碼
7.1.4　編譯運行
7.2　控制臺界面HelloKinectMatrix
7.2.1　創(chuàng)建Console工程
7.2.2　編寫代碼
7.2.3　運行效果
7.3　KinectContrib快速工程模板
7.4　KinectWpfViewers工具控件
7.5　本章小結(jié)
第8章　Kinect開發(fā)循序漸進
8.1　一個簡單的編程模型
8.1.1　初始化、啟用Kinect設(shè)備
8.1.2　彩色圖像流事件處理
8.1.3　深度數(shù)據(jù)捕獲
8.1.4　骨骼跟蹤
8.1.5　關(guān)閉Kinect設(shè)備
8.1.6　Kinect設(shè)備狀態(tài)管理及異常處理
8.2　更專業(yè)的深度圖
8.2.1　改進轉(zhuǎn)換方法
8.2.2　事件處理
8.3　控制Kinect仰角
8.3.1　“你的塑身”游戲
8.3.2　垂直調(diào)整Kinect仰角
8.4　本章小結(jié)
第9章　Kinect深度數(shù)據(jù)測量技術(shù)及應(yīng)用
9.1　什么是Kinect視角場
9.2　深度值與實際距離的對比
9.3　深度圖像的直方圖
9.3.1　直方圖統(tǒng)計信息的價值
9.3.2　深度圖像直方圖的意義
9.4　Kinect深度數(shù)據(jù)測量的應(yīng)用
9.4.1　近景模式：自動鎖屏工具
9.4.2　Kinect視角場幾何推導(dǎo)：測量人體身高
9.4.3　近距離探測：制作地形電子沙盤
9.5　本章小結(jié)
第五部分　實例篇
第10章　用Kinect表演“變臉”
10.1　在人的面部變換臉譜
10.2　代碼實現(xiàn)
10.2.1　WPF工程、控件及初始化
10.2.2　骨骼跟蹤
10.2.3　變臉及坐標(biāo)變換
10.3　合理暫停骨骼跟蹤
10.4　道具平滑跟隨
10.5　調(diào)整幕布大小
10.6　練習(xí)作業(yè)
第11章　用Kinect喚起“紅白機”的回憶
11.1　用身體控制馬里奧
11.2　代碼實現(xiàn)
11.2.1　WPF工程、控件及初始化
11.2.2　模擬鍵盤輸入工具類
11.2.3　肢體語言映射到鍵盤事件
11.3　副產(chǎn)品：PPT演示“空手道”
11.4　練習(xí)作業(yè)
第12章　用Kinect玩PC版的《水果忍者》
12.1　空氣鼠標(biāo)設(shè)計思路
12.1.1　找到離Kinect最近的那個人
12.1.2　兼容左手習(xí)慣和右手習(xí)慣
12.1.3　從骨骼坐標(biāo)系到鼠標(biāo)坐標(biāo)系
12.1.4　模擬鼠標(biāo)工具類
12.1.5　讓“空氣鼠標(biāo)”移動自如
12.1.6　模擬鼠標(biāo)左鍵事件
12.2　在PC中用Kinect玩《水果忍者》
12.2.1　核心代碼示例
12.2.2　如何雙手揮刀
12.3　更多游戲：《割繩子》
12.4　練習(xí)作業(yè)
第13章　創(chuàng)建你的Kinect Hub Demo界面
13.1　Metro風(fēng)格界面設(shè)計
13.2　使用Kinect骨骼跟蹤
13.3　使用Coding4Fun Kinect Toolkit開發(fā)加速器
13.4　懸停選擇
13.5　本章小結(jié)
第14章　用Kinect導(dǎo)播天氣預(yù)報
14.1　天氣預(yù)報是這樣煉成的
14.1.1　繪制幕布，定義前景圖片
14.1.2　對象定義及初始化
14.1.3　實現(xiàn)“畫中畫”效果
14.2　一些優(yōu)化的話題
14.2.1　使用Using及時回收資源
14.2.2　使用WriteableBitmap優(yōu)化圖片顯示性能
14.2.3　多線程和“輪詢模型”
14.2.4　使用中值濾波邊緣去噪
14.3　Kinect語音導(dǎo)播切換
14.3.1　引用Microsoft.Speech命名空間
14.3.2　音頻數(shù)據(jù)流和語音識別引擎
14.3.3　語音識別事件
14.4　本章小結(jié)
第15章　基于Kinect的家庭監(jiān)控系統(tǒng)
15.1　通過Kinect進行目標(biāo)探測
15.2　使用計算機視覺庫
15.2.1　Open CV程序庫
15.2.2　Emgu CV引用
15.2.3　保存快照
15.2.4　錄制視頻
15.3　目標(biāo)人體探測和影像錄制
15.4　擴展功能和更多應(yīng)用場景
15.5　本章小結(jié)
第16章　“Kinect牌”夢境錄音筆
16.1　Kinect音頻采集
16.1.1　使用音頻數(shù)據(jù)流
16.1.2　“波束跟蹤”信心值的另類用法
16.2　音頻錄制
16.2.1　WAV文件
16.2.2　WAVEFORMATEX結(jié)構(gòu)體
16.2.3　夢境錄音筆的實現(xiàn)
16.3　練習(xí)作業(yè)
第六部分　進階篇
第17章　再談姿態(tài)識別和手勢識別
17.1　姿態(tài)和手勢
17.2　動作與算法
17.2.1　如何設(shè)定動作集合
17.2.2　借鑒正則表達式和狀態(tài)機
17.2.3　轉(zhuǎn)換為幾何三角問題
17.3　常見手勢識別
17.3.1　揮手激活
17.3.2　懸停按鈕
17.3.3　磁石懸停
17.3.4　劃動手勢
17.3.5　滑動解鎖
17.3.6　推按鈕
17.3.7　通用暫停
17.4　工具介紹
17.4.1　動作錄制和識別GesturePak
17.4.2　手和手指的“空氣多點觸摸”
17.5　本章小結(jié)
第18章　Kinect在手術(shù)室的應(yīng)用原型
18.1　原型設(shè)計
18.2　交互設(shè)計
18.2.1　“懸停選擇”進行功能導(dǎo)航
18.2.2　“空氣鼠標(biāo)”的激活和隱藏
18.2.3　通過“劃動”手勢翻閱醫(yī)學(xué)影像
18.2.4　放大、縮小醫(yī)學(xué)影像病灶部位
18.2.5　“垂直擺動”翻閱病歷
18.2.6　體感操作結(jié)合語音控制
18.3　體感操作的實現(xiàn)
18.3.1　基于SwipeGestureRecognizer
18.3.2　基于單個部位運動序列的軌跡分析匹配
18.3.3　基于多個部位姿態(tài)快照的狀態(tài)機匹配
18.4　利用SDK v1.5的新特性
18.4.1　近景模式下的上半身骨骼跟蹤
18.4.2　利用關(guān)節(jié)點朝向信息進行手勢識別和三維操作
18.4.3　人臉識別用于手術(shù)登錄驗證
18.4.4　調(diào)試工具Kinect Studio
18.5　本章小結(jié)
第19章　Hello，Kinect 3D World!
19.1　點、面、云
19.1.1　像素和彩色圖像幀
19.1.2　深度圖像幀和點云
19.1.3　多Kinect設(shè)備的接入
19.2　Kinect體感應(yīng)用開發(fā)工具簡介
19.2.1　軟件開發(fā)平臺XNA
19.2.2　游戲引擎Unity 3D
19.2.3　3D場景重建工具ReconstructMe
19.3　本章小結(jié)
第七部分　展望篇
第20章　奇思妙想—Kinect效應(yīng)
20.1　四旋翼飛行器的“導(dǎo)航雷達”
20.2　寵物看護機器人
20.3　空氣吉他
20.4　倒車?yán)走_系統(tǒng)
20.5　Kinect購物車
20.6　魔術(shù)道具
20.7　本章小結(jié)
第21章　Kinect企業(yè)級應(yīng)用
21.1　思維導(dǎo)圖
21.2　體感操作應(yīng)用
21.2.1　手術(shù)室
21.2.2　體育運動競技研究
21.2.3　動作捕捉、CG動畫制作
21.2.4　虛擬試衣鏡
21.2.5　課堂
21.2.6　虛擬汽車展廳
21.2.7　管理你的銀行賬戶
21.2.8　聾啞人的同聲翻譯
21.3　深度數(shù)據(jù)應(yīng)用
21.3.1　老年人監(jiān)護
21.3.2　康復(fù)訓(xùn)練
21.3.3　家庭監(jiān)控系統(tǒng)
21.3.4　道路交通稽查
21.3.5　冰川消融研究
21.3.6　給宇航員稱體重
21.4　實物3D建模應(yīng)用
21.4.1　實物3D數(shù)字化
21.4.2　文物3D模型“數(shù)字敦煌”計劃
21.4.3　3D掃描和打印
21.5　機器人視覺與控制
21.5.1　地震搜救機器人
21.5.2　深海探測機器人
21.5.3　工程機械臂控制
21.6　本章小結(jié)
第22章　下一代人機交互技術(shù)
22.1　下一代Kinect技術(shù)若干猜想
22.2　未來驚鴻一瞥
第八部分　附錄
附錄A　Kinect SDK命名空間速查手冊
附錄B　推薦閱讀及網(wǎng)絡(luò)資源
后記
參考資料