前瞻交互：從語(yǔ)音、手勢(shì)設(shè)計(jì)到多模融合

第1章 多模交互的演進(jìn)1
1．1 什么是多模交互 1
1．1．1 人機(jī)交互的發(fā)展歷史 1
1．1．2 多模交互的定義 4
1．1．3 多模交互技術(shù)逐漸成熟 6
1．1．4 多模融合的三個(gè)階段 9
1．2 初步融合階段 10
1．2．1 多模態(tài)之間的關(guān)系 10
1．2．2 多模融合的關(guān)鍵12
1．2．3 多模交互框架 13
1．3 語(yǔ)義理解階段 14
1．3．1 什么是語(yǔ)義 14
1．3．2 語(yǔ)義對(duì)于多模交互的重要性 15
1．4 任務(wù)自適應(yīng)階段 17
1．4．1 認(rèn)知負(fù)荷 17
1．4．2 隱私性19
1．4．3 安全性20
1．4．4 模態(tài)容量 20
1．4．5 信息重要程度和交互歷史 21
1．4．6 交互距離22
1．5 當(dāng)前我們能做什么 23
第2章 多模交互包含什么 25
2．1 視覺(jué)系統(tǒng)的特點(diǎn) 25
2．1．1 視覺(jué)范圍25
2．1．2 3．5 毫米的中央凹和每秒3~4次的跳動(dòng)頻率 26
2．1．3 中央視覺(jué)和周?chē)曈X(jué) 28
2．1．4 我們是如何閱讀的 29
2．1．5 光亮與黑暗31
2．2 聽(tīng)覺(jué)32
2．2．1 聽(tīng)覺(jué)系統(tǒng)的特點(diǎn)32
2．2．2 視覺(jué)和聽(tīng)覺(jué)的區(qū)別 34
2．3 觸覺(jué) 35
2．3．1 觸覺(jué)系統(tǒng)的特點(diǎn) 35
2．3．2 觸覺(jué)感知的相關(guān)應(yīng)用 35
2．4 嗅覺(jué)、味覺(jué)和五感理論 40
2．4．1 嗅覺(jué)系統(tǒng)和味覺(jué)系統(tǒng)的特點(diǎn) 40
2．4．2 嗅覺(jué)營(yíng)銷(xiāo)相關(guān)案例 42
2．4．3 嗅覺(jué)交互上的探索 43
2．4．4 嗅覺(jué)和味覺(jué)設(shè)計(jì)存在的問(wèn)題 45
2．4．5 五感理論 45
2．5 主動(dòng)交互47
2．5．1 包含情緒的語(yǔ)音 47
2．5．2 肢體動(dòng)作 48
2．5．3 手勢(shì) 49
2．5．4 面部表情 51
2．5．5 眼神 51
2．6 無(wú)須主動(dòng)交互的生物識(shí)別技術(shù) 52
2．6．1 指紋識(shí)別 53
2．6．2 人臉識(shí)別 53
2．6．3 虹膜識(shí)別 54
2．6．4 聲紋識(shí)別 55
2．6．5 心率檢測(cè) 56
2．6．6 肌肉電信號(hào)57
2．6．7 腦電波 58
第3章 語(yǔ)音交互設(shè)計(jì)61
3．1 聲音的構(gòu)成和作用 62
3．1．1 語(yǔ)言 63
3．1．2 音樂(lè)和音效 67
3．2 語(yǔ)音交互的特點(diǎn) 70
3．2．1 語(yǔ)音交互的優(yōu)勢(shì) 70
3．2．2 語(yǔ)音交互的不足 72
3．2．3 語(yǔ)音交互的五大特性 77
3．3 創(chuàng)造一位智能語(yǔ)音助手 78
3．3．1 尋找合適的音色 80
3．3．2 確定智能語(yǔ)音助手和用戶(hù)的關(guān)系 82
3．3．3 構(gòu)建智能語(yǔ)音助手的用戶(hù)畫(huà)像 84
3．3．4 設(shè)計(jì)合理的喚醒詞 86
3．4 語(yǔ)音交互框架、意圖設(shè)計(jì) 88
3．4．1 四種語(yǔ)音交互模式 88
3．4．2 四種“喚醒+識(shí)別”方式89
3．4．3 語(yǔ)音交互狀態(tài)設(shè)計(jì) 90
3．4．4 意圖設(shè)計(jì)術(shù)語(yǔ)介紹 94
3．4．5 智能語(yǔ)音平臺(tái)如何聽(tīng)懂用戶(hù)說(shuō)的話(huà) 98
3．4．6 設(shè)計(jì)能聽(tīng)懂用戶(hù)說(shuō)什么的智能語(yǔ)音產(chǎn)品 101
3．5 對(duì)話(huà)設(shè)計(jì)原則 107
3．5．1 設(shè)計(jì)對(duì)話(huà)前需要了解的事項(xiàng) 107
3．5．2 任務(wù)型對(duì)話(huà)設(shè)計(jì)原則 113
3．5．3 修復(fù)對(duì)話(huà)設(shè)計(jì)原則 118
3．6 語(yǔ)音交互的GUI 設(shè)計(jì) 121
第4章 仍在起步的隔空手勢(shì)交互130
4．1 手勢(shì)的介紹 130
4．1．1 手勢(shì)交互的發(fā)展 130
4．1．2 手勢(shì)的分類(lèi) 132
4．2 隔空手勢(shì)設(shè)計(jì) 135
4．2．1 設(shè)計(jì)隔空手勢(shì)時(shí)需要考慮的問(wèn)題 135
4．2．2 導(dǎo)航手勢(shì) 141
4．2．3 語(yǔ)義手勢(shì) 144
4．2．4 操縱手勢(shì) 146
4．3 結(jié)合隔空手勢(shì)的UI設(shè)計(jì) 147
4．3．1 數(shù)字手部 147
4．3．2 直接觸摸 149
4．3．3 指針設(shè)計(jì) 150
4．3．4 交互組件的改造 152
第5章 語(yǔ)音圖形界面157
5．1 GUI和VUI的區(qū)別 158
5．1．1 GUI的特點(diǎn) 158
5．1．2 VUI的特點(diǎn)160
5．1．3 GUI和VUI融合時(shí)會(huì)遇到的問(wèn)題 162
5．2 GUI和VUI融合的三種實(shí)現(xiàn)方式 165
5．2．1 應(yīng)用級(jí)語(yǔ)音交互 166
5．2．2 可見(jiàn)即可說(shuō) 170
5．2．3 系統(tǒng)級(jí)語(yǔ)音交互 171
5．3 VGUI設(shè)計(jì)原則 172
5．4 重構(gòu)GUI操作 179
5．4．1 GUI控件文案設(shè)計(jì) 179
5．4．2 GUI組件和容器文案設(shè)計(jì) 184
5．4．3 特殊的控件和組件 185
5．5 VGUI核心設(shè)計(jì)要點(diǎn)187
5．5．1 全局指令和局部指令的權(quán)衡 187
5．5．2 控件/組件屬性的重構(gòu) 192
5．5．3 手勢(shì)的融合 200
第6章 跨設(shè)備和多模交互 201
6．1 跨設(shè)備交互是什么201
6．1．1 跨設(shè)備和多模交互的關(guān)系 201
6．1．2 跨設(shè)備交互的六個(gè)維度 202
6．2 淺談跨設(shè)備和多模交互細(xì)節(jié) 206
6．2．1 結(jié)合用戶(hù)場(chǎng)景進(jìn)行考慮206
6．2．2 結(jié)合信息密度和顯示距離進(jìn)行考慮208
6．2．3 模態(tài)的過(guò)渡和打斷 211
6．3 未來(lái)可期 212
6．3．1 面向未來(lái)的分布式操作系統(tǒng) 212
6．3．2 普適計(jì)算及未來(lái) 213