數(shù)據(jù)智能研究前沿

1 深度生成模型

1.1 引言

1.2 模型定義

1.2.1 生成模型基本概念

1.2.2 基于層次化貝葉斯的建模

1.2.3 基于深度神經(jīng)網(wǎng)絡的建模

1.3 學習方法

1.3.1 最大似然估計

1.3.2 對抗式生成網(wǎng)絡

1.3.3 矩匹配深度生成模型

1.4 “珠算”概率編程庫

1.4.1 模型構建

1.4.2 推斷和學習算法

1.5 典型應用

1.5.1 生成高質量的圖片、視頻、音頻

1.5.2 半監(jiān)督學習

1.5.3 風格遷移

1.5.4 強化學習

1.6 總結與展望

參考文獻

2 生成式對抗網(wǎng)絡

2.1 引言

2.2 生成式對抗網(wǎng)絡概況

2.2.1 GAN提出的背景

2.2.2 GAN的基本概念

2.2.3 GAN的優(yōu)勢

2.2.4 GAN面臨的挑戰(zhàn)

2.2.5 小結

2.3 GAN的網(wǎng)絡結構

2.3.1 DOCN

2.3.2 OGAN

2.3.3 InfoCAN

2.3.4 其他網(wǎng)絡結構

2.4 GAN的損失函數(shù)

2.4.1 LSGAN

2.4.2 WGAN

2.4.3 WGAN-GP

2.4.4 EBGAN

2.4.5 BEGAN

2.4.6 RGAN

2.5 GAN的正則化方法

2.5.1 批歸一化

2.5.2 權值歸一化

2.5.3 譜歸一化

2.5.4 正則化方法比較

2.6 GAN的訓練與評價

2.6.1 訓練技巧

2.6.2 優(yōu)化算法

2.6.3 評價指標

2.7 GAN的應用

2.7.1 計算機視覺

2.7.2 自然語言處理

2.7.3 智能語音

2.7.4 其他領域

2.8 總結與展望

參考文獻

3 模型驅動深度學習

3.1 模型驅動深度學習概述

3.2 優(yōu)化模型驅動的深度學習

3.2.1 稀疏編碼優(yōu)化深度網(wǎng)絡

3.2.2 ADMM深度網(wǎng)絡及其在壓縮傳感成像中的應用

3.3 統(tǒng)計模型驅動的深度學習

3.3.1 MRF統(tǒng)計分布參數(shù)估計的深度學習方法

3.3.2 條件隨機場模型驅動的深度學習

3.3.3 小結

3.4 其他領域模型驅動的深度學習方法

3.5 總結與展望

參考文獻

4 自步一課程學習

4.1 課程學習

4.2 自步學習

4.3 自步正則

4.4 自步一課程學習

4.5 用武之地

4.6 從強監(jiān)督到弱監(jiān)督

4.6.1 零樣本學習

4.6.2 弱監(jiān)督學習——多示例學習

4.6.3 半監(jiān)督學習——自步協(xié)同學習

4.7 自步一課程學習理論

4.7.1 穩(wěn)健性理論

4.7.2 收斂性理論

4.7.3 凹共軛理論

4.8 元學習方法

4.9 總結與展望

參考文獻

5 強化學習

5.1 強化學習簡介

5.1.1 強化學習模型

5.1.2 馬爾可夫決策過程

5.1.3 學習最優(yōu)策略：無模型方法

5.1.4 通過學習模型來計算最優(yōu)策略

5.2 深度強化學習

5.2.1 基于值函數(shù)的深度強化學習

5.2.2 基于策略梯度的深度強化學習

5.2.3 基于行動者一評論家的深度強化學習

5.3 遷移強化學習

5.3.1 遷移強化學習的定義

5.3.2 基于樣例遷移的遷移強化學習

5.3.3 基于表示遷移的遷移強化學習

5.3.4 基于參數(shù)遷移的遷移強化學習

5.3.5 基于關系遷移的遷移強化學習

5.3.6 遷移強化學習的評估

5.4 分層強化學習

5.4.1 基于選項的分層強化學習

5.4.2 基于MaxQ函數(shù)分解的分層強化學習

5.4.3 基于分層抽象機的分層強化學習

5.4.4 深度分層強化學習和自動分層

5.5 逆向強化學習

5.5.1 基本概念

5.5.2 求解獎勵函數(shù)

5.5.3 大狀態(tài)空間下的獎勵函數(shù)求解

5.5.4 基于最大熵的逆向強化學習

5.5.5 生成對抗模仿學習算法

5.6 多智能體強化學習

5.6.1 多智能體學習目標

5.6.2 基于表格表征的多智能體強化學習

5.6.3 深度多智能體強化學習

參考文獻

6 遷移學習

6.1 遷移學習的概念

6.1.1 遷移學習的定義

6.1.2 遷移學習的問題設定

6.2 遷移學習的理論基礎

6.2.1 數(shù)據(jù)集偏移及其原因

6.2.2 轉導遷移學習經(jīng)典理論

6.2.3 間隔分歧散度

6.2.4 j納遷移學習的經(jīng)典理論

6.3 歸納遷移學習

6.3.1 有監(jiān)督預訓練

6.3.2 無監(jiān)督預訓練

6.3.3 微調

6.4 轉導遷移學習

6.4.1 樣本重要性加權方法

6.4.2 基于距離約束的領域適應方法

6.4.3 基于對抗學習的領域適應方法

6.5 無監(jiān)督遷移學習

6.5.1 雙向生成式對抗網(wǎng)絡

6.6 遷移學習的相關范式

6.6.1 多任務學習

6.6.2 少樣本學習

6.6.3 持續(xù)學習

6.6.4 元學習

6.7 遷移學習的應用

6.7.1 智慧醫(yī)療

6.7.2 自動駕駛

6.7.3 機器人控制

參考文獻

7 演化智能

7.1 演化人工神經(jīng)網(wǎng)絡

7.1.1 權值演化

7.1.2 網(wǎng)絡結構和學習規(guī)則的演化

7.1.3 EPNet：一種混合型演化神經(jīng)網(wǎng)絡方法

7.2 多目標演化

7.2.1 演化多目標優(yōu)化

7.2.2 演化多目標機器學習

7.3 協(xié)同演化

7.3.1 協(xié)同