自動化軟件測試實施指南

譯者序
序
序二
前言
第一部分 什么是自動化軟件測試和為什么需要自動化
第1章 自動化軟件測試概述
1.1 自動化測試定義
1.2 自動化測試的方法
1.3 AST技術的發(fā)展
1.4 各種自動化測試類型
1.5 提供基于AST的產品支持
1.5.1 按照需要對定位和修復產品問題提供支持
1.5.2 對確定出修正給特定程序組件造成的影響提供支持
1.5.3 校驗產品修正的準確性和質量
1.5.4 支持產品的STR分類方法
1.6 自動化評估標準
小結
第2章 為什么要使用自動化
2.1 當今測試軟件面臨的挑戰(zhàn)
2.2 減少軟件測試的時間和成本
2.2.1 自動測試計劃和開發(fā)——初始測試的工作量增加
2.2.2 生成測試數(shù)據(jù)——測試工作／計劃減少
2.2.3 測試的執(zhí)行——測試工作的減少／測試進度的加快
2.2.4 測試結果分析——測試工作的減少／測試進度的加快
2.2.5 錯誤狀態(tài)／更正監(jiān)測——測試工作的減少，測試進度的加快
2.2.6 報告的創(chuàng)建——測試工作的減／測試進度的加快
2.2.7 其他需要考慮的降低因素
2.3 影響軟件質量
2.4 改進軟件測試程序
2.4.1 改進構建驗證測試（冒煙測試）
2.4.2 改進回歸測試
2.4.3 多平臺兼容性測試和配置測試
2.4.4 改善日常測試的執(zhí)行
2.4.5 改進重點關注的高級測試問題
2.4.6 完成手動測試無法完成的工作
2.4.7 重現(xiàn)軟件缺陷的能力
2.4.8 加強系統(tǒng)專業(yè)知識
2.4.9 下班后“無人值守”測試
2.4.10 改進需求定義
2.4.11 改進性能測試
2.4.12 改進壓力測試和耐力測試
2.4.13 質量度量和測試優(yōu)化
2.4.14 改進系統(tǒng)開發(fā)生命周期
2.4.15 改進文檔和可跟蹤性
2.4.16 分布式工作負載和并發(fā)測試
小結
第3章 商業(yè)案例
3.1 商業(yè)案例的定義
3.2 確定業(yè)務需要
3.3 在成本和收益方面調整自動化
3.3.1 評估ROI
3.3.2 自動化測試的總節(jié)省
3.3.3 測試環(huán)境建立的時間節(jié)省
3.3.4 測試開發(fā)的時間節(jié)省
3.3.5 測試執(zhí)行時間的節(jié)省
3.3.6 測試評估／診斷時間節(jié)省
3.3.7 ROI的其他幾點考量
3.3.8 更多ROI指標
3.4 風險
3.5 其他考慮
小結
第4章 自動化測試失敗的原因以及需要避免的陷阱
4.1 通常R&D不重視自動化測試或手動測試的工作
4.2 自動化測試的神話與現(xiàn)實
4.2.1 自動測試計劃的生成
4.2.2 測試工具適合所有場景
4.2.3 測試工作立即減少
4.2.4 計劃立即縮減
4.2.5 工具的易用性
4.2.6 任何應用都可以使用AST
4.2.7 100％測試覆蓋率
4.2.8 捕獲／回放等同AST
4.2.9 AST是手動測試活動
4.2.10 忘記了測試的目的是找出缺陷
4.2.11 側重于系統(tǒng)測試自動化而非自動化單元測試
4.3 軟件開發(fā)時缺乏針對AST的考慮
4.3.1 在應用中構建可測試性
4.3.2 遵循開放架構標準
4.3.3 遵循標準文檔格式
4.3.4 標準化的文檔測試用例
4.3.5 遵循編碼標準
4.3.6 使用OMG的IDI
4.3.7 GUI測試建議
4.3.8 GuI對象命名標準
4.3.9 代碼重用的庫概念
4.4 只見樹木不見森林——不知道如何選擇工具
4.5 缺少工具供應商都遵循的自動化標準
4.6 缺乏企業(yè)案例
小結
第二部分 如何實現(xiàn)自動化：獲得自動化回報最重要的6個要點
第5章 要點1：了解需求
5.1 理解AST所支持的需求
5.1.1 AUT或SUT需求
5.1.2 AST框架（ASTF）和工具的需求
5.1.3 AST數(shù)據(jù)需求
5.1.4 測試環(huán)境的需求
5.1.5 AST過程需求
5.2 支持.AST需求的更多信息
5.2.1 手動測試過程
5.2.2 設計文檔
5.2.3 原型
5.3 當信息不存在時
5.3.1 引導性的訪談
5.3.2 進一步增加知識面
5.3.3 基于遺留應用程序或遺留系統(tǒng)開發(fā)需求
5.4 開始實現(xiàn)需求跟蹤矩陣（RTM）
5.4.1 RTM中的信息
5.4.2 RTM示例
小結
第6章 要點2：開發(fā)自動化測試策略
6.1 AST策略文檔
6.2 范圍和自動化測試目標
6.2.1 決定要自動化哪些測試
6.2.2 優(yōu)先級——基于優(yōu)先級的功能計劃的自動化需求
6.2.3 定義測試目標：示例
6.3 確定方法
6.4 自動化軟件測試框架
6.5 AST環(huán)境／配置
6.5.1 測試配置
6.5.2 其他測試環(huán)境的自動化測試需求
6.5.3 自動化測試環(huán)境管理——自動化CM
6.6 自動化RTM
6.6.1 需要標準的測試用例模板，對自動化框架極其有用
6.6.2 鏈接到測試用例
6.6.3 更新測試用例的步驟，包括通過失敗結果
6.6.4 更新RTM，包括通過，失敗結果
6.7 自動化的缺陷跟蹤
小結
第7章 要點3：測試自動化軟件測試框架（ASTF）
7.1 驗證ASTF是否滿足特定需求，功能是否表現(xiàn)得如預期那樣
7.2 對所有ASTF相關工件，包括設計、開以及相關測試用例進行同級評審
7.2.1 作為軟件開發(fā)生命周期一部分的同級評審
7.2.2 評估所有ASTF組件
7.2.3 評審測試用例
7.2.4 評審測試邏輯
7.2.5 評審測試數(shù)據(jù)
7.2.6 評審自動化的測試代碼
7.3 驗證需求和覆蓋率
7.3.1 跟蹤能力
7.3.2 覆蓋率
7.4 舉行一次用戶審查
小結
第8章 要點4：持續(xù)跟蹤過程并作相應調整
8.1 AST程序跟蹤和缺陷預防
8.1.1 技術交換和走查
8.1.2 內部檢查
8.1.3 檢查約束和相關風險
8.1.4 實現(xiàn)風險緩解策略
8.1.5 維護AST過程和環(huán)境的完整性
8.1.6 定義、溝通和跟蹤進度和成本
8.1.7 跟蹤工作、問題和缺陷
8.2 AST度量
8.2 可自動化的百分比或自動化指標
8.2.2 自動化進展
8.2.3 測試進度
8.2.4 自動化測試覆蓋率百分比
8.2.5 缺陷密度
8.2.6 缺陷趨勢分析
8.2.7 缺陷移除效率
8.2.8 自動化軟件測試ROI
8.2.9 其他軟件測試度量
8.3 根本原因分析
小結
第9章 要點5：實施AST過程
9.1 AST的階段和里程碑
9.2 AST階段1：需求收集——分析自動化測試需求
9.3 AST階段2：測試用例設計和開發(fā)
9.4 AST階段3：開發(fā)自動化測試軟件框架（ASTF）和測試腳本
9.5 AST階段4：自動化測試的執(zhí)行和結果報告·
9.6 AST階段5：程序審查和評估
9.7 虛擬質量門檻
9.8 過程度量
小結
第10章 要點6：人盡其才
10.1 程序管理
10.1.1 AST階段1：需求收集——分析自動化測試需求
10.1.2 AST階段2：測試用例設計與開發(fā)
10.1.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.1.4 AST階段4：自動化測試執(zhí)行和結果報告
10.1.5 AST階段5：審查并評估程序
10.2 系統(tǒng)工程
10.2.1 AST階段1：需求收集——分析自動化測試需求
10.2.2 AST階段2：測試用例設計和開發(fā)
10.2.3 AST階段3：開發(fā)自動化測試框架和測試腳本
10.2.4 AST階段4：自動化測試的執(zhí)行和結果報告
10.2.5 AST階段5：審查并評估程序
10.3 軟件開發(fā)
10.3.1 AST階段1：需求收集——分析自動化測試需求
10.3.2 AST階段2：測試用例設計和開發(fā)
10.3.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.3.4 AST階段4：自動化測試的執(zhí)行和結果報告
10.3.5 AST階段5：程序審查和評估
10.4 配置管理
10.4.1 AST階段1：需求收集——分析自動化測試需求
10.4.2 AST階段2：測試用例設計和開發(fā)
10.4.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.4.4 AST階段4：自動化測試的執(zhí)行和結果報告
10.4.5 AST階段5：審查并評估程序
10.5 質量保證
10.5.1 AST階段1：需求收集——分析自動化測試需求
10.5.2 AST階段2：測試用例設計和開發(fā)
10.5.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.5.4 AST階段4：自動化測試的執(zhí)行和結果報告
10.5.5 AST階段5：審查并評估程序
10.6 領域專家（$ME）
10.7 培訓
小結
附錄
附錄A 過程一覽表
附錄B 將AST應用到的各種測試類型
附錄C 工作中的利器
附錄D 案例研究：自動化軟件測試框架（ASTF）示例