探索式軟件測試

　　談論軟件質量的方法有很多，感興趣的聽眾也有很多。本書是為軟件測試人員而寫的，寫的是一種我認為比其他任何缺陷都重要的特殊缺陷：即逃過所有各種檢測手段而最終存在于發(fā)布產(chǎn)品中的缺陷。　任何一個軟件公司發(fā)布的產(chǎn)品都有缺陷。缺陷是怎么引入的？為什么沒有在代碼審核、單元測試、靜態(tài)分析或其他面向開發(fā)人員的活動中把它們找出來？為什么自動化測試沒有找出它們？那些缺陷有些什么特質使其能逃過手工測試？　什么是找出產(chǎn)品缺陷的最好方法？　本書針對的正是最后一個問題。在第2章“手工測試”中，我提出了一個觀點：因為用戶是在使用軟件過程中找到這些缺陷的，所以我們的測試人員也應該通過使用軟件來找到它們。無論使用自動化測試和單元測試，還是其他一些手段，都難以接觸到這些缺陷。無論測試人員怎么實現(xiàn)自動化測試，即使全部都自動化，這些缺陷還是會處處作怪，并在產(chǎn)品中屢屢重現(xiàn)從而傷害最終用戶。　問題在于很多現(xiàn)代化手工測試實踐都缺乏目的性，隨機性強且重復性強。有些人可能還會加上一條：手工測試無聊透頂。本書試圖為手工測試流程提供一些指導、技術和規(guī)劃?！≡诘?章“局部探索式測試法”中，針對測試人員在運行任何一個測試用例時都需要做出很多細微的戰(zhàn)術層面決定，我給出了詳盡的指導建議。測試人員必須決定對于某個特定的輸入字段應該使用什么輸入值，或者給應用程序使用的文件提供什么數(shù)據(jù)。在測試過程中，必須做出許多這樣的小決定。在缺乏指導的情況下，這些決定常常是未經(jīng)分析且不是最優(yōu)化的。在向一個文本框內(nèi)輸入一個數(shù)時，選擇整數(shù)4難道就勝過整數(shù)400么？應該用長度為32字節(jié)的字符串還是長度為256字節(jié)的字符串？選擇一個而不選另一個是有一定道理的，這一切都取決于處理該輸入的軟件的具體情況。鑒于測試人員每天都要做出數(shù)百次這樣的小決定，在這里提供有效的指導建議顯得至關重要?！≡诘?章“全局探索式測試法”中，針對測試人員在編制測試計劃和測試用例設計時需要考慮哪些廣泛的戰(zhàn)略性問題，我也給出了一些指導建議。這些技術都基于“漫游測試”（tour）概念，如同一個導游帶領旅游團隊參觀大都市中一系列著名景點一樣，這種漫游測試法指出的路線可以指導測試人員如何探索軟件的方方面面。這里的探索并不一定是隨機的或者漫無目的的。本書所記錄的方法已經(jīng)成為微軟和谷歌的許多測試人員日常工作的一部分。諸如“地標測試法”（landmark tour）和“極限測試法”（intellectual’s tour）等詞匯已經(jīng)列入了手工測試人員的標準詞匯表中。測試技術以前確實被稱作“漫游”，但是用整個旅游業(yè)來隱喻軟件測試，并在測試實際發(fā)布的應用程序時，大規(guī)模使用這些隱喻的名稱，還屬于本書的一個創(chuàng)舉。　全局探索式測試法對于制定完整的測試策略給出了指導建議。例如，如何創(chuàng)建一組特性覆蓋率（feature coverage）較高的測試用例？如何確定是否要在一個單獨的測試用例中使用多個特性？如何創(chuàng)建一個完整的測試用例套件（test case suite），從而使軟件盡可能地滿負荷工作以便能找到更多重要的缺陷？這些都是設計測試用例和保證測試套件質量時必須解決的重大問題?！≡诘?章“混合探索測試技術”中，通過把探索式測試和傳統(tǒng)的腳本或基于場景的測試技術相結合，進一步擴展了漫游的概念。我們將討論如何修改各種端到端場景（end-to-end scenario）、測試腳本（test script）或用戶故事（user story），來創(chuàng)造更多的變化情況，以激發(fā)傳統(tǒng)靜態(tài)測試技術查找缺陷的潛力?！≡诘?章“探索式測試的實際應用”中，來自微軟不同產(chǎn)品組的五位客串作者提供了他們使用漫游技術后得到的經(jīng)驗報告。這些作者和他們的團隊在真實的開發(fā)環(huán)境中，把漫游方法應用在真實的軟件上。他們記錄了各自是如何使用漫游、修改漫游甚至創(chuàng)建自己的漫游的。這些內(nèi)容來自于使用漫游法測試重要的關鍵軟件產(chǎn)品的測試人員，屬于真正的第一手資料?！∽詈?，我用兩章內(nèi)容總結前面各章所討論的內(nèi)容。在第7章“漫游測試的棘手問題”中，描述了我認為的測試中最困難的幾個問題，以及如何將那些具有高度針對性的探索式測試方法融入一個更廣泛的解決方案中。在第8章“軟件測試的未來”中，我更進一步討論在未來幾年中，諸如虛擬化、可視化甚至電視游戲之類的技術將如何改變測試的面貌。附錄包括我對測試職業(yè)生涯的看法，收集了我以前一些深受讀者喜愛的文章（加入了一些新的注解），其中一些文章已經(jīng)無法在其他地方看到了。　寫這本書對我來說是一種享受，我希望你閱讀本書也是一種享受。

　　James A.Whittaker，近日已加入谷歌擔任測試工程主管，他曾在微軟擔任Visual Studio Team SysterTl架構師，負責為微軟測試業(yè)務主導產(chǎn)品策略，并領導內(nèi)部團隊應用探索式軟件測試。Whittaker博士曾在佛羅里達理工學院擔任計算機科學教授一職。在校期間，他被The Jourhal of Systems and Software授予“首席學者”稱號，并領導一個研究團隊創(chuàng)建了許多領先的測試工具和技術，包括備受稱贊的運行時錯誤注入工具Holodeck。Wtlittaker博士還著有《如何攻破軟件》、《如何破壞軟件安全》和《如何破壞網(wǎng)絡軟件》。他發(fā)表過50+有關軟件開發(fā)和安全的同級評審論文。他持有安全測試和安全防御技術方面多項發(fā)明的專利。譯者簡介：方敏，現(xiàn)任微軟業(yè)洲工程院UIS項目首席測試部門主管，擁有20年軟件測試管理和開發(fā)的豐富經(jīng)驗，曾參加過微軟多項重大產(chǎn)品和技術的研制，包括UIS，Windows Server／Client／Security，SQL Server，Exchange Server，MSN，COM+Services，Windows Medi和微軟內(nèi)部IT工具等。方敏曾在清華大學獲得電子工程學士和碩士學位，在美國新墨西哥技術學院獲得計算機碩士學位。張勝，現(xiàn)任微軟總部高級軟件開發(fā)測試主管，擁有10余年軟件開發(fā)測試和團隊管理經(jīng)驗，參與Visual Studio，SQL Server和Office Live的開發(fā)測試與發(fā)布，現(xiàn)主管Office Communications Server本地化軟件開發(fā)測試工作。張勝擁有復旦大學計算機系碩七和學上學位。