測試簡介
軟件測試是使用人工操作或者軟件自動運行的方式來檢驗它是否滿足規(guī)定的需求或弄清預(yù)期結(jié)果與實際結(jié)果之間的差別的過程。
它是幫助識別開發(fā)完成(中間或最終的版本)的計算機(jī)軟件(整體或部分)的正確度(correctness) 、完全度(completeness)和質(zhì)量(quality)的軟件過程;是SQA(software quality assurance)的重要子域。
Glenford J.Myers曾對軟件測試的目的提出過以下觀點:
(1)測試是為了發(fā)現(xiàn)程序中的錯誤而執(zhí)行程序的過程。
(2)好的測試方案是極可能發(fā)現(xiàn)迄今為止尚未發(fā)現(xiàn)的錯誤的測試方案。
(3)成功的測試是發(fā)現(xiàn)了至今為止尚未發(fā)現(xiàn)的錯誤的測試。
(4)測試并不僅僅是為了找出錯誤。通過分析錯誤產(chǎn)生的原因和錯誤的發(fā)生趨勢,可以幫助項目管理者發(fā)現(xiàn)當(dāng)前軟件開發(fā)過程中的缺陷,以便及時改進(jìn)。
(5)這種分析也能幫助測試人員設(shè)計出有針對性的測試方法,改善測試的效率和有效性。
(6)沒有發(fā)現(xiàn)錯誤的測試也是有價值的,完整的測試是評定軟件質(zhì)量的一種方法。
(7)另外,根據(jù)測試目的的不同,還有回歸測試、壓力測試、性能測試等,分別為了檢驗修改或優(yōu)化過程是否引發(fā)新的問題、軟件所能達(dá)到處理能力和是否達(dá)到預(yù)期的處理能力等。
測試原則
一,測試應(yīng)該盡早進(jìn)行,最好在需求階段就開始介入,因為最嚴(yán)重的錯誤不外乎是系統(tǒng)不能滿足用戶的需求。
二,程序員應(yīng)該避免檢查自己的程序,軟件測試應(yīng)該由第三方來負(fù)責(zé)。
三,設(shè)計測試用例時應(yīng)考慮到合法的輸入和不合法的輸入以及各種邊界條件,特殊情況下要制造極端狀態(tài)和意外狀態(tài),如網(wǎng)絡(luò)異常中斷、電源斷電等。
四,應(yīng)該充分注意測試中的群集現(xiàn)象。
五,對錯誤結(jié)果要進(jìn)行一個確認(rèn)過程。一般由A測試出來的錯誤,一定要由B來確認(rèn)。嚴(yán)重的錯誤可以召開評審會議進(jìn)行討論和分析,對測試結(jié)果要進(jìn)行嚴(yán)格地確認(rèn),是否真的存在這個問題以及嚴(yán)重程度等。
六,制定嚴(yán)格的測試計劃。一定要制定測試計劃,并且要有指導(dǎo)性。測試時間安排盡量寬松,不要希望在極短的時間內(nèi)完成一個高水平的測試。
七,妥善保存測試計劃、測試用例、出錯統(tǒng)計和最終分析報告,為維護(hù)提供方便。
測試目標(biāo)
1.發(fā)現(xiàn)一些可以通過測試避免的開發(fā)風(fēng)險。
2.實施測試來降低所發(fā)現(xiàn)的風(fēng)險。
3.確定測試何時可以結(jié)束。
4.在開發(fā)項目的過程中將測試看作是一個標(biāo)準(zhǔn)項目。
測試過程
第一步:對要執(zhí)行測試的產(chǎn)品/項目進(jìn)行分析,確定測試策略,制定測試計劃。該計劃被審核批準(zhǔn)后轉(zhuǎn)向第二步。測試工作啟動前一定要確定正確的測試策略和指導(dǎo)方針,這些是后期開展工作的基礎(chǔ)。只有將本次的測試目標(biāo)和要求分析清楚,才能決定測試資源的投入。
第二步:設(shè)計測試用例。設(shè)計測試用例要根據(jù)測試需求和測試策略來進(jìn)行,進(jìn)度壓力不大時,應(yīng)該設(shè)計的詳細(xì),如果進(jìn)度、成本壓力較大,則應(yīng)該保證測試用例覆蓋到關(guān)鍵性的測試需求。該用例被批準(zhǔn)后轉(zhuǎn)向第三步。
第三步:如果滿足“啟動準(zhǔn)則”(EntryCriteria),那么執(zhí)行測試。執(zhí)行測試主要是搭建測試環(huán)境,執(zhí)行測試用例。執(zhí)行測試時要進(jìn)行進(jìn)度控制、項目協(xié)調(diào)等工作。
第四步:提交缺陷。這里要進(jìn)行缺陷審核和驗證等工作。
第五步:消除軟件缺陷。通常情況下,開發(fā)經(jīng)理需要審核缺陷,并進(jìn)行缺陷分配。程序員修改自己負(fù)責(zé)的缺陷。在程序員修改完成后,進(jìn)入到回歸測試階段。如果滿足“完成準(zhǔn)則”(ExitCriteria),那么正常結(jié)束測試。
第六步:撰寫測試報告。對測試進(jìn)行分析,總結(jié)本次的經(jīng)驗教訓(xùn),在下一次的工作中改。
軟件測試過程管理,主要包括軟件測試是什么樣的過程,如何評價一個軟件測試過程,如何進(jìn)行配置管理和測試風(fēng)險分析以及測試成本的管理。
心理依據(jù)
人類行為具有高度目標(biāo)性,確立一個正確的目標(biāo)有著重要的心理學(xué)影響。軟件測試的心理學(xué)問題就是如何擺正測試的兩個目標(biāo)的關(guān)系,使得測試活動更加富有成效。
1.程序測試的過程具有破壞性
每當(dāng)測試一個程序時,人們總希望為程序增加一些價值。利用測試來增加程序的價值,是指通過測試,找出并修改盡可能多的程序缺陷,從而提高程序的可靠性或質(zhì)量。
因此,不要只是為了證明程序能夠正確運行而去測試程序。相反,應(yīng)該一開始就假設(shè)程序中隱藏著錯誤(這種假設(shè)幾乎對所有的程序都成立),然后測試程序,發(fā)現(xiàn)盡可能多的錯誤。
事實上,如果把測試目標(biāo)定位于要證明程序中沒有缺陷,那么就會在潛意識中傾向于實現(xiàn)這個目標(biāo)。也就是說,測試人員會傾向于挑選那些使程序失效的可能性較小的測試數(shù)據(jù)。另一方面,如果把測試目標(biāo)定位于要證明程序中存在缺陷,那么就會選擇一些容易發(fā)現(xiàn)程序缺陷的測試數(shù)據(jù)。而后一種態(tài)度會比前者給程序增加更多的價值。
事實上,如果在測試某個程序段時發(fā)現(xiàn)了可以糾正的缺陷,或者測試最終確定再沒有其他缺陷,則應(yīng)將這次合理設(shè)計并得到有效執(zhí)行的測試稱作是"成功的"。而所謂"不成功的"測試,僅指未能適當(dāng)?shù)貙Τ绦蜻M(jìn)行檢查,未能找出程序中潛藏缺陷的測試。
"軟件測試就是證明軟件不存在錯誤的過程"。對幾乎所有的程序而言,甚至是非常小的程序,這個目標(biāo)實際上是無法達(dá)到的。因為即使程序完全實現(xiàn)預(yù)期要求,仍可能包含有缺陷。也就是說,如果程序不按要求工作,它顯然有缺陷,但如果程序做了不要它做的事,它也有缺陷。
心理學(xué)研究告訴我們,當(dāng)人們在干一件已經(jīng)知道是不合適的或不可能做到的事時,往往他們的表現(xiàn)就相當(dāng)糟糕。把程序測試定義為在程序中找出錯誤的過程,就使測試成了可以做到的任務(wù),從而克服了心理上存在的問題。雖然這看起來像是個微妙的文字游戲,但對成功地進(jìn)行軟件測試有很大的影響。
總之,軟件測試更適宜被視為試圖發(fā)現(xiàn)程序中錯誤(假設(shè)其存在)的破壞性的過程。一個成功的測試,通過誘發(fā)程序發(fā)生錯誤,可以在這個方向上促進(jìn)軟件質(zhì)量的改進(jìn)。當(dāng)然最終人們還是要通過軟件測試來建立某種程度的信心:軟件做了其應(yīng)該做的,而沒有做其不應(yīng)該做的。
2.程序員應(yīng)避免測試自己的程序
由開發(fā)人員來測試自己的代碼是一件很不妥當(dāng)?shù)氖虑椤i_發(fā)和測試生來就是不同的活動。開發(fā)是創(chuàng)造或者建立某種事物的行為,如一個功能模塊或整個系統(tǒng)。而測試的重要目的是證實一個模塊或者一個系統(tǒng)工作不正常。這兩個活動之間有著本質(zhì)的矛盾。一個人不太可能把兩個截然對立的角色都扮演地很好,因此應(yīng)當(dāng)限制開發(fā)人員在測試中的參與,給他們比較合適的任務(wù)是進(jìn)行最底層的測試--單元測試。
當(dāng)一個程序員完成了設(shè)計與編寫程序的建設(shè)性工作后,要一夜之間突然改變他的觀點,設(shè)法對程序形成一個完全否定的態(tài)度,那是非常困難的。所以,大部分程序員都由于不能使自己進(jìn)入必要的精神狀態(tài)(不是抱著要揭露出自己程序中錯誤的態(tài)度),就不能有效的測試自己的程序。除了這個心理學(xué)問題之外,還有一個重要的問題:程序中可能包含由于程序員對問題的敘述或說明的誤解而產(chǎn)生了錯誤。如果是這種情況,當(dāng)程序員測試自己的程序時,往往還會帶著同樣的誤解致使問題難以發(fā)現(xiàn)。
3.程序設(shè)計組織不應(yīng)測試自己的程序
在宏觀意義上,一個程序設(shè)計組織或一個工程項目是個有生命的有機(jī)體,它同樣有心理學(xué)問題。在大多數(shù)情況下,人們都以"在給定日期內(nèi),以一定代價完成程序編制任務(wù)的能力"來衡量程序設(shè)計組織和項目管理人員的。這樣做的理由是時間和成本指標(biāo)便于衡量,而程序的質(zhì)量很難度量。要程序設(shè)計組織在測試自己的程序時持客觀態(tài)度是很困難的,因為如果用正確的定義看待測試,就不大可能按預(yù)定計劃完成測試,也不大可能把耗費的代價限制在要求的范圍以內(nèi)。
軟件生產(chǎn)的三個最重要的因素是:質(zhì)量、進(jìn)度和費用。由于費用和進(jìn)度的限制,要開發(fā)一種高質(zhì)量、快速交付和低成本的軟件產(chǎn)品并不容易。也就是說要同時達(dá)到三個目標(biāo)是困難的。因此在軟件產(chǎn)品的開發(fā)中要權(quán)衡它們之間的關(guān)系,使軟件的特性能滿足用戶的要求,這意味著軟件產(chǎn)品的特性的度量和預(yù)計是必要的。
軟件測試由獨立測試機(jī)構(gòu)承擔(dān)有很多好處。獨立測試是指軟件測試工作由在經(jīng)濟(jì)上和管理上獨立于開發(fā)機(jī)構(gòu)的組織進(jìn)行。獨立測試可以避免軟件開發(fā)者測試自己開發(fā)的軟件,由于心理學(xué)上的問題,軟件開發(fā)者難以客觀、有效的測試自己的軟件,要找出那些因為對問題的誤解而產(chǎn)生的錯誤就更加困難。獨立測試還可以避免軟件開發(fā)機(jī)構(gòu)測試自己的軟件,軟件產(chǎn)品的開發(fā)過程受到時間、成本和質(zhì)量三者的制約,在軟件開發(fā)的過程中,當(dāng)時間、成本和質(zhì)量三者發(fā)生矛盾時,質(zhì)量最容易被忽視,如果測試組織與開發(fā)組織來自相同的機(jī)構(gòu),測試過程就會面臨來自于開發(fā)組織同一來源的管理方面的壓力,使測試過程受到干擾。
客觀性--對軟件測試和軟件中的錯誤抱著客觀的態(tài)度,這種客觀的態(tài)度可以解決測試中的心理學(xué)問題,既能以揭露軟件中錯誤的態(tài)度工作,也能不受發(fā)現(xiàn)的錯誤的影響。經(jīng)濟(jì)上的獨立性使測試有更充分的條件按測試要求去完成。
專業(yè)性--獨立測試作為一種專業(yè)工作,在長期的工作過程中勢必能夠積累大量實踐經(jīng)驗,形成自己的專業(yè)知識。同時軟件測試也是技術(shù)含量很高的工作,需要有專業(yè)隊伍加以研究,并進(jìn)行工程實踐。專業(yè)化分工是提高測試水平、保證測試質(zhì)量、充分發(fā)揮測試效應(yīng)的必然途徑。
權(quán)威性--由于專業(yè)優(yōu)勢,獨立測試工作形成的測試結(jié)果更具信服力,而測試結(jié)果常常和對軟件的質(zhì)量評價聯(lián)系在一起,專業(yè)化的獨立測試機(jī)構(gòu)的評價,更客觀、公正和具有權(quán)威性。
資源有保證--獨立測試機(jī)構(gòu)的主要任務(wù)是進(jìn)行獨立測試工作,這使得測試工作在經(jīng)費、人力和計劃方面更有保證,不會因為開發(fā)的壓力減少對測試的投入,降低測試的有效性可以避免開發(fā)單位側(cè)重軟件開發(fā)而對測試工作產(chǎn)生不利的影響。