簡(jiǎn)介

測(cè)試管理平臺(tái)是貫穿測(cè)試整個(gè)生命周期的工具集合，它主要解決的是測(cè)試過(guò)程中團(tuán)隊(duì)協(xié)作的問(wèn)題，比如缺陷管理、用例管理、測(cè)試任務(wù)管理等。 目前市面上比較流行的測(cè)試管理工具有QC、 Mantis、 BugZilla、TestLink、Redmine等。有開(kāi)源軟件，也有商業(yè)軟件。這些軟件的各自側(cè)重點(diǎn)不同：比如Mantis、BugZilla偏重缺陷管理，TestLink則偏重測(cè)試用例管理，QC則更加全面，Redmine項(xiàng)目管理的概念又更強(qiáng)一些。下表從以下九大功能對(duì)各個(gè)工具進(jìn)行對(duì)比：測(cè)試需求管理、測(cè)試用例管理、測(cè)試套件管理、測(cè)試版本管理、測(cè)試計(jì)劃管理、測(cè)試執(zhí)行管理、缺陷管理、發(fā)布管理和分析報(bào)表。

image

國(guó)內(nèi)外有很多測(cè)試管理平臺(tái)，比如Jira， IBM RQM等。但大多數(shù)平臺(tái)為商用的不開(kāi)源的，今天我們主要介紹幾個(gè)開(kāi)源的平臺(tái)，商用平臺(tái)僅以QC為例。

詳細(xì)介紹

1. TestLink：http://www.testlink.org.cn/

TestLink是開(kāi)源的基于web的測(cè)試用例管理系統(tǒng)，主要功能有產(chǎn)品需求管理、測(cè)試用例管理、測(cè)試計(jì)劃管理，并且還提供了一些簡(jiǎn)單的統(tǒng)計(jì)功能。

需求管理：維護(hù)用戶需求，并可做到與測(cè)試用例關(guān)聯(lián)，及統(tǒng)計(jì)用例對(duì)需求的覆蓋度。

測(cè)試用例管理：可制定測(cè)試計(jì)劃，維護(hù)測(cè)試用例及生成測(cè)試用例集，記錄測(cè)試執(zhí)行結(jié)果。

• 測(cè)試計(jì)劃包括構(gòu)建一個(gè)測(cè)試活動(dòng)，選擇測(cè)試用例范圍，指定哪些人測(cè)試哪些用例，測(cè)試用例風(fēng)險(xiǎn)及優(yōu)先級(jí)等。

• 維護(hù)測(cè)試用例包括對(duì)測(cè)試用例的增加/刪除/修改/導(dǎo)入等操作。

• 記錄測(cè)試結(jié)果包括記錄用例執(zhí)行的各個(gè)狀態(tài)（尚未執(zhí)行、通過(guò)、失敗、鎖定）便于后續(xù)度量分析。

測(cè)試用例輸入模式為：

image

度量分析：包括用例執(zhí)行進(jìn)度，主要問(wèn)題存在點(diǎn)，哪些用例無(wú)法執(zhí)行。及通過(guò)分析用例執(zhí)行結(jié)果，報(bào)告哪些需求未被測(cè)試到，分析測(cè)試風(fēng)險(xiǎn)。

可與Mantis（http://www.mantis.org.cn/）或bugzilla（https://www.bugzilla.org/）集成進(jìn)行缺陷管理。

2. QC：

QC是HP提供的企業(yè)應(yīng)用級(jí)商業(yè)軟件，提供項(xiàng)目與組合跟蹤功能、版本管理程序、具體需求、測(cè)試管理程序、手動(dòng)測(cè)試執(zhí)行過(guò)程、缺陷跟蹤程序、測(cè)試自動(dòng)化規(guī)劃/執(zhí)行支持服務(wù)以及跨項(xiàng)目報(bào)告、資產(chǎn)共享和重復(fù)利用、開(kāi)發(fā)過(guò)程洞察和問(wèn)題根因分析。

對(duì)于需求和測(cè)試，它可以做到：

• 映射需求到一個(gè)測(cè)試（Linking Requirements to a Test）
• 映射測(cè)試到一個(gè)需求（Linking Tests to a Requirement）
• 映射需求和測(cè)試之間的覆蓋（Linking Requirements and Tests Coverage）

應(yīng)用QC的測(cè)試執(zhí)行過(guò)程如下：

1、檢查應(yīng)用程序，以確定測(cè)試范圍，包括測(cè)試目標(biāo)，測(cè)試策略。
2、構(gòu)建Requirements Tree以定義全部的測(cè)試需求。
3、為需求樹(shù)中的每個(gè)需求創(chuàng)建詳細(xì)的測(cè)試需求列表。描述每一個(gè)需求，為之分配優(yōu)先級(jí)，必要時(shí)添加附件。
4、生成報(bào)告和圖表以助于分析測(cè)試需求。復(fù)審需求以確保該需求適宜測(cè)試范圍。
5、檢查應(yīng)用程序、系統(tǒng)環(huán)境和測(cè)試資源以確定測(cè)試目標(biāo)。
6、將應(yīng)用程序劃分為模塊或功能以備測(cè)試。構(gòu)建Test Plan Tree，將應(yīng)用程序劃分為測(cè)試單元或主題。
7、為每個(gè)模塊確定你所需要的測(cè)試類(lèi)型。向Test Plan Tree中的每個(gè)測(cè)試添加基本定義。
8、每一個(gè)測(cè)試連接到相應(yīng)的一個(gè)或多個(gè)需求。
9、在TestPlan Tree中，通過(guò)為測(cè)試添加測(cè)試步驟開(kāi)發(fā)手度。測(cè)試步驟描述了每一個(gè)測(cè)試的測(cè)試操作、需要檢查的點(diǎn)和預(yù)期結(jié)果。然后確定哪些測(cè)試需要被自動(dòng)化。
10、可集成內(nèi)部或第三方測(cè)試工具，應(yīng)用第三方測(cè)試工具為需要自動(dòng)化的測(cè)試創(chuàng)建測(cè)試腳本。
11、生成報(bào)告和圖表以助于分析測(cè)試計(jì)劃數(shù)據(jù)。復(fù)審測(cè)試以確定該測(cè)試適宜測(cè)試目標(biāo)的程度。
12、定義多個(gè)測(cè)試集以用于在項(xiàng)目中達(dá)到各種各樣的測(cè)試目標(biāo)。確定在每個(gè)測(cè)試集中包括哪些測(cè)試 .
13、確定測(cè)試執(zhí)行的時(shí)間并給測(cè)試人員分配任務(wù)。
14、在相應(yīng)的測(cè)試集中自動(dòng)或手動(dòng)執(zhí)行測(cè)試。
15、查看測(cè)試運(yùn)行的結(jié)構(gòu)以確定是否在應(yīng)用程序中發(fā)現(xiàn)了缺陷。生成報(bào)告和圖表以分析測(cè)試運(yùn)行結(jié)果。
16、項(xiàng)目相關(guān)人員可以在測(cè)試過(guò)程中的任意階段添加缺陷。
17、復(fù)審新缺陷并且確定哪些缺陷應(yīng)當(dāng)被修復(fù)。
18、改正那些需要修復(fù)的缺陷。
19、測(cè)試新創(chuàng)建的應(yīng)用程序。繼續(xù)以上過(guò)程直到被修復(fù)。
20、生成報(bào)告和圖表以助于分析缺陷修復(fù)的過(guò)程，還可以幫助確定何時(shí)發(fā)布相應(yīng)的程序。

從測(cè)試執(zhí)行過(guò)程可以看到QC提供了強(qiáng)大的分析統(tǒng)計(jì)能力——分析需求，分析測(cè)試計(jì)劃，分析測(cè)試執(zhí)行及結(jié)果，分析缺陷修復(fù)。

3. Redmine：http://www.redmine.org.cn/

Redmine是用Ruby開(kāi)發(fā)的基于web的項(xiàng)目管理軟件，是用ROR框架開(kāi)發(fā)的一套跨平臺(tái)項(xiàng)目管理開(kāi)源系統(tǒng)。還可以集成其他版本管理系統(tǒng)和BUG跟蹤系統(tǒng)，例如Perforce、SVN、CVS、TD等等。這種 Web 形式的項(xiàng)目管理系統(tǒng)通過(guò)“項(xiàng)目（Project）”的形式把成員、任務(wù)（問(wèn)題）、文檔、討論以及各種形式的資源組織在一起，大家參與更新任務(wù)、文檔等內(nèi)容來(lái)推動(dòng)項(xiàng)目的進(jìn)度，同時(shí)系統(tǒng)利用時(shí)間線索和各種動(dòng)態(tài)的報(bào)表形式來(lái)自動(dòng)給成員匯報(bào)項(xiàng)目進(jìn)度。Redmine較適用于100人以內(nèi)的項(xiàng)目。Redmine支持如下功能：

• 支持多項(xiàng)目
• 基于角色的訪問(wèn)控制
• 靈活的問(wèn)題跟蹤系統(tǒng)
• 支持甘特圖和 日歷
• 支持新聞、文 檔和文件管理
• 支持feeds 和郵件通知
• 支持依附于項(xiàng) 目的wiki
• 項(xiàng)目論壇
• 簡(jiǎn)單實(shí)時(shí) 跟蹤功能
• 可以自定義字段,如時(shí)間項(xiàng)，項(xiàng)目和用戶
• 可集成各種版本管理系統(tǒng) (SVN, CVS, Git, Mercurial, Bazaar and Darcs)
• 多個(gè) LDAP認(rèn)證支持
• 支持用戶自注冊(cè)
• 支持多語(yǔ)言
• 支持多數(shù)據(jù)庫(kù)
  image

4. 禪道: http://www.zentao.net/

禪道是國(guó)產(chǎn)的一個(gè)比較優(yōu)秀的開(kāi)源測(cè)試管理工具，它從產(chǎn)品、研發(fā)和測(cè)試分視圖進(jìn)行管理，做到了以下幾方面的管理功能，以下各圖顯示了各個(gè)視圖下的可見(jiàn)項(xiàng)。禪道這種分視圖三級(jí)管理界面使得各種分類(lèi)變得非常清晰.

image

1. 產(chǎn)品管理：包括產(chǎn)品、需求、計(jì)劃、發(fā)布、路線圖等功能。

2. 項(xiàng)目管理：包括項(xiàng)目、任務(wù)、團(tuán)隊(duì)、build、燃盡圖等功能。

3. 質(zhì)量管理：包括bug、測(cè)試用例、測(cè)試任務(wù)、測(cè)試結(jié)果等功能。

4. 文檔管理：包括產(chǎn)品文檔庫(kù)、項(xiàng)目文檔庫(kù)、自定義文檔庫(kù)等功能。

5. 事務(wù)管理：包括todo管理，我的任務(wù)、我的Bug、我的需求、我的項(xiàng)目等個(gè)人事務(wù)管理功能。

6. 組織管理：包括部門(mén)、用戶、分組、權(quán)限等功能。

7. 統(tǒng)計(jì)功能：豐富的統(tǒng)計(jì)表。

8. 搜索功能：強(qiáng)大的搜索，幫助您找到相應(yīng)的數(shù)據(jù)。

9. 靈活的擴(kuò)展機(jī)制，幾乎可以對(duì)禪道的任何地方進(jìn)行擴(kuò)展。

10. 強(qiáng)大的api機(jī)制，方便與其他系統(tǒng)集成。

以下各圖顯示了各個(gè)視圖下的可見(jiàn)項(xiàng)，尤其三層打開(kāi)式使各視圖下結(jié)構(gòu)清晰，跳轉(zhuǎn)方便。

產(chǎn)品視圖:

image

開(kāi)發(fā)視圖:

image

測(cè)試視圖:

image

事務(wù)管理:

image

5. TestCenter

TestCenter是國(guó)內(nèi)一個(gè)新興的開(kāi)源測(cè)試管理軟件，可以支持需求管理、測(cè)試管理和缺陷管理，甚至可以支持事務(wù)管理。但經(jīng)過(guò)試用，功能多而不細(xì)，故不作詳述。

缺陷跟蹤：

測(cè)試管理軟件的另一個(gè)方面是缺陷跟蹤。缺陷跟蹤的軟件比較多，國(guó)外比較著名的有Bugzilla，mantis （其他還有），國(guó)內(nèi)有bugfree（原作者后來(lái)自創(chuàng)了禪道）。接下去我們重點(diǎn)介紹下Bugzilla和Mantis。

1. Bugzilla

完善的Bug跟蹤體系，包括報(bào)告Bug、查詢Bug記錄并產(chǎn)生報(bào)表、處理解決、管理員系統(tǒng)初始化和設(shè)置四部分. Bugzilla具有如下特點(diǎn)：

• 基于Web方式，安裝簡(jiǎn)單、運(yùn)行方便快捷、管理安全。
• 有利于缺陷的清楚傳達(dá)。本系統(tǒng)使用數(shù)據(jù)庫(kù)進(jìn)行管理，提供全面詳盡的報(bào)告輸入項(xiàng)，產(chǎn)生標(biāo)準(zhǔn)化的bug報(bào)告。 提供大量的分析選項(xiàng)和強(qiáng)大的查詢匹配能力，能根據(jù)各種條件組合進(jìn)行bug統(tǒng)計(jì)。當(dāng)缺陷在它的生命周期中變化時(shí)，開(kāi)發(fā)人員、測(cè)試人員、及管理人員將及時(shí)獲得動(dòng)態(tài)的變化信息，允許你獲取歷史記錄，并在檢查缺陷的狀態(tài)時(shí)參考這一記錄。
• 系統(tǒng)靈活，強(qiáng)大的可配置能力。Bugzilla工具可以對(duì)軟件產(chǎn)品設(shè)定不同的模塊，并針對(duì)不同的模塊設(shè)定開(kāi)發(fā)人員和測(cè)試人員。這樣可以實(shí)現(xiàn)提交報(bào)告時(shí)自動(dòng)發(fā)給指定的責(zé)任人，并可設(shè)定不同的小組，權(quán)限也可劃分。設(shè)定不同的用戶對(duì)bug記錄的操作權(quán)限不同，可有效控制進(jìn)行管理。允許設(shè)定不同的嚴(yán)重程度和優(yōu)先級(jí)。可以在缺陷的生命期中管理缺陷。從最初的報(bào)告到最后的解決，確保了缺陷不會(huì)被忽略。同時(shí)可以使注意力集中在優(yōu)先級(jí)和嚴(yán)重程度高的缺陷上。
• 自動(dòng)發(fā)送Email,通知相關(guān)人員。根據(jù)設(shè)定的不同責(zé)任人，自動(dòng)發(fā)送最新的動(dòng)態(tài)信息，有效的幫助測(cè)試人員和開(kāi)發(fā)人員進(jìn)行溝通。

2. Mantis
Mantis是基于角色和項(xiàng)目模塊為劃分的BUG跟蹤系統(tǒng)。Mantis基本特性有：

• 個(gè)人可定制的Email通知功能，每個(gè)用戶可根據(jù)自身的工作特點(diǎn)只訂閱相關(guān)缺陷狀態(tài)郵件；
• 支持多項(xiàng)目、多語(yǔ)言；
• 權(quán)限設(shè)置靈活，不同角色有不同權(quán)限，每個(gè)項(xiàng)目可設(shè)為公開(kāi)或私有狀態(tài)，每個(gè)缺陷可設(shè)為公開(kāi)或私有狀態(tài)，每個(gè)缺陷可以在不同項(xiàng)目間移動(dòng)；
• 主頁(yè)可發(fā)布項(xiàng)目相關(guān)新聞，方便信息傳播；
• 方便的缺陷關(guān)聯(lián)功能，除重復(fù)缺陷外，每個(gè)缺陷都可以鏈接到其他相關(guān)缺陷；
• 缺陷報(bào)告可打印或輸出為CSV格式：支持可定制的報(bào)表輸出，可定制用戶輸入域；
• 有各種缺陷趨勢(shì)圖和柱狀圖，為項(xiàng)目狀態(tài)分析提供依據(jù)，如果不能滿足要求，可以把數(shù)據(jù)輸出到Excel中進(jìn)一步分析；

各角色權(quán)限如下表：

image

總結(jié)

作為商業(yè)級(jí)的應(yīng)用軟件，QC功能最為強(qiáng)大，最大的優(yōu)勢(shì)在于其貫穿整個(gè)研發(fā)流程的透明化，及其詳盡的報(bào)告內(nèi)容。Testlink很易用，但是缺少缺陷管理這個(gè)重要指標(biāo)，必須與其他工具集成方可。國(guó)內(nèi)測(cè)試管理軟件中禪道功能很全，甚至包含了事務(wù)管理和文件管理，也能與敏捷開(kāi)發(fā)很好地對(duì)接，比如使用了燃盡圖來(lái)標(biāo)識(shí)項(xiàng)目過(guò)程。

TAPD在公司內(nèi)部應(yīng)用很廣，但與這些優(yōu)秀的測(cè)試管理軟件相比，在以下幾方面有待提高：

1、項(xiàng)目樹(shù)形結(jié)構(gòu)及項(xiàng)目間關(guān)聯(lián)關(guān)系待提升；

2、沒(méi)有與SVN連接，無(wú)法做到迭代與代碼提交的對(duì)應(yīng)；

3、項(xiàng)目過(guò)程不透明，無(wú)法透視開(kāi)發(fā)過(guò)程完成率和測(cè)試完成率；

4、無(wú)預(yù)警制度，沒(méi)有在項(xiàng)目脫離正常開(kāi)發(fā)時(shí)自動(dòng)報(bào)警；

5、沒(méi)有與自動(dòng)化用例關(guān)聯(lián)，不可自動(dòng)觸發(fā)自動(dòng)用例的執(zhí)行。

附錄：國(guó)外商用測(cè)試管理工具簡(jiǎn)介

測(cè)試用例管理類(lèi)：

QMetry（http://www.qmetry.com/）QMetry是一個(gè)集成的測(cè)試管理工具, 可以提供需求管理, 測(cè)試用例(測(cè)試用例集)管理，可與許多主流的缺陷跟蹤系統(tǒng)無(wú)縫集成，適合在自動(dòng)化環(huán)境下使用。是一個(gè)商業(yè)產(chǎn)品,有一個(gè)30天免費(fèi)試用期。

TestRail（http://www.gurock.com/testrail/）TestRail是一個(gè)集中在測(cè)試用例的管理工具,可以創(chuàng)建測(cè)試用例和用例集,跟蹤執(zhí)行和報(bào)告。此外,它集成了許多跟蹤工具，使得外部系統(tǒng)需求與測(cè)試用例關(guān)聯(lián)起來(lái)。它附帶了一個(gè)基于http API集成自動(dòng)化測(cè)試結(jié)果的收集功能。一個(gè)最常見(jiàn)的集成是Gemini,這是一個(gè)事件/票務(wù)管理系統(tǒng)(支持敏捷)。TestRail是一個(gè)商業(yè)產(chǎn)品,免費(fèi)試用

qTest（http://www.qasymphony.com/qtest.html）由QASymphony開(kāi)發(fā)的qTest是基于云計(jì)算的測(cè)試管理工具,有各種典型的關(guān)鍵特性。qTest在連接器的幫助下,它可以集成JIRA整個(gè)端到端質(zhì)量的解決方案,它還集成了其他工具,比如Bugzilla、FogBugz, Rally等。不開(kāi)源。

TestLodge （http://www.testlodge.com/）是一個(gè)全面的測(cè)試用例管理工具, 關(guān)注在測(cè)試相關(guān)的4個(gè)關(guān)鍵方面——測(cè)試計(jì)劃、需求、測(cè)試用例集/用例和測(cè)試運(yùn)行。對(duì)于其他的操作,它集成了許多主流問(wèn)題管理工具，可以提供一個(gè)全面的解決方案。可免費(fèi)試用。

Testuff（http://www.testuff.com/）Testuff是Saas測(cè)試管理工具,有許多很酷的功能。典型的測(cè)試用例管理功能是默認(rèn)包括的。此外,它有一個(gè)很酷的視頻上傳報(bào)bug的功能。集成了一個(gè)巨大的bug-trackers列表,如Bugzilla,JIRA,YouTrack, Mantis等等。它有一個(gè)支持自動(dòng)化工具的API, 如QTP, Rational Robot, Selenium、TestComplete等等。

TestCollab（http://testcollab.com/）這是一個(gè)基于web的測(cè)試用例管理工具, 因?yàn)樗?“Ajax 'ified接口，它的速度是一個(gè)關(guān)鍵特性。它簡(jiǎn)單易用,集成了所有主要的bug/問(wèn)題/事件追蹤器,可定制，是良好的分析報(bào)告工具。

Gemini（http://www.countersoft.com/solutions/testing/ ）支持測(cè)試和QA以及如項(xiàng)目計(jì)劃、問(wèn)題跟蹤等其他方面。可以創(chuàng)建測(cè)試計(jì)劃,測(cè)試用例,測(cè)試運(yùn)行、可追溯性、測(cè)試運(yùn)行報(bào)告等,還有各種集成和擴(kuò)展。可免費(fèi)試用。

PractiTest （http://www.practitest.com/）是一個(gè)端到端的測(cè)試和測(cè)試管理軟件。可提供創(chuàng)建測(cè)試,運(yùn)行測(cè)試,跟蹤缺陷等功能, 它可以很好地與JIRA,Bugzilla RedMine三個(gè)主要的事件管理工具集成。

全能類(lèi)：

Jira（https://www.atlassian.com/software/jira）Jira是Atlassian公司開(kāi)發(fā)的一款缺陷跟蹤和任務(wù)管理軟件，可以對(duì)需求、任務(wù)、缺陷和改進(jìn)進(jìn)行跟蹤管理。Jira可以和其他系統(tǒng)如CVS、SVN、VSS，Perforce、LDAP、郵件服務(wù)等整合，可擴(kuò)展性好。Jira與敏捷開(kāi)發(fā)無(wú)縫結(jié)合，支持story分解。適用于中大型項(xiàng)目。Jira是款商業(yè)產(chǎn)品，但對(duì)開(kāi)源項(xiàng)目免費(fèi)提供缺陷跟蹤服務(wù)，因此在開(kāi)源領(lǐng)域應(yīng)用廣泛。

QAComplete （http://smartbear.com/products/qa-tools/test-management/）是最強(qiáng)大的測(cè)試管理工具之一。適合敏捷/傳統(tǒng)、手動(dòng)/自動(dòng)化各類(lèi)項(xiàng)目。它可以集成QTP TestComplete。對(duì)于自動(dòng)化項(xiàng)目,可以安排測(cè)試運(yùn)行,遠(yuǎn)程注冊(cè),在任何主機(jī)上運(yùn)行。還提供了發(fā)布管理功能及分析功能。它可以集成幾乎所有主要的缺陷跟蹤工具和源代碼控制工具——SVN, Perforce 和CVS。

Silk Central（http://www.borland.com/products/silkcentral/）是一個(gè)由Borland生產(chǎn)的測(cè)試管理產(chǎn)品。它幾乎覆蓋了軟件開(kāi)發(fā)過(guò)程所有特性,包括跟蹤、測(cè)試的創(chuàng)建、運(yùn)行和分析報(bào)告。它集成了許多源代碼控制和問(wèn)題跟蹤系統(tǒng)，有額外的插件以擴(kuò)展其功能自動(dòng)化測(cè)試使用如QTP 、WinRunner等等。它帶有一個(gè)視頻捕捉功能,支持SAP測(cè)試。

IBM Rational Quality Manager （http://www-03.ibm.com/software/products/en/ratiqualmana） IBM推出的測(cè)試管理產(chǎn)品,典型特征是——測(cè)試計(jì)劃、設(shè)計(jì)、執(zhí)行、跟蹤和報(bào)告。它集成了許多合理的產(chǎn)品的自動(dòng)化、源代碼控制和bug跟蹤。