啟發(fā)式測試策略與設計
特性二:億級測試資產管理,大規(guī)模團隊協(xié)同測試,保障產品特性不丟失
產品的競爭力特性是企業(yè)持續(xù)盈利基業(yè)長青的基石。為了滿足各行業(yè)客戶日益增長的需求,企業(yè)的軟件產品特性往往不斷豐富和演進,對應的測試用例資產持續(xù)增多,投入測試的人數(shù)也隨之增加。如何管理好大規(guī)模測試資產,如何協(xié)同大規(guī)模測試團隊,如何保證客戶的價值特性不丟失、體驗不下降,都是企業(yè)產品測試面臨的關鍵挑戰(zhàn)。
華為云CodeArts TestPlan提供了測試用例基線化管理能力,持續(xù)積累和沉淀測試用例,幫助企業(yè)實現(xiàn)產品價值特性的看護。不管是新增需求或者重構架構,積累的基線化用例,永遠是企業(yè)產品持續(xù)獲得客戶認可的保障。同時,TestPlan提供了“產品基線庫、版本分支、測試計劃”三層用例管理和評估能力,支撐團隊間作業(yè)高效協(xié)同,實現(xiàn)億級測試資產的管理與跨版本復用,滿足復雜產品多版本并行研發(fā)交付的場景,測試資產復用率提升60%。
TestPlan全量用例基線化管理
特性三:內置IPD測試流程與規(guī)范,讓高質量從偶然到必然
隨著產品的規(guī)模和復雜度增加,測試活動的開展也需要有章可循,形成科學的流程和規(guī)范。以華為公司為例,為保障產品測試活動有序開展,華為在IPD流程中定義了從需求分析階段到版本發(fā)布階段之間的詳細測試活動和流程,并通過標準化的規(guī)范,持續(xù)保障測試驗證的高質量。
華為云CodeArts TestPlan內置IPD測試流程與規(guī)范,從測試策略、測試設計、測試管理、測試執(zhí)行到測試評估,全流程融入IPD高質量實踐精髓,并伴隨著華為產品發(fā)展而持續(xù)優(yōu)化演進,廣泛應用于華為各業(yè)務線的產品測試中。
IPD測試活動核心流程圖
特性四:全方位測試質量評估,杜絕盲人摸象
管理學大師彼得·德魯克說過,沒有度量,就沒有管理。所有商業(yè)產品質量管理都不例外?;诔墒斓臏y試質量評估模型和規(guī)范,對產品質量的科學、客觀評估,可以讓產品質量可視化、可度量,讓產品發(fā)布前的質量評估不再“盲人摸象”,更利于產品持續(xù)改進,“讓質量暴露在陽光下”,達成高質量的目標。
華為云CodeArts TestPlan提供需求覆蓋率、需求通過率、用例執(zhí)行率、遺留缺陷指數(shù)等10多個質量度量指標,支持功能、性能、可靠性等維度的質量評估,測試評估周期從天級縮短到小時級。
TestPlan同時提供了分支和測試計劃兩級的實時質量報告,全方位、可視化呈現(xiàn)研發(fā)測試過程和結果數(shù)據(jù)。該特性支持產品研發(fā)階段的實時質量評估,及時、高效、準確地呈現(xiàn)產品質量現(xiàn)狀,讓研發(fā)人員實時掌控研發(fā)進度和風險,讓產品質量不再是黑盒,為產品上線提供決策依據(jù)。
全方位多維度的測試質量評估
特性五:建立測試雙向追溯鏈,以過程可信保障結果可信
ISO15288測試規(guī)范定義了通用系統(tǒng)生命周期過程,其中,驗證過程與確認過程中提出了對需求、測試設計方案、用例、缺陷等雙向可追溯的要求。在華為內部,測試過程端到端可追溯也成為了明文要求的標準。
可追溯的測試過程能力,可以使組織和項目實現(xiàn)測試過程證據(jù)鏈可視化、及時監(jiān)控和識別測試過程風險,加速跟蹤問題閉環(huán),有效減少漏測問題,及時發(fā)現(xiàn)質量風險,是產品高質量測試的必要條件。
華為云CodeArts TestPlan支持建立需求、測試方案、測試用例、缺陷等雙向關聯(lián),實現(xiàn)測試過程可追溯,通過可信的測試過程,保障結果可信。
測試雙向追溯鏈
基于以上五大特性,華為云CodeArts TestPlan可實現(xiàn)測試全流程標準化、測試資產復用及基線化、測試端到端過程動態(tài)實時監(jiān)控,保障測試過程可信,持續(xù)助力客戶產品高質量交付。
截至2022年年底,華為云CodeArts TestPlan已經高效支撐華為超過4萬測試人員的測試作業(yè),測試用例月執(zhí)行超過2億次,月API調用量超過12億次,累計管理超過10億測試用例,覆蓋華為終端、網(wǎng)絡、云計算、芯片、汽車等大規(guī)模復雜業(yè)務場景。
例如,華為數(shù)通路由器業(yè)務擁有豐富的產品系列,包括骨干網(wǎng)、城域網(wǎng)、接入網(wǎng)各種場景的組網(wǎng)需求,億級規(guī)模的軟件代碼驅動各類硬件形態(tài),構筑了路由器業(yè)務海量的功能特性。這種超大規(guī)模、高復雜度的產品測試,需要與之相對應的大規(guī)模測試團隊。在海量硬件形態(tài)與有限的時間和資源下,如何高效找準測試靶心,確保測試范圍精準、無遺漏、無冗余,保證產品的質量、可靠性與合規(guī)性,是華為數(shù)通路由器測試業(yè)務面臨的挑戰(zhàn)。
華為云CodeArts TestPlan支持海量特性的高效測試管理,在特性需求開發(fā)的同時,通過基于需求-場景-測試點-用例的分級測試設計方法,將需求逐級分解生成用例,并分層分級有序管理,支持用例在不同產品版本間高效復用及合并。同時,平臺提供多維度版本質量評估報告,及時準確反饋測試結論,通過需求、方案、用例、結果、缺陷雙向可追溯的能力,實現(xiàn)產品測試過程可管理、可信任。
得益于這些特性,華為云CodeArts TestPlan幫助華為數(shù)通路由器產品繼承復用十余萬存量特性用例,累計管理近百萬用例,支撐大規(guī)模測試團隊高效協(xié)作,快速開展測試活動,全量測試執(zhí)行周期從周縮短至天,確保路由器產品高效率高質量交付。
過去30多年來,華為公司一步步經歷了流程化、自動化、智能化的測試發(fā)展歷程,基于協(xié)同、高效、可信的測試理念,形成了豐富而完整的測試體系。展望未來,華為云CodeArts TestPlan將不斷沉淀大型企業(yè)測試最佳實踐,打造測試覆蓋全、測試評估準、測試執(zhí)行快、測試周期短、測試成本低的測試管理平臺,持續(xù)提升關鍵技術競爭力,守護客戶產品質量,助力客戶商業(yè)成功。