本文轉載自:騰訊WeTest專欄--《Andriod碎片化怎么破?騰訊“老”測試與您分享手游兼容性測試心得》
作為一個移動端開發者,你一定對測試機再熟悉不過,或多或少,你總接觸過十幾、幾十臺測試機,但對
于在測試機上找BUG的你,或走馬觀花,或苦苦尋找,是否真的了解你究竟在測些什么?有哪些東西需要測?測多少臺手機才夠?甚至……花這些錢買測試機和精力來做測試是不是必要?有這些個時間,是不是跟團隊里的兄弟擼個串鞏固下友誼來的更實在?!
需求源于用戶的痛點,我們以移動游戲為例,看看用戶對于兼容性問題的吐槽:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖片1用戶吐槽
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖2花屏
閃退、無法兼容、無響應,收取罵聲一片……這些問題確乎存在,尤其集中在安卓平臺。
安卓應用開發成本小,獲取用戶也相對容易。但安卓平臺有一個最大的缺點,那就是碎片化:設備繁多,品牌眾多,版本各異,分辨率不統一等等。無法一一考慮兼容性,保證應用、游戲對于所有手機的適配兼容,用戶的吐槽之聲就無法熄滅。
? ? ? ? ? ? ? ? ? ? ? ? (Android碎片化細分維度——數據來自騰訊IEG適配測試中心)
數據上可以明顯看出,android碎片化主要體現在機型上,細分下去還關乎系統版本、手機品牌(定制rom)、分辨率等好幾個維度,總而言之,千奇百怪,數量繁多。
因為切實意識到了Android的碎片化帶來的問題和造成的損失,一些移動開發者測試開始由了專業化適配測試的概念,并逐漸開始重視這個問題。
適配不夠,數量來湊
為了解決機型碎片化,平時發布一個手游或迭代一個大版本前,都需要做一個比較全面的適配測試。
為了體現適配測試的全面性,一些土豪開發者團隊開始一擲千金,購買測試機,
今天出了小米4?買!
昨天出了魅族note2?買!
錘子堅果?買!
……
買買買是否能夠奏效?很可惜的是,答案對于土豪來說是殘酷的,即使是集齊了市面上覆蓋率TOP100也只是覆蓋了市面上30%的使用者,要繼續購齊TOP300和TOP500的機型?那買買買可有盡頭?為了購置大批測試機,采購、維護也是一系列的成本,讓開發者頭疼。
? ? ? ? ? ? ? ? ? ? ? ? ? (Android TOP機型的覆蓋率——數據來自騰訊IEG適配中心)
退一步說,即使購置了大量機器,隨之帶來的人力壓力開始越來越大,你買完了市面上TOP100的機器,但你的測試人員測的過來全部100臺機器嗎?
面臨種種專業性和成本問題,大小移動開發者團隊將解決方案的尋求投向了外部市場。
市場現有的解決辦法
在目前市場上還真有好幾家兼容性測試服務提供商,這些服務商購置大批手機,然后在云端為用戶完成游戲、應用的適配測試。
這種服務對于移動測試者來說省心省力,但具體看看對方的產品方案:“三千元Top300機型兼容測試”,“四千元TOP600機型兼容測試”。
機型數量奇高,價格也奇高,那么問題就來了,花費如此之高的價格測試這么多機型是否真的需要呢?
騰訊游戲的是怎么做的
我們騰訊游戲已積淀十年有余,是中國游戲當之無愧的老大,但在面對安卓市場的碎片化問題上,也曾走過一段曲折的路程。我們一開始嘗試增加測試機型,作為土豪的騰訊游戲的直接支持部門,豪擲幾百臺測試機當然不成問題,但隨著手機越來越多,測試戰線越拉越長,發現的BUG越來越多,我們卻開始疑惑:
我是否真的需要測這么多的手機?
花很多錢買來的測試機是否覆蓋了核心用戶的測試機型?是否覆蓋了最重要的測試機型?
許多重復問題在不同手機上再三出現,花費大量的時間測試出來這些重復的問題,浪費的時間浪費資源要如何規避?
在用戶測試反復迭代的過程中,許多的機型已經相當老舊,但仍出現在測試機庫中,這些機器還要測嗎?測出來的BUG還要修嗎?
測試的結果真的都是我所需要的嗎?
“最需要修復的Bug80%都集中在了20%的機器上”,80/20原則在適配兼容測試過程中也同樣適用。大量的測試機器中必然充斥著眾多邊緣機型,這些機型所測出的適配兼容性問題,不僅難修,而且修復后產生的作用也并不顯著,開發拿到了一堆測試提交的冷僻機型上的BUG,不免有雞肋之感:修之無味,棄之可惜。
隨著騰訊游戲業務的迅猛發展,我們要支持的游戲項目組越來越多,我們開始出現了適配兼容測試人力投入嚴重,眾多新項目都無法支持過來的情況,同時,測試出來的大量bug大量掛起不被修復,這件事情讓騰訊游戲測試部門開始重新思考兼容性測試的優化和規范。
痛定思痛,我們采取了幾項措施:
1、我們決定花更多的時間在最主流機型的主要BUG上,對于所有騰訊游戲項目,均只測TOP100的機型。
2、比起機型的數量,我們更重視機型的市場覆蓋率,尤其是游戲機型的市場覆蓋率,因此我們緊跟市場趨勢,根據游戲用戶機型占比,每月進行機型采購,保持機型庫中的TOP100機型全都是當下的最熱機型。
3、適配兼容性測試中包含了大量的重復操作,經過騰訊游戲多年技術積累,普通項目的普通的遍歷測試,我們用自動化測試取代部分人工勞動,減輕人力成本,我們的自動探索云自動化測試技術對于游戲場景的覆蓋率,目前屬于業內第一。
市面上所有的騰訊手游,包括《全民突擊》、《節奏大師》、《天天酷跑》、《天天愛消除》等等,均采用了這套測試標準與方案,專注TOP100手機的測試方案歷經了市場和玩家的檢驗,是我們探索至今投入產出比達到最優的兼容性測試解決方案。
關于最佳的測試方案
目前騰訊游戲的兼容性測試已對外開放,而且只要成為我們的認證用戶,這項服務有足量的免費應用額度。
簡單的來說,登錄WeTest網站,使用WeTest適配兼容測試(http://wetest.qq.com),就可以以騰訊游戲的測試標準和服務來測試您的產品。
兼容性測試方案,從測試深度,到測試廣度,從來都沒有一個最優解,但我們也在不斷探索尋找對于廣大開發者來說性價比最優、最實在的解決方案。