為了保證應用新版本上線沒有大坑,在應用正式發版之前,一般都會選擇一些渠道發布灰度版本,來觀察一些測試階段不易復現的錯誤。這篇文章結合「微信讀書」詳細研究了TestFlight這一灰度機制。
簡介
TestFlight是經Apple收購后的一種灰度測試途徑,旨在讓開發者在正式上架自己的app之前,能進行充分的測試以及快速獲得用戶反饋,以改進應用質量。TestFlight的官方文檔可以看這里:https://developer.apple.com/testflight/
對于開發者
對于開發者來說,要通過TestFlight對自己的app進行灰度測試,流程如下:
上傳應用的測試build包。
這里有幾個注意點:
對于外部測試者(External Testers),測試包需要經過Apple的「Beta App Review」審核。對于內部測試者(Internal Testers)則無此限制。有關內部測試者和外部測試者,下面會講到。
第一次提交的版本需要進行全面的審核,審核通過后才可以邀請外部測試者進行測試。之后如果有很大更新的版本才需要再次全面審核,小更新的版本可以不用審核。(非官方,未經確認。Apple文檔原話是「Only the first build for the beta version requires a full review.」)
應用的Beta版本上傳后有90天的有效期,逾期后如果沒有發布新的版本,測試者將無法運行測試版應用程序。
發布測試版本可以包含相關指導信息,例如新功能,測試點等。每當發布新版本,相關的測試者都能通過TestFlight獲得通知。
最多同時測試100個app。
測試版本如果經測試沒有問題,可直接提交審核上架App Store。
使用iTunes Connect添加和邀請測試者。
測試者分為兩類:內部測試者(Internal Testers)和外部測試者(External Testers):
- 內部測試者
- 內部測試者必須是在iTunes Connect中你的Team里注冊成為Admin, App Manager, Developer, 或者Marketer角色的成員。
- 每個app最多可添加25個內部測試者。
- 每個內部測試者可以最多有30臺測試設備。
- 內部測試者可以訪問可供測試的全部Beta Builds。
- 外部測試者
-
可以通過郵件邀請外部測試者。也可仿照微信讀書的做法,在正式版本中增加一個灰度測試的入口(新發現微信讀書下掉了這個入口,猜測是在發新版本之前一段時間才會開放該入口):
- 最多可邀請10000名外部測試者。
- 外部測試者可以訪問開發者對其分發的Beta Builds。
- 在iTunes Connect中可以將外部測試者分組,并對不同的組分發不同版本的Beta Builds。(這似乎可以是一種A/B Test的手段)
對于測試者
對于外部測試者來說,想要能夠獲得測試權限,需要來自開發者的邀請郵件。如果已安裝TestFlight應用,那么會在應用內看到可以測試的app;如果沒有安裝,會打開一個網頁,提示用戶安裝TestFlight應用,并提供了一個待測試app的邀請碼:
其他一些注意點:
測試者可測試的app的數量是沒有限制的。
測試者可以使用iPhone, iPad, iPod touch等設備進行測試;還可以在AppleTV上測試tvOS的app。但目前不支持Mac app。
測試者安裝測試包后,可打開TestFlight通知權限,這樣在有新的測試版本更新的時候會收到通知。
測試者設備系統需在iOS8以上。特殊App,例如iMessage或stickers packs需要iOS10+。
如果測試者設備上已經安裝有該app,那么新的測試版本會覆蓋安裝原先的版本。
測試app會在名字前顯示一個橘黃色的小圓點,以示區別。
測試者安裝測試包后,可以在TestFlight中的應用詳情頁看到還剩余的天數(最多90天)。過期后,測試者將不能打開該測試app。
測試者可以在TestFlight應用內聯系開發者的郵箱進行反饋,反饋郵件會自動帶上設備、版本信息等。
Crash信息會自動上報,開發者可以很直觀地收集到crash信息。
關于IAP
Apple文檔稱,所有的IAP在測試期間是免費的(All in-app purchases are free during the testing period.)。所有在測試期間進行的IAP購買均不會延續到正式版本中。
但是經實測,微信讀書直接在測試版本中關閉了IAP購買:
TestFlight的優點和缺點
綜上所述整理一下,TestFlight具有這些優點:
Apple自家的官方灰度測試渠道,相比其他應用市場的渠道,不再局限于越獄用戶了。
通過郵箱來邀請測試者,不用去管理provision和UDID(主要與ad hoc對比)。
有一套完善的測試反饋和Log收集、Crash信息收集機制。
當然也有些缺點:
不容易找到很多忠實的測試者,不像其他越獄市場有大量越獄用戶為基礎。可行的辦法是類似微信讀書一樣在正式版本開放接口,或在用戶QQ群等地方尋找忠實用戶作為內測用戶。
測試者需要一定步驟才能開始使用測試包,例如下載安裝TestFlight等。
需要用戶設備系統為iOS8以上。
灰度測試期間IAP收入問題。