TestFlight灰度機制研究

為了保證應用新版本上線沒有大坑,在應用正式發版之前,一般都會選擇一些渠道發布灰度版本,來觀察一些測試階段不易復現的錯誤。這篇文章結合「微信讀書」詳細研究了TestFlight這一灰度機制。

簡介

TestFlight是經Apple收購后的一種灰度測試途徑,旨在讓開發者在正式上架自己的app之前,能進行充分的測試以及快速獲得用戶反饋,以改進應用質量。TestFlight的官方文檔可以看這里:https://developer.apple.com/testflight/

對于開發者

對于開發者來說,要通過TestFlight對自己的app進行灰度測試,流程如下:

上傳應用的測試build包。

這里有幾個注意點:

  • 對于外部測試者(External Testers),測試包需要經過Apple的「Beta App Review」審核。對于內部測試者(Internal Testers)則無此限制。有關內部測試者和外部測試者,下面會講到。

  • 第一次提交的版本需要進行全面的審核,審核通過后才可以邀請外部測試者進行測試。之后如果有很大更新的版本才需要再次全面審核,小更新的版本可以不用審核。(非官方,未經確認。Apple文檔原話是「Only the first build for the beta version requires a full review.」)

  • 應用的Beta版本上傳后有90天的有效期,逾期后如果沒有發布新的版本,測試者將無法運行測試版應用程序。

  • 發布測試版本可以包含相關指導信息,例如新功能,測試點等。每當發布新版本,相關的測試者都能通過TestFlight獲得通知。

  • 最多同時測試100個app。

  • 測試版本如果經測試沒有問題,可直接提交審核上架App Store。

使用iTunes Connect添加和邀請測試者。

測試者分為兩類:內部測試者(Internal Testers)和外部測試者(External Testers):

  1. 內部測試者
  • 內部測試者必須是在iTunes Connect中你的Team里注冊成為Admin, App Manager, Developer, 或者Marketer角色的成員。
  • 每個app最多可添加25個內部測試者。
  • 每個內部測試者可以最多有30臺測試設備。
  • 內部測試者可以訪問可供測試的全部Beta Builds。
  1. 外部測試者
  • 可以通過郵件邀請外部測試者。也可仿照微信讀書的做法,在正式版本中增加一個灰度測試的入口(新發現微信讀書下掉了這個入口,猜測是在發新版本之前一段時間才會開放該入口):



  • 最多可邀請10000名外部測試者。
  • 外部測試者可以訪問開發者對其分發的Beta Builds。
  • 在iTunes Connect中可以將外部測試者分組,并對不同的組分發不同版本的Beta Builds。(這似乎可以是一種A/B Test的手段)

對于測試者

對于外部測試者來說,想要能夠獲得測試權限,需要來自開發者的邀請郵件。如果已安裝TestFlight應用,那么會在應用內看到可以測試的app;如果沒有安裝,會打開一個網頁,提示用戶安裝TestFlight應用,并提供了一個待測試app的邀請碼:

其他一些注意點:

  • 測試者可測試的app的數量是沒有限制的。

  • 測試者可以使用iPhone, iPad, iPod touch等設備進行測試;還可以在AppleTV上測試tvOS的app。但目前不支持Mac app。

  • 測試者安裝測試包后,可打開TestFlight通知權限,這樣在有新的測試版本更新的時候會收到通知。

  • 測試者設備系統需在iOS8以上。特殊App,例如iMessage或stickers packs需要iOS10+。

  • 如果測試者設備上已經安裝有該app,那么新的測試版本會覆蓋安裝原先的版本。

  • 測試app會在名字前顯示一個橘黃色的小圓點,以示區別。

  • 測試者安裝測試包后,可以在TestFlight中的應用詳情頁看到還剩余的天數(最多90天)。過期后,測試者將不能打開該測試app。

  • 測試者可以在TestFlight應用內聯系開發者的郵箱進行反饋,反饋郵件會自動帶上設備、版本信息等。

  • Crash信息會自動上報,開發者可以很直觀地收集到crash信息。

關于IAP

Apple文檔稱,所有的IAP在測試期間是免費的(All in-app purchases are free during the testing period.)。所有在測試期間進行的IAP購買均不會延續到正式版本中。

但是經實測,微信讀書直接在測試版本中關閉了IAP購買:

TestFlight的優點和缺點

綜上所述整理一下,TestFlight具有這些優點:

  • Apple自家的官方灰度測試渠道,相比其他應用市場的渠道,不再局限于越獄用戶了。

  • 通過郵箱來邀請測試者,不用去管理provision和UDID(主要與ad hoc對比)。

  • 有一套完善的測試反饋和Log收集、Crash信息收集機制。

當然也有些缺點:

  • 不容易找到很多忠實的測試者,不像其他越獄市場有大量越獄用戶為基礎。可行的辦法是類似微信讀書一樣在正式版本開放接口,或在用戶QQ群等地方尋找忠實用戶作為內測用戶。

  • 測試者需要一定步驟才能開始使用測試包,例如下載安裝TestFlight等。

  • 需要用戶設備系統為iOS8以上。

  • 灰度測試期間IAP收入問題。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,763評論 6 539
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,238評論 3 428
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,823評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,604評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,339評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,713評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,712評論 3 445
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,893評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,448評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,201評論 3 357
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,397評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,944評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,631評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,033評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,321評論 1 293
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,128評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,347評論 2 377

推薦閱讀更多精彩內容