關(guān)于內(nèi)測相關(guān)流程，總結(jié)一下我們早期曾經(jīng)做過內(nèi)測的經(jīng)驗，做了一個簡單的流程梳理，以及我們目前存在的問題和需要做的工作也做了說明,也歡迎各位補充.
早期在三個平臺中，從曾經(jīng)做過的WP平臺來說.走了很多彎路也收獲一些可行的經(jīng)驗.
內(nèi)測目的
內(nèi)測在我們內(nèi)部其實已經(jīng)做了很久.從幾個大的方面來梳理我們內(nèi)測目的如下:
A:產(chǎn)品-驗證早期產(chǎn)品設(shè)想是否達到預(yù)期,獲取更多有效反饋完善細節(jié)&修正偏差.
B:開發(fā)-上線前能夠覆蓋足夠多的機型和不同使用場景獲取更多Bug修復(fù)機會.
C:運營-高頻率內(nèi)測能夠形成一定用戶關(guān)注&培養(yǎng)品牌忠誠度.借勢運營...
More...
內(nèi)測流程
如上梳理的是我們已經(jīng)做過內(nèi)測流程,內(nèi)測整個流程涉及的細節(jié)偏多.為了保證各位能夠很好理解并準(zhǔn)確了解各個環(huán)節(jié)細節(jié)和存在的問題，如下我會逐個對每個環(huán)節(jié)進行分解說明.
1.招募內(nèi)測用戶
內(nèi)測用戶招募上我們現(xiàn)在一般通過官方論壇發(fā)帖，然后通過官方微博或其他第三方社區(qū)轉(zhuǎn)發(fā)途徑然來招募. 這個流程存在如下問題：
A:招募用戶面有限.
B:內(nèi)測用戶質(zhì)量參差不齊,主要體現(xiàn)在是否針對我們內(nèi)測有主動的反饋意愿? 另外就是反饋問題的質(zhì)量.
C:內(nèi)測用戶在我們內(nèi)部缺乏有效管理和長期的維護，活躍度低且流失嚴重.
D:內(nèi)測資格缺乏管理，用戶參加內(nèi)測成本偏高,類似論壇登錄的限制，內(nèi)測資格獲取等
對招募用戶大致可分為兩個大的類別:
A:關(guān)注我們品牌&產(chǎn)品,熟悉同行業(yè)或一線app,對產(chǎn)品細節(jié)有自我訴求.?
B:普通用戶.因為客戶端用戶基數(shù)偏大,平臺不同伴隨機型和支持的系統(tǒng)版本&分辨率細節(jié)上也有很大差異，普通用戶能夠在內(nèi)測覆蓋面上最接近真實發(fā)布后場景，能在上線前有效發(fā)現(xiàn)我們應(yīng)用自身的Bug，提供有力保障.
B類用戶基本招募上已經(jīng)沒什么要求，保證基數(shù)和持有設(shè)備多樣化即可.A類用戶則需要針對不同平臺去找相關(guān)垂直社區(qū)(A類用戶聚集地方)，類似生態(tài)媒體都能很好挖掘到. 重點在A類上多下點功夫會節(jié)省很多后續(xù)我們自己的篩選成本.
招募方式上.我們原來流程是通過論壇&或者其他第三方社區(qū)來做，而整個內(nèi)測資格收集和發(fā)放沒有一個統(tǒng)計的管理.而且是純手工的.費時費力.很難有效控制內(nèi)測資格.改善如下:
在官方網(wǎng)站增加一個關(guān)于內(nèi)測的入口.所有招募新用戶內(nèi)測資格都從這里統(tǒng)一由參加內(nèi)測的用戶自己申請錄入，并可以在我們后臺上針對不同平臺[IOS/Android/WP]的不同應(yīng)用版本[5.0/5.1]控制內(nèi)測用戶的資格和數(shù)量. 當(dāng)用戶內(nèi)測資格在后臺通過管理員審核通過后并以Email方式通知該用戶.同時在內(nèi)測后臺發(fā)布新的內(nèi)測版本包后也可以通過email方式邀請未獲取內(nèi)測資格的用戶參加內(nèi)測.
在開放給用戶申請內(nèi)測時.考慮到需要后臺審核，如果在審核時增加一個申請理由的描述，后臺管理員可以優(yōu)先審核通過有描述且比較關(guān)心我們產(chǎn)品用戶優(yōu)先加入審核. 如果我們在某個版本做了一個機型或系統(tǒng)版本的適配. 則可以優(yōu)先審核通過對應(yīng)的機型和系統(tǒng)版本申請用戶.這樣利于我們能夠內(nèi)測用戶選擇上針對性更強.
2.內(nèi)測用戶篩選和管理
經(jīng)過在WP平臺上長期的實踐，我們發(fā)現(xiàn)雖然能夠招募過來很多有效的內(nèi)測用戶，但不同用戶之間對產(chǎn)品的訴求，自我主動反饋的意愿等存在很大的差異.為了保證管理上效率，我們針對內(nèi)測坐了一定的篩選和分離 如下:
我們把那些關(guān)注我們產(chǎn)品，具有主動反饋意愿且熟悉行業(yè)app產(chǎn)品，反饋頻率和內(nèi)容質(zhì)量較高的用戶從早期論壇&微博&QQ群里篩選到微信群進行重點維護. 而對于那些持有不同設(shè)備和系統(tǒng)版本的技術(shù)較大的，很那提供有效反饋的普通用戶則繼續(xù)放在QQ群里，我們定期根據(jù)論壇和QQ群反饋內(nèi)容質(zhì)量進行篩選和甄別. 把符合條件用戶拉到核心用戶群.
QQ群并不適合跟用戶探討產(chǎn)品細節(jié)或者收集有效的反饋.偏向娛樂化和碎片化較嚴重.相對來說控制了人數(shù)和質(zhì)量微信群上下文較比較連貫完整.只需要平時把大部分精力放核心用戶群維護上，適合在小范圍討論產(chǎn)品上一些問題,就能很好收集到質(zhì)量較高的反饋.?
而這個篩選和維護的過程是長期，并非能一勞永逸.而最適合做這件事的角色一般是非常熟悉整個項目業(yè)務(wù)和技術(shù)實現(xiàn)細節(jié)的人.所以TeamLeader 是不二的人選.
3.內(nèi)測版本包的發(fā)布
版本包的發(fā)布上，雖然各個平臺(IOS、Android、WP)各自流程差異巨大.但依然存在很多共性.這也是我們尋求統(tǒng)一控制解決方案的關(guān)鍵.
WP平臺內(nèi)測流程如下:
Ms官方對WP應(yīng)用內(nèi)測支持很好,只需要收集用戶的Live Id(類似AppleId),在官方市場發(fā)布內(nèi)測包，內(nèi)測包包含符合內(nèi)測資格用戶的Live Id，上傳官方市場后內(nèi)測版本是搜索不可見的.審核通過后，官方給出一個下載鏈接，把下載鏈接分發(fā)給用戶后，當(dāng)用戶其點開鏈接下載時會驗證用戶手機綁定Live Id是否在內(nèi)測資格符合,如果不符合則無法正常下載.反之正常使用.
PS:[如果用戶是開發(fā)者手機已經(jīng)解鎖或系統(tǒng)強制越獄 則可以通過分發(fā)xap安裝包]
IOS平臺內(nèi)測流程如下:
IOS平臺內(nèi)測則相對簡單很多,通過采用adhoc分發(fā)或者企業(yè)證書方式,直接打包成IPA.測試用戶通過下載鏈接下載IPA文件即可在用戶手機不越獄情況安裝內(nèi)測包.相對于WP平臺,IOS內(nèi)測流程存在兩個問題:
A:一旦開放下載鏈接，無法有效控制內(nèi)測用戶的資格.
B:企業(yè)開發(fā)者賬戶如果被Apple官方發(fā)現(xiàn)濫用情況下，有被意外被封掉的風(fēng)險.
Android平臺內(nèi)測流程如下:
Android平臺因為機型和應(yīng)用市場分化較多. Google Play官方市場提供相應(yīng)內(nèi)測機制,但實際情況是普通用戶使用率較低，且官方市場經(jīng)常存在連接不上的問題.基本上Android 用戶都能通過直接給apk安裝包方式實現(xiàn)內(nèi)測包的安裝. 門檻算是三個平臺最低的.
如上三個平臺內(nèi)測機制和流程已經(jīng)非常清晰.重點來考慮IOS和Android平臺內(nèi)測.Well兩個平臺共同點為我們尋求統(tǒng)一的解決方案提供了可能.
流程統(tǒng)一后梳理如下:
把IOS和Android統(tǒng)一后,首先招募內(nèi)測用戶通過官網(wǎng)內(nèi)測入口，錄入必要用戶信息后申請對應(yīng)平臺(IOS/Android)內(nèi)測資格. 后臺管理員審核內(nèi)測資格通過后.email郵件方式告知內(nèi)測用戶申請成功. 當(dāng)對應(yīng)平臺發(fā)布新的內(nèi)測版本包時,選擇參加本次版本包內(nèi)測用戶(內(nèi)測用戶因為可能在不用場景使用，類似只給公司內(nèi)部員工使用，那則有必要加入內(nèi)測用戶分組功能).根據(jù)上傳版本包地址生成下載二維碼.并同時email方式把下載二維碼和更新日志通知給內(nèi)測用戶.那么整個簡化后內(nèi)測流程全部走完.
可以看到其實IOS和Android 兩個平臺共性是都可以完全把安裝包開放給普通用戶下載，安裝內(nèi)測包. 而我們?yōu)榱丝刂普麄€流程.需要保證內(nèi)測資格唯一性-只有內(nèi)測資格的用戶才能下載安裝參加內(nèi)測. so 針對這種情況. 在內(nèi)測包發(fā)布成功后. 根據(jù)用戶提供設(shè)備信息IMEi，生成一個唯一的QRCode二維碼. 只有改用戶能夠用自己設(shè)備掃描下載.其他用戶即使有了這個二維碼，如果沒有內(nèi)測資格依然無法下載.[技術(shù)實現(xiàn)待驗證]
其實目前方案是.因為IOS沒有提供直接讀取設(shè)備IMEI的api. 也就意味這無法保證唯一性.所以針對這個問題. 有一種折中解決方案. 用戶在注冊資格必須提供email地址.當(dāng)內(nèi)測版本發(fā)布成功后. 把下載二維碼通過email方式發(fā)給用戶,用戶掃描成功后，提示用戶輸入注冊內(nèi)測資格email地址.如果這個email地址在內(nèi)測資格內(nèi). 則可以自動下載ipa文件安裝.如果不在則提示沒有內(nèi)測資格. 這個方案 不需要客戶端做任何開發(fā).只需要提供一個接口和一個內(nèi)測資格管理后臺即可.
待完成的工作:
A：官網(wǎng)內(nèi)測入口.(或者每次內(nèi)測發(fā)在官方引導(dǎo)用戶入口也可行).
B：內(nèi)測用戶資格申請&后臺審核&分組管理管理(有待商榷),審核后email通知.
C：內(nèi)測版本包管理(區(qū)分平臺).
D：內(nèi)測版本包二維碼生成&發(fā)后email通知.
具體需求可以根據(jù)上面流程在進一步細化.這里不做贅述.
4.內(nèi)測反饋和數(shù)據(jù)量化
從原來內(nèi)測WP平臺經(jīng)驗來說內(nèi)測反饋收集和分類，花費時間最多.我們現(xiàn)在發(fā)布內(nèi)測版本后，因為客戶端缺乏有效內(nèi)測反饋界面銜接和引導(dǎo),同時用戶反饋問題的地方也是非常零散(微信&論壇&微博等)，導(dǎo)致每次版本發(fā)布后都需要手工分散到多個地方去收集，然后根據(jù)反饋問題數(shù)量和性質(zhì)進行分類.耗費了很多時間.
內(nèi)測反饋從內(nèi)容上來分類主要分為兩大塊: 產(chǎn)品相關(guān)&測試bug. 改善方案:
內(nèi)測反饋的兩大塊,涉及到產(chǎn)品相關(guān)細節(jié)和問題根據(jù)以往經(jīng)驗會非常多，用戶可以選擇在官方或者客戶端內(nèi)置反饋的頁面，選擇反饋內(nèi)容分類，輸入反饋內(nèi)容.后臺根據(jù)反饋過來數(shù)據(jù)進行篩選分類統(tǒng)計.并能按照內(nèi)測報告的模板生成每個版本內(nèi)測報告,定時通過email發(fā)送給相關(guān)人員.把反饋收集&分類進行自動化.同時后臺能根據(jù)拿到的反饋內(nèi)容進行分析，并形成數(shù)據(jù)量化結(jié)果.
產(chǎn)品可以根據(jù)內(nèi)測報告，一定程度上評估開發(fā)成果和產(chǎn)品是否符合預(yù)期.
針對測試Bug.可以采用Umeng統(tǒng)計或者其他第三方平臺. 開辟一個獨立內(nèi)測版本號，通過Umeng或者第三方統(tǒng)計平臺拿到客戶端出錯的堆棧信息或日志來定位bug問題.
----------------------------原型設(shè)想----------------------------
用戶可以通過客戶端或者官方站點網(wǎng)頁能夠分類瀏覽特定版本的反饋內(nèi)容. 如果遇到同樣問題不需要重復(fù)的二次輸入.只需要在頁面Vote Up 點擊即代表改用戶也遇到同樣的問題,為了防止反饋數(shù)據(jù)造假, 用戶針對同一個反饋的問題只能Vote Up 一次. 并且該操作可撤銷. 在Vote up 用戶可以針對同一個問題追加描述,.有助于開發(fā)確認解決問題.
問題可以根據(jù)內(nèi)測版本查看. 不同版本可以根據(jù)不同排序規(guī)則進行排序.默認是根據(jù)用戶反饋問題Vote up 次數(shù)由高到底排序.
可以從問題分類頁面點擊查看問題詳情, 因為即使相同問題，可能復(fù)現(xiàn)步驟出現(xiàn)問題情況都不同.所以產(chǎn)品&開發(fā)可以在用戶問題描述回復(fù).可以跟用戶溝通具體的細節(jié).如果該問題已經(jīng)內(nèi)測版本修復(fù)并測試通過,則可以關(guān)閉改反饋問題.
Ps：如上原型圖和細節(jié)只是針對目前一些設(shè)想. 僅供參考.不作為最終解決方案. 待討論.
5.內(nèi)測延伸
昨天輝哥在群里提到新功能投票.這個完全可以在內(nèi)測用戶中加入. 而且內(nèi)測用戶也非常關(guān)心新加入功能和特性.
另外這些之外.可以針對每個內(nèi)測版本在web頁面設(shè)計一個反饋問題墻,或者是Bug墻. 根據(jù)用戶反饋bug次數(shù)多少按照一定順序排放.并且bug每個單子上會屬上這個bug是哪個開發(fā)人照成或負責(zé)解決的.然后開發(fā)人員可以去解決完了之后可以自己去認領(lǐng). 或者讓開發(fā)人員自己跟用戶溝通解決. 并且每期都可以出一個排行榜什么的. 也可以作為運營的點. 最關(guān)鍵是能夠形成開發(fā)人員和內(nèi)測用戶之間互動.
內(nèi)測說了這么多,除了工具提高效率之外.個人認為最重要還是和用戶積極溝通，形成互動.認同產(chǎn)品自身的價值，并持續(xù)在用戶鞭撻中身體力行追求卓越. 不然再好的工具也是枉然.?
寫在最后
上面寫了很多,關(guān)于內(nèi)測在WP平臺上曾經(jīng)花費了很多精力和心血去做這件事. 也收獲了很多,其實更多無形東西是來自于用戶的. 如今是看不到摸不著的，但體會依然深切.我在想要是那些曾經(jīng)過去”狗血的經(jīng)歷“能留下點什么.給更多的后來人帶來一些幫助.這也是令人欣慰一件事.
真切的希望我們內(nèi)測能做的越來越好.
本篇博客謝絕任何形式轉(zhuǎn)載，違者必究.特此聲明. via by chenkai 2014年12月11日22:06:28
