概要/前言
上一次測試微信小程序的時候被吐槽測試的APP她們都不知道或者不感興趣,所以在某些人的強烈推薦下這一次選定了《美柚》和《大姨嗎》兩款產品進行一個可用性方面的競爭性測試。
這一次的測試遵從之前一篇文章中所推薦的邏輯,包括3部分:用戶對產品的整體態度,可用性任務指標以及交互設計方面的發現。由于樣本量有限,關于用戶態度的調查將通過網絡問卷進行收集,后二者的數據則通過邀請朋友進行可用性測試來獲得。
問卷結果概要:
1. 經期管理APP在抽樣人群中的滲透率為48%,美柚(20%)在市場份額上略高于大姨嗎(17%);
2. 美柚在SUS量表的總分及可用性和易學性兩個分維度上均高于大姨嗎;
3. 美柚與大姨嗎的凈推薦值(NPS)分數均為負值,但大姨嗎(-21.21)的凈推薦值高于美柚(-32.5);
可用性測試結果概要:
1. 美柚在任務完成時間和難易度兩個指標上均明顯優于大姨嗎,但二者在總體滿意度的評估上并無明顯差異;
2. 大姨嗎提供的內容受到更多的認可,但美柚在交互流程和名詞命名上更受用戶喜歡。
問卷部分
所有答卷在2月9~10日兩天內收集完畢。刪除男性答卷64份,另通過問題‘本題請選擇選項《2》’剔除不認真的答卷19份,本次測試共獲得有效問卷199份。
用戶屬性
如下圖所示,本次填寫問卷的主要人群為18~25歲之間的單身女性。基本可以判斷:相較于備孕/孕期休養等需求,這個用戶群體的主要需求還是集中在經期管理APP的工具屬性上。
經期管理APP的使用狀況
只有42%左右的用戶使用手機APP進行經期管理。美柚在本次抽樣人群中的市場占有率略微高于大姨嗎。僅有少數用戶(3%)的用戶使用姨媽日記等其它APP管理經期。只有個別用戶同時使用多個手機APP進行經期管理,主要是因為各自具有獨特的功能而難以割舍。
用戶不使用手機APP進行經期管理的主要原因是:經期較為規律而不特意進行管理以及天生的樂天派而不太關注管理經期。
在只考慮名稱和Icon的情況下,不使用APP進行經期管理的用戶明顯更傾向于選擇美柚作為假想的月經助手。這可能是‘大姨媽’作為用戶私密的天然屬性所導致:用戶拒絕將‘大姨嗎’展現在手機屏幕上。
用戶的整體態度
本次測試中通過SUS(系統可用性量表)評估大姨嗎和美柚手機APP的整體體驗情況。SUS共10個項目。有文章表明盡管該量表主要用于測量產品的整體易用性,但其題目中包括了可用性和易學性兩個維度(可用性得分=題目得分*100/32;易學性得分=題目得分*100/8)。
可以看出:大姨嗎和美柚兩款手機APP的整體得分都在平均(68分)之上,美柚以71.63的分數略高于大姨嗎的68.41分。根據Lewis和Sauro(2009)所提供的SUS分數的11級轉化表:大姨嗎的易用性等級為C(第八級),而美柚則是C+(第七級)。
然而僅從單個維度進行分析來看:大姨嗎在可用性維度的得分是高于美柚的,而在易學性的維度上則是美柚顯著優于大姨嗎。表明二者在易用性的體驗上各有其做的較為出色的部分。
進而從單個維度進行分析來看:美柚在可用性和易學性維度上的得分依然高于大姨嗎。
凈推薦值
除了SUS量表外,問卷中還包括了凈推薦值(NPS)的調查。NPS詢問用戶對于美柚和大姨嗎的推薦意愿。在本次調查中,大姨嗎以-21.21的凈推薦值領先于美柚的-32.50。
可以看出,盡管有研究指出兩者的得分存在0.8左右的強相關,但在本研究中NPS與SUS的結果卻在一定程度上相互矛盾。可能是被試量的原因:從之前的文章中可以看出來NPS分數受到樣本量的影響較大,而本次調查中參與評估兩個產品的用戶數目更適于SUS而不適用于NPS。
小結:
從問卷調查的結果來看,美柚和大姨嗎在用戶體驗設計上各有其優勢所在。二者在市場份額上的微小差異則可能在一定程度上表現出了‘易學性’對于工具性產品的重要性。接下來,在提升產品易用性的同時提高在不使用APP進行經期管理的人群中的滲透率將是二者擴大市場占有率的重要手段。
可用性測試
這一次的可用性測試主要關注于美柚和大姨嗎Onboarding過程的體驗和設計。因此在測試中:大姨嗎的用戶使用美柚APP完成任務,美柚的用戶使用大姨嗎APP完成任務;非2者的用戶,在應用市場中挑選一個完成任務,隨后使用另一個APP完成任務。
本次測試中三個任務為:
1. 查詢下一次月經的起始時間及持續周期;
2. 請搜索‘月經延遲3天’的原因---目的在于探索用戶對APP中內容(姐妹說&她她圈)的觸達情況;
3. 請確定本月中你不太可能懷孕的一個周末---同樣是對于日歷的使用,任務1與3的對比將在一定程度上揭示用戶學習使用APP的效率。
測試數據收集于7名用戶。大姨嗎和美柚的用戶分別為2名,有一名用戶使用Clue進行經期管理,其中除了一名用戶近期開始使用美柚外,其余用戶使用其APP的時間均在一年以上。剩下2名用戶從未使用任何手機APP管理經期。
完成時間
每個任務均從點擊桌面圖標開始,到用戶開始言語報告而結束(對于任務2以用戶開始使用搜索功能結束)。下圖為用戶使用美柚和大姨嗎完成3個任務分別花費的時間。
可以看出:在3個任務上,使用大姨嗎完成任務均比美柚更加費時。其中由于大姨嗎強制注冊(第三方登錄后仍需要綁定手機),導致用戶在任務1上的耗時遠遠長于美柚;而在任務2中,大姨嗎中姐妹說的內容在觸達之前仍需要強制選擇興趣標簽、推薦的用戶等延長了任務時間。
任務難易度
用戶在每個任務結束后對該任務的難度進行7點評分。以‘在手機桌面任意點擊一個APP的圖標’為非常容易作為標準。下圖為用戶對3個任務的難易度評分。
可以看出:與完成時間的結果相關,使用大姨嗎完成3個任務均比美柚更加困難。
整體滿意度
用戶在完成3個任務后,對整個使用過程進行1~7的滿意度評分。如圖,用戶對大姨嗎和美柚的滿意度評價分別為4.4和4.6。
與此前問卷調查的結果相類似,盡管美柚在滿意度得分上略高于大姨嗎,但二者的差異并不算明顯。如果從任務完成時間和難易度的結果進行推斷,這一結果無疑是反直覺的。
小結:
1. 美柚在任務完成時間和難易度兩個指標上均明顯優于大姨嗎;但在總體滿意度的評估上,二者并無顯著差異;
2. 大姨嗎必須注冊(第三方登錄后仍需綁定手機),以及觸達內容前的標簽和推薦用戶的選擇在很大程度上延長了用戶達成目的的時間;
3. 在任務1后,完成任務3所需的時間和主觀難度均有較為明顯的降低,表明新用戶能夠快速掌握兩個APP的使用和操作。
交互過程
在進行可用性測試,用戶需要在完成任務的過程中進行出聲思考。為我們進一步了解用戶在于產品交互過程中的想法和思考提供了幫助。
交互流程
大姨嗎在交互流程上為用戶設置了更多的阻礙:第三方登錄后的手機綁定;首次使用姐妹說功能時需要選擇感興趣的標簽、推薦的用戶、小組3個內容;首次使用記錄時,新手指導的浮層消失后界面停留在‘自定義選項’而不是返回記錄頁面。
命名&內容
在初次使用時,大姨嗎詢問“上次月經”,而如果用戶在月經期間或剛結束時使用,則很容易將其理解為上個月的月經。另外在首頁和記錄頁面中,大姨嗎對日期的標記為“排卵期、黃體期、卵泡期”等詞匯相對美柚使用的“安全期、易孕期”而言過于專業難懂。
大姨嗎的首頁內容則被認為是有用的,而美柚的首頁內容則更容易被認為是廣告或是無用的信息。考慮到測試中用戶在執行任務2時的典型路徑是優先瀏覽首頁的內容,這可能也是用戶在大姨嗎上花費了更多時間的原因之一:認為美柚的首頁內容無用而迅速結束了探索。
交互細節
在記錄頁面中,大姨嗎有個“詳細-簡潔”模式切換無明顯的反饋和意義;用戶希望了解“經期、排卵期”等名詞時,點擊卻不提供任何信息。
美柚的日歷上點擊“下個月”圖標時容易誤觸“分析”;日歷底部的名詞切換成農歷時間/其它內容的觸發和轉換機制不清晰。
小結:
無疑,在交互流程、細節等方面可以看出美柚的做法更加受到用戶的欣賞。但大姨嗎采取強制注冊等方式,也在一定程度上增大了用戶放棄APP的成本,進而避免了用戶的流失。
PS. ?總結我就不寫了…反正就是棋逢對手,但大姨嗎的市場份額輸的不冤之類的… 簡單講一下本次測試的不足,除了時間拖得比較長外:1. 網絡回收問卷雖然獲得足夠多的樣本,但SUS問卷在用戶使用APP后進行施測會有更好的信效度;2. 任務設計中雖然咨詢了女性朋友,但也充足體現了直男思維(見附錄):任務1中沒有提供周期的信息、涉及注冊流程沒有提供統一的密碼、任務2的背景被認為是“完全正常的”。
最后,來自絮絮叨叨的作者:求!工!作! ?自己寫也好 翻譯也好,我在簡書寫的文字已經趕上我畢業論文的字數了.... ?如果你們覺得這些努力還算有價值,然后正好身邊又有用研或者用戶體驗相關的校招、有轉正機會的實習崗位請拜托私信我吧!!!!!!!!