應客戶最開始的需求,希望問卷的填寫者盡量都是他們家APP的用戶,對于不是他們家用戶的填寫者,希望盡量能被剔除。
當然靠著第一題問,你是不是我們家的用戶,就想完全篩掉那些不關事的填寫者,是不現實的。
因為但凡你是個稍微有點生活經驗的寶寶,你就會知道有獎調研的獎極大可能送給他們家的目標填寫者;但凡你是個愛小便宜多于愛這個調研產品的寶寶,你就會從第一題就開始撒謊,是的我是你們家用戶。
為了進一步預防這個情況,客戶希望加入驗真題目,驗這個填問卷的人到底是不是真的用戶。
于是在其中一道問你最喜歡哪些功能的題目里,加入了兩個APP里面不存在的功能,一個是免費短信,一個是個性換膚,都是客戶提出來的。
也就是說但凡選擇了這兩個的其中一個,這個人的數據就可以踢掉了。
既然有了驗真題驗是不是真用戶,就再設置了測謊題測這個人有沒有認真填。
對其中一道題設置了反向題,兩道題相隔好幾道題。
這道題是“我覺得XXX的操作方便快捷”,反向題則是“我覺得XXX的操作既不方便也不快捷”。
也就是說但凡同時對這兩道題表示肯定或否定,這個人就是連題目都沒認真讀隨便填寫的,也可以踢掉了。
雖然說依然防止不了那些亂填的這兩道題恰好選了相反的答案而不被剔除,防止不了那些撒謊的假用戶沒有選中不存在的功能而被留下,但至少能篩走一波,使問卷的結果盡量真實且有價值。
在漫長的等待問卷回收的日子,我無意中看了下該APP的官網。
發現,原來,它曾經,是有免費短信功能的。也就是客戶提供的APP不存在的功能之一。
冷汗一下子出來了,查看了下回收情況,果然,有近一半的用戶都選了免費短信的功能。
那這個功能就不能作為驗證的選項了。
這件事情教育了我,下次問客戶拿這些app不存在的功能時,一定要問清楚,是不是從未存在過。曾經存在的不行,畢竟不知道用戶有沒有曾經用過,只要曾經用過,他就可以選,并且不代表他就是個假用戶。
因此驗證題方面就剩下個性換膚了。
最后來兩道題的篩選效果。
回收的有效問卷為800多份。
首先是剔除在最喜歡功能里面的個性換膚。其實我本身沒有太好看個性換膚這個陷阱,因為它不是APP的核心功能,而且又沒有太大的實用價值,假用戶即使無心也可以輕松避開。
然而,還是有近80人選擇了個性換膚,因此剔除。
再看那道反向題。說實話還挺難過的,剔除了200多人。
合著一共刪除了三百人,刪除了百分之三四十,剩個五百多人。
這都還沒算上機緣巧合躲開了陷阱的人呢,可想而知填問卷的人里面不認真的到底有多少。
但話又說回來,如果不剔除這三百人,出來的結果會有很大差異嗎?
對比發現,這三百人主要分布在“非常滿意”和“滿意”的正向選項中,也就是說一直選擇同一個選項,因此對一道僅有的消極描述的題目(其他題目都是積極描述)的結果影響非常大——
刪除三百人后的結果,選擇非常贊同和贊同的共25%,即對這個功能不滿意的占比還行;但刪除前,這個比例高達41%,可以說用戶對這個功能很不滿意了,直接影響了這個功能滿意度的結論。
這么看來,在今后的問卷中,需要設置測謊或驗真題目。
特別是滿意度這種,選項幾乎一直都是重復非常贊同到非常不贊同的,需要設置反向題剔除不認真填寫的用戶。
而如果是針對特定應用的用戶,需要放入關于該應用的陷阱題目,剔除假用戶。