沒錯！如果你認為他們會影響你的研究結果，刪掉就好了。

問卷調研作為用戶研究方法中應用最為廣泛的工具，如何設計有效的問卷并獲取有效的數據是大多數研究人員工作內容的重要組成。一般而言，我們會假設問卷應答者會誠實有信地作答，并提供有效的研究數據。

當然沒那么簡單...因為回答問卷的獎勵方式基本都是答題就給，所以也就造成了有部分用戶會單純為了獎勵答卷，而不太注重答題的質量。這樣的情況尤其容易發生在在線問卷調查的過程中。Jeff Sauro在其文章中指出平均每次調研中有至少10%的應答者沒有閱讀調研問題。

如何剔除這些無效的問卷？研究者一般采用的方法有：

a) 反作弊問題：最簡單的方式是設置兩個相同的問題，但改變答案的順序以判斷應答者是否有不一致的回答；問卷太短而不適于設置兩個問題，可以增加類似‘本題請選X’的問題，剔除沒有閱讀題目的被試數據。

b) 作答時間：通過記錄用戶的作答時間剔除用時過短的相關數據。

接下來，我們深入探討一下作答時間與問卷質量的關系：

Respond Time = Mental Effort?

反應時間在心理學的應用要追溯到很久很久以前了...。不過基本上，都將反應時間視作個體在認知/行為過程中認知資源的投入指標。在同樣的問題上投入更多認知資源的用戶自然被認為更為認真和可靠；而對于用時過少的用戶，就明顯不是智商而是態度的問題了。Revilla & Ochoa（2014）的研究中也發現個體報告的主觀努力與作答時間呈0.15的正相關。

這也是使用作答時間判斷用戶數據有沒有效的基礎依據。學界也有研究表明相對于使用回歸分析等方法剔除異常值，以作答時間來判斷無意義的數據更為便捷有效（Leiner，2013）。

除了認知資源的投入，還有什么影響作答時間？

網速、題目數量、問題的措辭等等環境因素當然也會影響到用戶的作答時間。也有研究指出使用PC或手機也會導致用戶的作答時間不一致（Callegaro, Baker & Bethlehem, 2014b）。不過在大多數研究中，幾乎全部的應答者都受到影響，可以認為已經做了平衡處理。

在此之外，Yang & Tourangeau (2007)的研究表明應答者的受教育程度、年齡、網絡使用經驗都對個體的作答時間產生顯著的影響：受教育程度低、年齡小、網絡使用經驗豐富的用戶更容易成為‘超速作答者’。

Zhang & Conrad（2013）的研究更是指出了‘超速作答’可能是一種行為特質。即與問卷內容或獎勵無關，‘超速作答者’就是比較回答問題超級快。（-_-）。值得欣慰的是，這些人在總人口中的占比也隨著年齡的增長而減少。Yang & Tourangeau (2007)認為這是因為個體的工作記憶能力在成長的過程中逐漸衰弱了。

這些研究結果告訴我們：如果用戶群體在年齡/文化水平/上網經驗等方面分布較為廣泛的時候，將作答時間過短的極端數據刪除掉可能并不明智。

過短的作答時間真的會污染數據質量嗎？

超速作答與問卷質量之間存在顯著負相關（注意是相關而不是因果）。

通過分析1153份問卷結果，Greszki, Meyer & Schoen（2014）的研究表明用戶的作答時間與四種答題行為呈顯著的相關：

a) 跳過(No Answers)：即不選擇答案直接跳過，無疑會減少答題時間，與作答時間的為-0.21的相關；

b) ‘不知道’(Don’t Know)：即只選類似于‘其他’等萬能選項，與作答時間的為-0.21的相關；

c) 中庸選擇(Middle Category)：即不論問題如何，只選擇中間的態度，與作答時間的為-0.05的相關；

d) 直線選擇(Straightlining)：即所有題目只選同樣的答案，與作答時間的為-0.33的相關；在Zhang & Conrad（2013）的研究中也發現直線選擇行為與超速作答者的比率呈現顯著的正相關；

Revilla & Ochoa（2014）的研究通過更多的方式來判斷數據質量（如同樣的題目但回答不一致，簡單選擇的錯誤，對立的問題但回答無區分度等）。其研究結果發現用戶的作答時間與數據質量之間呈-0.25的相關關系。

刪除超速作答者的數據會影響整體數據嗎？

不會！Greszki, Meyer & Schoen（2014）研究探討了這一問題。通過計算問卷應答時間的中數，他們將超速作答者分為了三類：超速50%、40%、30%的用戶。剔除這些應答者的數據都沒有改變問卷的整體評估結果。

值得注意的是，這個研究里用剔除掉超速者后的數據與未剔除的結果相對比，所以這個結果如果反過來看：不刪除這些數據對最后的研究發現也不會有影響（-_-） 看到這里的朋友們有沒有一種‘你TMD的在逗我’的感覺。

你真的應該刪除超速作答者的數據嗎？

不要！如果你是處女座當然另議（噫~ 為什么我要黑處女... ）

前文中已經提到過，用戶的年齡、環境、使用的設備等因素均會顯著影響其作答時間。如果施測的用戶群體覆蓋廣泛的話，最好采用其它的指標（如直線回答）來判斷數據的質量。

需要對‘超速’進行嚴格的定義。Greszki, Meyer & Schoen （2014）發現超速50%、40%、30%的用戶分別有139、219、278人；即如果對超速的定義過于寬松，那你將不得不刪去30%左右的數據。

最后，反正也沒差，為什么要刪掉他們啊。時間很多可以用來睡覺啊~~~

需要注意的是本文中參考的文章中研究的均不是在用戶研究中使用的量表或問卷。

拓展閱讀：

How speeders affect online research中Jeff Sauro研究了在無人指導的可用性測試中，‘超速者’的數據對測試結果的影響。

Online Panel Research: A Data Quality Perspective是一本書，介紹了在線問卷調查的方方面面。本文中關于Callegaro等人的研究即源于此書。

Survey research on the Internet: Yes, timing does matter 研究了什么時候給用戶推送問卷能夠最大化應答率（星期三早上）。

參考文獻

Callegaro, M., Baker, R., Bethlehem, J., G?ritz, A. S., Krosnick, J. A., & Lavrakas, P. J. (2014).16. An empirical test of the impact of smartphones on panel-based online data collection.Online Panel Research.

Greszki, R., Meyer, M., & Schoen, H. (2014).The Impact of Speeding on Data Quality in Nonprobability and Freshly Recruited Probability-based Online Panels.Online Panel Research: A Data Quality Perspective.

Leiner, D. J. (2013). Too fast, too straight, too weird: post hoc identification of meaningless data in internet surveys.Ssrn Electronic Journal.

Rahman, M., Wright, J. T., & Douglas, J. G.(2014). What are the links in a web survey among response time, quality, andauto-evaluation of the efforts done?.Social Science Computer Review,33(1), 97-114.

Yan, T., & Tourangeau, R. (2008). Fast timesand easy questions: the effects of age, experience and question complexity onweb survey response times.Applied Cognitive Psychology,22(1), 51–68.

Zhang, C., & Conrad, F. G. (2014). Speedingin web surveys: the tendency to answer very fast and its association with straightlining. Survey Research Methods,8(2), 127-135.