可靠性：當重復測試的時候，是否還會的到與原來一樣的結果。要考慮解決可用性問題花費的成本和收益之間的問題。這里設計置信度問題，置信度是用戶在一定時間范圍內完成任務的百分比。置信度低到一定程度才值得去修正這個可用性問題。因此對于實際開發來說把目標定在80%的置信程度就可以了。（這里給出的確定測試用戶人數的方法有不太能直接操作的地方，這里就不記錄了）

有效性：所測試的結果是否能夠真實地反應出想要測試的可用性問題。典型的有效性問題包括選擇了不恰當的用戶、給出了不當的用戶測試任務、沒有考慮時間約束和社會因素的影響。

6.1測試目標和測試計劃

明確測試目的，是對界面進行形成性評估還是總結性評估。

形成性評估：主要目標是了解界面細節方面的優劣，以及如何改進設計。典型方法是邊說邊做。

總結性評估：目的是評定界面的整體質量，例如2選一，或者了解競品好在哪。典型方法是度量型測試（給產品的易學習性、效率、專管滿意度打分、量化。參考本書第2章）。

測試計劃

計劃中列請：測試目的、時間、地點、用時、硬件設備、軟件、系統版本、系統響應快慢、測試人員、測試用戶、具體測試任務、用戶完成測試的標準、測試時用戶的輔助幫助、收集什么數據、界面是否成功的標準。

測試預算

包含：咨詢專家、測試人員的工作、軟件開發人員的工作、測試用戶、設備、場地、耗材。

試點測試

正式測試之前進行試點測試，以發現測試計劃的不足，可以找同事，最好是測試用戶。修訂測試任務，或者分配合適的時間。

6.2招募測試用戶

尋找測試用戶的主要原則，就是所選測試用戶越能代表預期使用系統的用戶越好。

測試用戶除了是最終用戶，也可以試銷售人員：把產品的可演示性做好，能促進銷售。

以下為如何招募：

如果是為某個公司的用戶定制，那么測試人員就是使用的員工，要注意用戶的資歷等。

針對特定類型用戶的設計，比如醫生、律師等，就要從幾個不同的顧客哪里找測試用戶。

面向普通大眾的產品，可以通過中介、招募學生等手段來招募測試用戶。

新手用戶還是熟練用戶

對這兩類用戶分別測試，測試任務中有些會不同。

有時需要就界面上用戶不熟悉的地方進行培訓，培訓內容不要涉及主要的測試任務。

用戶間還是用戶內測試

對于比較產品或者版本的可用性測試，有兩種基本方法來選擇測試用戶：用戶間測試、用戶內測試。

用戶間測試是在不同的系統測試中使用不同的測試用戶。隱患是用技能存在巨大個體差異，一次可能需要一定數量的用戶數，來抵消用戶個體的差異。并隨機分配組。

用戶內測試就是讓所有測試用戶來使用所有被測試的系統。這種方法能抵消用戶個體差異，但是用戶進行完第一個系統后再去使用其他系統就不是新手了。因此最好隨機分組，進行交叉測試。

6.3選擇實驗人員

最好選擇以前曾使用過所選測試方法的有經驗的實驗人員。實驗人員需要具備測試方法方面的知識，也要有大量有關應用程序和用戶界面方面的知識。

設計人員作為記錄員，可用性專業人員和用戶交流。

6.4用人來進行測試的倫理問題

測試前：

在用戶來之前準備好所有的東西

強調測試的對象是產品而不是用戶

告知用戶軟件是新的，沒被測試過，可能存在問題

讓用戶知道他們隨時可以停止測試

解釋所有的記錄、監控設備

告訴用戶測試結果會被完全保密

在開始前回答用戶的所有問題

測試過程中：

讓用戶盡早體驗到成功

一次給用戶一個測試任務

在測試房間保持輕松的氛圍，提供零食飲料中間休息時間

避免干擾，關上房門貼出免打擾，關掉電話

不要以任何方式表現出用戶正在犯錯誤或者用戶操作太慢

測試觀察人員數量保持最少

不允許用戶的上司觀看測試

如果測試過程不愉快，在必要時可以停止

測試之后：

向用戶說明是他們幫助發現了要改進的地方

千萬不能以可以區分出具體用戶的方式報告測試結果

只有在用戶同意情況下，才能在可用性小組外公開錄像內容

6.5測試任務

測試任務盡可能代表系統的最終使用，大致覆蓋用戶界面上最重要的那些部分。

測試任務要設計的比較小，保證有限時間內完成，但也不能太小。測試任務應該詳細精確說明用戶執行后產生什么結果。

測試任務書面形式提供給用戶。實驗人員要回答用戶關于任務描述提出的問題。

測試任務不要輕佻、滑稽或者有冒犯，應該是面向業務處理的。任務難度由簡單到復雜，幫助用戶建立信心。最后的任務也相應的要設計的讓用戶感到自己完成了一些事情。

6.6測試的各個階段

1、準備

在實驗的準備階段，實驗人員應該確保測試房間已經準備好，計算機系統已處于測試計劃中規定的初始狀態，還有所有準備的測試材料、指南和問卷都已經準備就緒。

2、介紹

參見本文6.4的內容

介紹完成后交給用戶測試指南和測試任務，詢問用戶是否有疑問。

3、測試

測試期間，實驗人員通常不要與用戶進行交流，也不要有任何個人觀點或關于用戶操作好或者不好的表示。

對用戶明顯停滯感覺不快的時候，實驗人員要提供幫助。

有多人參與實驗的情況下，要指定一名實驗員，其他成員有疑問不能在測試進行中提出。

4、事后交流

測試之后，要求用戶填寫一份主觀滿意度問卷。

然后再與用戶進行討論，請用戶對系統使用情況進行評論并提出改進意見，并請用戶回答實驗員的一些關于測試中的疑問。

測試用戶離開后，實驗員盡快檢查測試結果，標記資料等，撰寫簡短報告。完成試驗后，撰寫完整報告。

6.7績效度量方法

評估是否達到可用性目標（本書4.3節），以及比較競爭產品。對用戶績效水平的度量通常是通過讓一組測試用戶完成預先規定的測試任務，收集所用時間和出錯率等數據。

關于度量的一個主要問題是所度量的東西可能與真正想要評估的特性關系不大。比如像評估系統的可用性，評估的東西可能是用戶完成任務的時間，完成任務的時間并不能完全代表可用性。

度量方法中包含：量化指標（測試任務）、度量績效的方法（如何進行用戶測試）、收集研究數據的方式、明確定義任務什么時候開始和結束。

6.8邊做邊說法

邊說邊做就是讓測試用戶在使用系統的同事把他們的想法說出來，可能是單個最有價值的可用性方法。

優點是1、能從很少量的用戶那里收集定性數據。2、能在用戶操作時就顯示出用戶在做什么和為什么這樣做，而不必以后再來推斷分析。3、獲得用戶喜歡和不喜歡的小感觸。

缺點是1、不適用于大多數類型的績效度量。2、邊說邊做用戶犯的錯誤比沉默用戶少，速度慢，測試結果可能不準確。

可以在邊說邊做測試之前，為用戶演示如何邊說邊做。

協同交互方法

邊說邊做的一種變形叫做協同交互，就是讓兩個測試用戶同時使用一個系統。

優點是比單一用戶邊說邊做自然一些，人們習慣于在共同解決問題時說出自己的想法。

缺點是用戶可能有不同的學習和使用產品的策略。

這個方法適合對兒童使用的用戶界面的可用性測試。也適合容易找到大量用戶并且費用低廉的情況下。

回顧式測試

如果測試期間錄了像，就可以讓用戶回顧錄像的內容來獲得額外信息，叫做回顧式測試。在難以找到有代表性測試用戶時尤其有用。缺點是每個測試的時間較長。

輔導方法

輔導方法是在測試用戶和實驗人員之間有清楚的交互過程。測試用戶可以問任何與系統相關的問題，輔導員盡可能回答這些問題。

通常關注新手用戶，發現這類用戶的信息需求。可以用在面向用戶群小、特殊或者報酬高的情況。還能用于想用熟練用戶測試卻找不到的情況。

6.9可用性實驗室

有專門的試驗室最好，沒有也可以。

可用性實驗室通常有隔音的單面鏡，隔開觀察間和測試間。測試前可以請用戶參觀觀察間。還可以在觀察間后面設立討論間，讓第三組人員觀察討論。觀察間可以放置攝像機。

需不需要錄像

實際上測試本身來說不太需要錄像，發現的問題當下就能記錄下來，查看錄像消耗時間不如進行更多用戶測試。

但是錄像，能回到錄像帶中準確調查有多少用戶遇到同樣的問題，耽誤了多少時間。使用錄像帶容易說服不同意見者。同時配備大量設備，可以給可用性工作形成廣告價值。

沒有攝像機的錄像

錄屏和聲音。缺點是用戶不在畫面內。優點是用戶能感覺放松一些。

便攜式可用性實驗室

一個記事本，一個提供測試的硬件設備、便攜式錄像機、必要時可以有話筒和三腳架。

可以在用戶不愿去某個固定場所時進行測試。

可用性信息亭

將界面和測試設備顯示在公司的人流大的地方，收集用戶和路人的意見。