Burp Spider 是一個映射 web 應用程序的工具。它使用多種智能技術對一個應用程序的內容和功能進行全面的清查。 通過跟蹤 HTML 和 JavaScript 以及提交的表單中的超鏈接來爬行目標應用程序，它還使用了一些其他的線索，如目錄列表，資源類型的注釋，以及 robots.txt 文件。 結果會在站點地圖中以樹和表的形式顯示出來，提供了一個清楚并非常詳細的目標應用程序 視圖。能使你清楚地了解到一個 web 應用程序是怎樣工作的，讓你避免進行大量 的手動任務而浪費時間，在跟蹤鏈接，提交表單，精簡 HTNL 源代碼。
一、模塊：Control
用來開始和停止 Burp Spider，監視它的進度，以及定義 spidering 的范圍。
1.1 Spider Status
用來開始和停止 Burp Spider，監視它的進度。
| 選項 | 解釋 |
|---|---|
| Spider running | 運行蜘蛛。這里顯示的一些 Spider 進度的指標，讓你能看到剩余的內容和工作量的大小。 |
| Clear queues | 清除隊列。停止并清除正在運行的爬行線程。 |
| Requests made | 已經發出的請求 |
| bytes transferred | 傳輸的字節 |
| requests queued | 未發送的請求 |
| forms queued | 排隊的表格 |
1.2 Spider Scope
精準的定義 spidering 的范圍。
| 選項 | 解釋 |
|---|---|
| Use suite scope [defined in target tab] | 使用套件范圍[在目標標簽中定義] |
| Use custom scope | 使用自定義的范圍。選擇該項后會出現詳細的配置列表，如圖: |
二、模塊：Options
這個選項里包含了許多控制 Burp Spider 動作的選項。
2.1 Crawler Settings
爬蟲設置。設置控制蜘蛛爬行的基本Web內容。
| 選項 | 解釋 |
|---|---|
| check robots.txt | 檢測robot.txt文件。選擇后Burp Spider會要求和處理robots.txt文件，提取內容鏈接。 |
| Detect custom "not found" responese | 檢測自定義的'not found'響應。打開后Burp Spider會從每個域請求不存在的資源，編制指紋與診斷“not found”響應其它請求檢測自定義“not found”的響應。 |
| ignore links to non-text content | 忽略非文本內容的連接。這個選項被選中，Spider 不會請求非文本資源。使用這個選項，會減少 spidering 時間。 |
| request the root of all directories | 請求所有的根目錄。如果這個選項被選中，Burp Spider 會請求所有已確認的目標范圍內的 web 目錄，如果在這個目標站點存在目錄遍歷， 這選項將是非常的有用。 |
| make a non-parameterized request to each dynamic page | 對每個動態頁面進行非參數化的請求。如果這個選項被選中，Burp Spider 會對在范圍內的所有執行動作的 URL 進行無參數的 GET 請求。如果期待的參數沒有被接收， 動態頁面會有不同的響應，這個選項就能成功地探測出額外的站點內容和功能。 |
| Maximum link depth | 這是Burp Suite在種子 URL 里的瀏覽”hops”的最大數。0表示讓Burp Suite只請求種子 URL。如果指定的數值非常大，將會對范圍內的鏈接進行無限期的有效跟蹤。將此選項設置為一個合理的數字可以幫助防止循環Spider在某些種類的動態生成的內容。 |
| Maximum parameterized requests per URL | 請求該蜘蛛用不同的參數相同的基本URL的最大數目。將此選項設置為一個合理的數字可以幫助避免爬行“無限”的內容。 |
2.2 Passive Spidering
被動掃描
Passively spider as you browse:如果這個選項被選中，Burp Suite 會被動地處理所有通過 Burp Proxy 的 HTTP 請求，來確認訪問頁面上的鏈接和表格。使用這個選項能讓 Burp Spider 建立一個包含應用程序內容的詳細畫面，甚至此時你僅僅使用瀏覽器瀏覽了內容的一個子集，因為所有被訪問內容鏈接到內容都會自動地添加到 Suite 的站點地圖上。
| 選項 | 解釋 |
|---|---|
| link depth to associate with proxy requests | 這個選項控制著與通過 Burp Proxy 訪問的 web 頁面 有關的” link depth”。為了防止 Burp Spider 跟蹤這個頁面里的所有鏈接，要設置一個比上面 選項卡里的” maximum link depth”值還高的一個值。 |
2.3 Form Submission
設置蜘蛛是否提交表單與如何提交表單
| 選項 | 解釋 |
|---|---|
| individuate forms | 個性化的形式。這個選項是配置個性化的標準(執行 URL，方法，區域，值)。當 Burp Spider 處理這些表格時，它會檢查這些標準以確認表格是否是新的。舊的表格不會加入到提交序列。 |
| Don’t submit | 開啟后蜘蛛不會提交任何表單。 |
| prompt for guidance | 提醒向導。如果被選中，在你提交每一個確認的表單前，Burp Suite 都會為你指示引導。這允許你根據需要在輸入域中填寫自定義的數據，以及選項提交到服務器的哪一個區域。 |
| automatically submit | 自動提交。如果選中，Burp Spider 通過使用定義的規則來填寫輸入域的文本值來自動地提交范圍內的表單。每一條規則讓你指定一個簡單的文本或者正則表達式來匹配表單字段名，并提交那些表單名匹配的字段值。 |
| set unmatched fields to | 設置不匹配的字段。 |
2.4 application login
控制蜘蛛如何提交登錄表單
| 選項 | 解釋 |
|---|---|
| don't submit login forms | 不提交登錄表單。開啟后burp不會提交登錄表單。 |
| prompt for guidance | 提示向導。Burp能交互地為你提示引導。默認設置項。 |
| handle as ordinary forms | 以一般形式處理。Burp 通過你配置的信息和自動填充規則，用處理其他表單的方式來處理登陸表單。 |
| automatically submit these credentials | 自動提交自定義的數據。開啟后burp遇到登錄表單會按照設定的值進行提交。 |
2.5 Spider Engine
蜘蛛引擎。設置控制用于Spidering時發出HTTP請求的引擎。
| 選項 | 解釋 |
|---|---|
| Number of threads | 設置請求線程。控制并發請求數。 |
| Number of retries on network failure | 如果出現連接錯誤或其他網絡問題，Burp會放棄和移動之前重試的請求指定的次數。測試時間歇性網絡故障是常見的，所以最好是在發生故障時重試該請求了好幾次。 |
| Pause before retry | 當重試失敗的請求，Burp會等待指定的時間（以毫秒為單位）以下，然后重試失敗。如果服務器宕機，繁忙，或間歇性的問題發生，最好是等待很短的時間，然后重試。 |
| Throttle between requests | 在每次請求之前等待一個指定的延遲（以毫秒為單位）。此選項很有用，以避免超載應用程序，或者是更隱蔽。 |
| Add random variations to throttle | 添加隨機的變化到請求中。增加隱蔽性。 |
2.6 Request Headers
自定義蜘蛛發出的HTTP請求的請求頭部分。
您可以配置頭蜘蛛在請求中使用的自定義列表。這可能是有用的，以滿足各個應用程序的特定要求 - 例如，測試設計用于移動設備的應用程序時，以模擬預期的用戶代理。
| 選項 | 解釋 |
|---|---|
| Use HTTP version 1.1 | 在蜘蛛請求中使用HTTP/1.1，不選中則使用HTTP/1.0. |
| Use Referer header | 當從一個頁面訪問另一個頁面是加入Referer頭，這將更加相似與瀏覽器訪問。 |
參考
在論壇轉悠突然發現的教程，因為寫的太好了，所以轉過來讓更多人看到。
尊重原作者！原帖請查看：點擊查看
