一、常見的搜索引擎協議

1、網站地圖

把網站地圖想象成一個文件列表，給搜索引擎提示他們如何抓取你的網站。 網站地圖幫助搜索引擎查找和分類您網站上的內容，而這些內容可能并不是他們自己找到的。 網站地圖也有各種格式，可以突出顯示許多不同類型的內容，包括視頻，圖像，新聞和移動。

網站地圖有三種格式：XML、RSS和TXT

2、Roberts.txt

robots.txt文件是機器人排除協議的產品，是存儲在網站根目錄（例如www.google.com/robots.txt）中的文件。 robots.txt文件為訪問您的網站的自動網絡抓取工具（包括搜索抓取工具）提供了說明。

通過使用robots.txt，網站管理員可以向搜索引擎指示他們想要禁止漫游器爬行的哪個區域，以及指示站點地圖文件的位置和抓取延遲參數

3、Meta Robots

Meta Robots為搜索引擎機器人創建頁面級指令。Meta Robots 應該包含在HTML文檔的頭部分。

4、 Rel=“Nofollow"

“nofollow”告訴搜索引擎不要跟隨鏈接，雖然一些引擎仍然跟著他們發現新的頁面。 這些鏈接的價值相比，它們的價值更低，但在鏈接到不受信任的來源的各種情況下都很有用。

5、Rel="canonical"

通常，您的網站上出現兩個或更多完全相同內容的副本，網址不同。 例如，以下網址都可以引用一個主頁：

http://www.example.com/

http://www.example.com/default.asp

http://example.com/

http://example.com/default.asp

http://Example.com/Default.asp

對于搜索引擎，這些顯示為五個單獨的頁面。 由于內容在每個頁面上都是相同的，這可能會導致搜索引擎貶低內容及其潛在的排名。

規范標簽通過告訴搜索機器人哪個頁面是網絡搜索結果中應該包含的單一權威版本來解決這個問題。

二、搜索引擎工具

包括Google search console、Bing webmaster tool、百度站長工具等