當網站有了蜘蛛來訪，你的網站頁面才有被收錄的可能，而搜索引擎蜘蛛會來爬行我們網站的html代碼，然后把數據拆分為標題、摘要、頭圖、正文等結構化數據，帶回給搜索引擎的服務器，進行篩選放入數據庫，接下來是關于搜索引擎蜘蛛對網站頁面爬行規律的一點分享。【網站優化】

　　現在的網站數量以百億計算，每個頁面都有快照備份是不現實的，所以搜索引擎蜘蛛會優勝劣汰，就像是有探路的先鋒，有主力的部隊，有功能之分，其實并沒有高低權重之分。

　　搜索引擎蜘蛛對網站內頁的爬行規律：

　　搜索引擎蜘蛛主要由收錄與快照兩種蜘蛛構成，通常123IP開頭的是收錄蜘蛛，220IP開頭的是快照蜘蛛，我們通過這兩種蜘蛛的日志訪問情況，基本上能判斷出這個網站在搜索引擎看來是不是一個優質的網站。

　　1、內容有質量的頁面：新發一篇文章后，通常是123開頭的蜘蛛先行，然后220開頭的蜘蛛后行，接著當天或隔1-2天，快照就會有更新。

　　2、404頁面爬取規律：當網站刪除了幾篇已收錄的內頁訪問變成404后，123開頭的蜘蛛來爬取時，一般發現兩次404后，搜索引擎蜘蛛就不會來了。

　　3、文章內容劣質頁面：如果是用文章生成器生成的拼湊文章，排版亂無可讀性，123開頭的蜘蛛來了一次以后就沒有再來了。

　　那么搜索引擎蜘蛛爬行真正的邏輯應該是：123開頭蜘蛛打沖鋒，對網頁內容進行篩選，以便減少不必要的服務器資源浪費;220開頭蜘蛛一般在123蜘蛛篩選過后才進入，如果網頁內容實在劣質，220開頭的蜘蛛不會造訪;對于已經收錄快照的頁面，是220開頭直接來訪。

　　最后得出的結論如下：

　　1、123開頭的IP是收錄蜘蛛，所謂收錄蜘蛛是指搜索引擎蜘蛛造訪后，搜索引擎后端會通過一系列判定手段，如反作弊處理、原創度檢測等等，決定是否能夠可以收錄，是否可以牽引網頁快照蜘蛛到訪。

　　2、220開頭的IP是快照蜘蛛，當快收錄蜘蛛檢測網頁通過了收錄標準之后，通過快照蜘蛛生成結構化數據，進入倒排索引，這個時候的網頁才有快照，才能被用戶搜索到。

　　所以每次快照更新前，收錄蜘蛛、快照蜘蛛均有造訪，而收錄蜘蛛與快照蜘蛛訪問比率一般不超過2:1， 如果收錄蜘蛛出現次數遠遠大于快照蜘蛛，說明網頁的內容還不過關。