引擎蜘蛛

  　Spider位于搜索引擎數據流的最上游，負責將互聯網上的資源采集到本地，提供給后續檢索使用，是搜索引擎的最主要數據來源之一。spider系統的目標就是發現并抓取互聯網中一切有價值的網頁，為達到這個目標，首先就是發現有價值網頁的鏈接，當前spider有多種鏈接發現機制來盡量快而全的發現資源鏈接，本文主要描述其中一種針對特定索引頁的鏈接補全機制，并給出對這種特定類型的索引頁面的建議處理

　　站點出現抓取異常、無法被抓取、返回碼設置錯誤、死鏈接過多、無效頁面、重定向過多等，直接影響搜索引擎對網站抓取出現異常。將直接導致搜索引擎會認為網站存在用戶體驗上的缺陷，并降低對網站的評價，在抓取、索引、權重上都會受到一定程度的負面影響，最終影響到網站從百度獲取的流量。

　Crawl-delay 可能很多做小站的朋友不了解， 如果擁有大站的朋友可能用到過、但是超級牛站、比如新浪、我想就不會去考慮這個問題了。Crawl-delay 是Robots.txt中一個設置“蜘蛛”降低抓取頻度的參數，而很多大站可能由于被搜索引擎抓取頻繁加上用戶訪問流量過大，導致頁面加載慢(就是我們說的有點卡)。

　　而目前對于也只有YAHOO公開代表支持這個參數，具體可以參考：如何控制Yahoo! Slurp蜘蛛的抓取頻度

　　具體設置：

　　---------------------------

　　User-agent: *

　　Crawl-delay: 10

        案例：http://www.blogbus.com/robots.txt  (博客大巴)

　　搜索引擎對網站收錄分析報告，這段時間一個網站的SOSO蜘蛛真的很瘋狂，前幾天DJ小向手里面一個新站上線、因為是老域名原因! 該域名以前在GOOGLE是有收錄的、其它幾個搜索引擎都被K得錯不多了、 DJ小向在拿到這個域名后、因為那段時間里比較忙，所以沒有什么時間來做網站，就寫了Robots.txt屏蔽了這些域名，DJ小向一共拿了3個PR3與2個PR2的域名。前幾天新網站上線了，才把Robots.

        昨天有人問我內頁與文章頁有啥不同,SE為什么不收錄,文章不收錄,其實來說,個人的想法不一樣,手法也不一樣!所以很多細節很重要！           內頁與文章頁、沒有什么不同的、都可以理解為單頁面、只是說

       研究各搜索引擎蜘蛛爬取網站規則，這是小向很早以前就在做件事，不管百度還是GOOGLE蜘蛛爬取的規則都是錯不多了，只是說有很多方面GOOGLE蜘蛛比百度要強大一些、其實個人感覺有一點至少是相同的，不管百度還是GOOGLE蜘蛛都會考慮服務器負載問題! 雖然現在有深度爬取與廣度爬取、當然這只是其中一方面、還有很多方面我們都是不知道的，百度蜘蛛有很多地方值得我們去挖掘。

...

        搜索引擎中網絡爬蟲的設計分析1】 網絡爬蟲高度可配置性。2】 網絡爬蟲可以解析抓到的網頁里的鏈接3】 網絡爬蟲有簡單的存儲配置4】 網絡爬蟲擁有智能的根據網頁更新分析功能5】 網絡爬蟲的效率相當的高那么依據特征，其實也就是要求了，如何設計爬蟲呢？要注意哪些步驟呢？1】 url 的遍歷和紀錄這點 larb

逆火網站日志分析器可以生成超過80個以上的各種圖表，并付帶有多個3維統計圖.

這些報表將告訴您:

有多少訪客訪問了您的網站.
有多少訪客瀏覽了您的網站.
訪客都從哪里來
他們訪問了哪些頁面，那些頁面被忽略了
你投放的廣告是否成功
訪客在您的網站停留了多長時間