SEO學習網

同樣的夢想,不一樣的起步,SEO日記網將盡最大努力幫助“SEO學習者“學習搜索引擎優化.

SemCmd SEO學習網 > SEO日記 > 搜索引擎蜘蛛爬取網站規則

搜索引擎蜘蛛爬取網站規則

       研究各搜索引擎蜘蛛爬取網站規則,這是小向很早以前就在做件事,不管百度還是GOOGLE蜘蛛爬取的規則都是錯不多了,只是說有很多方面GOOGLE蜘蛛比百度要強大一些、其實個人感覺有一點至少是相同的,不管百度還是GOOGLE蜘蛛都會考慮服務器負載問題! 雖然現在有深度爬取與廣度爬取、當然這只是其中一方面、還有很多方面我們都是不知道的,百度蜘蛛有很多地方值得我們去挖掘。

       1、 在以前我記得我寫過一篇文章“怎樣提高百度快照更新頻率”里面說過如何來提高百度快照百度收錄問題,也提到過網站更新對網站快照與收錄是有影響的!如何來影響的了、其中就說明了是“搜索引擎蜘蛛”問題。

通常蜘蛛在下一次爬取的數據要跟上一次爬取進行比較,如果連續5次都沒有變化,那么將爬這個網頁的時間間隔擴大1倍,如果一個網頁在連續5次蜘蛛爬取的時候都有更新,那么將設置的爬取時間縮短為原來的1/2。
網頁更新頻度嚴重影響著搜索引擎蜘蛛程度對網站的爬行,爬取次數越多意味著網頁收錄幾率會越大、收錄數量越多,收錄是SEO最基礎的一個環節

  那么這點說明了什么了、蜘蛛已經成為了人性化了! 有很多地方都是值得我們學習的

       2、在不久前、因為手里面有個企業網站,因為快照老不更新的問題、就查看了下IIS日志,呵、這一查把我很早以前那個疑惑解決了:百度蜘蛛抓取問題、從這個案例我們證明了各大搜索引擎蜘蛛的強大!

        “百度蜘蛛在無論爬和不爬都可以知道你有沒有更新

       某網站IIS日志分析:(這里我只列出三天的日志)

     2010/06/01日志報告
   服務器IIS日志分析1 

      2010/06/02日志報告
   服務器IIS日志分析2

    2010/06/03日志報告
   服務器IIS日志分析3

   從上面三副圖、我們可以看出、分別是這三天來百度蜘蛛對網站的訪問與爬?。℅ET代表著是已爬?。?、正好這三篇文章也是分別是按照這三個日期來更新了(也就是說我每天只更新了一篇文章)!  我們這里先不談蜘蛛爬取后是否會馬上收錄、我們這里只是了解蜘蛛的爬取規則!

        分析網站這三天來的總點擊:

       百度蜘蛛總爬取數

這里是IIS日志6月1日百度總的抓取量:111次

        百度蜘蛛抓取Default.asp文件的次數!  

           百度蜘蛛抓住首頁的次數

 

  從這個小企業站我們可以看出、“百度蜘蛛總數:111次”- “百度蜘蛛抓取首頁數次:103” =  8次 (這里就是抓取首頁與內頁之間的比例)

        其它幾個日志我就不一一例出來說了!從以上的分析我們可以總結出:

        1、為什么百度網站內頁快照更新超慢(反而GOOGLE的快照更新要比百度快)

        2、理解為百度的一種技術、(因為百度不是沒有抓取內頁、他只是只抓取了更新的內頁)

        3、百度蜘蛛無論爬或不爬網頁都可以判斷該網頁有沒有更新(相信這個技術不難 只是小向個人認為)

不管是前面說的“網站內容更新頻率影響著搜索收錄”,還是說今天所以說的百度蜘蛛抓取規則!都說明了各位站長朋友需要重點加強“網站內部結構優化”。

  以上內容只是小向個人看法,如有其它更好的意見可以談談個人看法, 還有一些蜘蛛方面的經驗,沒有得到一定的實例證明!等下次得出了正確的結果在分享給大家!

本文由“SEO學習網 > SEO日記 ”整理:

原創文章如轉載,請注明: [ 搜索引擎蜘蛛爬取網站規則 - "SEO學習網" ]
SEO學習網 - [ 提供SEO學習資料_免費SEO教程_經典SEO工具_系統式SEO培訓指導 ]
本文網址:

搜索引擎蜘蛛爬取網站規則
<< 快速刪除網站收錄內面或內容分析蕭涵“博百優”排名第一因素 >>


網友評論 [ 請文明的留下您的足跡,你也來囧下吧!]

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

    SEO學習網介紹

    “師傅領進門,修行在個人”

    Seo學習網 - 只能領你進入Seo這扇門,至于以后的發展,唯有靠自己靈性,去模仿/去揣摩它的意圖,才能徹底掌握這項技術.

    --------------------------

    系統式SEO培訓指導

    培訓方式:一對一 YY授課

    培訓機構:SEO學習網(SemCmd)

    培訓導師:DJ小向

    培訓宗旨:授課 + 實站指導

    聯系方式:QQ:8943459

    --------------------------

    在線文章編輯器   右擊SEO工具箱 關鍵詞密度查詢   關鍵詞組合器

    --------------------------

    暑假系統式SEO培訓班報名中

亲吻王子救援彩金 云南快乐10分 股票配资平台l选一直牛 河北排列7 新11选5 河北20选5 期货配资ˉ杨方配资平台 国内有什么好的股票配资平台 广东11选5 快乐赛车 广东好彩1 广东36选7 期货配资列入刑法了吗 百度金融理财平台 河北20选5 澳州棒球比分 目前最好的理财方法有哪些