SEO學習網

同樣的夢想,不一樣的起步,SEO案例網將盡最大努力幫助“SEO學習者“學習搜索引擎優化.

SemCmd SEO學習網 > SEO案例 > 百度對Robots.txt的生效周期

百度對Robots.txt的生效周期

  前段時間談了下DJ小向個人對Robots.txt的理解,其中說了兩個推理,1、百度對Robots.txt 的抓取頻率是一個周期右左 2、百度對Robots.txt的抓取是由IP抓取,而不是按域名、說實話DJ小向也不是一個死板或鉆牛角的人,我在上篇“百度對Robots.txt抓取時間分析報告”中說了,那當第一次我們可以說是偶然、第二次是運氣、那第三次了、而如果接下來的第四次更新同樣是這樣! 我們就不得不說這個實驗得以成立,而現在了是否真成立了?   

百度2010-10-6的快照 
  百度快照:2010-10-6號(同樣的10月6號)

  又是同樣的四個站,同樣的時候快照,呵!巧合吧,可能有個網站會隔天快照(www.lcch.cn),但是其它三個網站是同時更新快照。DJ小向從上篇“百度對Robots.txt抓取時間分析報告”中分析到了,百度對Robots.txt的抓取可能是由IP來抓取,但對內容的抓取一定是域名,這點不可否認! 但在什么情況下百度會對Robots.txt抓取了,我們也總結了:百度對Robots.txt 的抓取頻率是一個周期右左。

  我們現在知道了百度是如何對Robots.txt抓取的,也知道了他的抓取周期是多久,那么百度對Robots.txt的生效周期是多久了?

  在百度站長俱樂部俱樂部中,一直有朋友在問“百度對Robots.txt的生效時間是多久”或“百度對301的跳轉又是多久”,但是始終沒有一個很好的回復!那么這個生效周期是多久了!我們研究Robots.txt 不就是為了利用Robots.txt來屏蔽內容,讓SE不能抓取,但是如果不生效也一樣達不到效果。

  那么百度對Robots的抓取生效周期是多久了,前段時間在寫Robots分析報告中,有的朋友說要DJ小向用IIS日志來證明一些推理,這樣來說很容易讓人信服,其實很多時間DJ小向都想用他們來做推理證明,但是因為某些原因,如果我就擺幾個IIS日志圖片放那里,不做一些說明,那么很多SEO的朋友都會看不懂,畢竟其中還有很多東西你不知道,只要操作者知道,所以一直以來都是用一種比較容易理解的方式來寫文章。

  想了解百度對Robots.txt的生效周期,我們首先需要了解“百度是否抓取了你的Robots”、我們撇開其它條件來研究Robots,那么你是否知道你的網站有沒有被百度抓取到Robots.txt了,可能很的朋友會說,“百度快照了,應該Robots就會被抓取吧”,還有的朋友會說“百度對Robots的爬取周期不是一個周期”,可能有很多種說法,但有一點DJ小向應該提醒大家“抓取”、在很多朋友的眼里面就只為一種解釋,其實“抓取”是分兩種的:一種是“爬取”,更一種是“抓取”,而往往有些時候對搜索引擎來說,可能對內容只是爬取過,但沒有抓取! 一樣沒有用或者說只爬取了內容、沒有上抓取,怎么會有收錄了。  

百度日志分析 
  解封Robots.txt后,百度一直不抓取

  自使用了Robots屏蔽了網站,然后到新站上線(解封了Robots),已經有15天左右了,百度一直不收錄,而不收錄的同時,從來沒有百度蜘蛛抓取!   

百度蜘蛛對Robots文件的抓取IIS日志記錄 
  9月25號,百度蜘蛛終于對Robots進行了抓取

  經過三個周期的變化,百度對網站Robots文件進行了抓取,同時也是從網站上線到現在百度第一次抓取!雖然百度對Robots進行了抓取,那么百度對Robots的生效時間會是多久了,9月26號依然一樣,沒有百度蜘蛛抓取。   

百度瘋狂收錄中 
  9月27日,百度蜘蛛對網站內容有了抓取

  25號的百度蜘蛛對Robots.txt進行了抓取,而27號百度對網站內容進行抓取,而瘋狂的蜘蛛在第一次抓取時,真的很瘋狂! (所以這里有個小細節,一定注意、新站上線一直要把內容做充實,而且最好是原創的內容)   

網站上線后的收錄報告 
  網站從28號開始收錄

  從收錄角度來說,小向還是很滿意的,我記得9月29號是96篇,而當是小向總共文章發布數才130篇右左,而直接收錄了96篇,這些文章都是從其它地方復制過來的! 有這種收錄比例還是不錯的。

  我接著對Robots分析,從上面三張圖中,相信大家可以看到,網站從上線到24號以前是沒有百度蜘蛛爬取的,從25號開始百度對Robots.txt文件進行了抓取,而我們知道雖然抓取了,但是生效同樣需要一個等待期,DJ小向比較走運,在27號百度就進行了抓取,而且隔天就放出了!

  那么我們可以對“百度對Robots文件”做個總結:

      想讓Robots.txt 文件生效、必需要等網站中的Robots.txt文件被蜘蛛抓取后,Robots文件才會被生效,而“抓取”到“生效”之間也需要時間等待、這個等待期就是蜘蛛下次在次抓取你網站內容的時候

  其它方面DJ小向也不多說了、小向寫了三篇對Robots的研究分析[百度對Robots.txt抓取時間分析報告], 每篇文章都是站在一個新的思路去理解的,但是同時這三篇文章也有關聯,如果你能夠把三篇文章綜合起來理解最好,如果不行,一篇篇理解也行,(可能在讀解這三篇文章中,你會說他們之間有些沖突,但是我相信如果真正理解了這幾篇文章,你就不會感覺沖突)研究SE就是這樣,只有大膽的想,大膽的實驗,你就會成功. DJ小向不說自己的水平怎么怎么樣,但是我嘗試了、努力了、有了總結,我相信以后在次遇到這樣的問題就難不倒了。

  下篇文章,小向會寫一篇,告訴大家如何測試Robots.txt (也就是說看你自己的Robots.txt 寫法是不是正確的、DJ小向關注了下,百度站長工具可能要出這個功能,但是如果等他放出了,都要老死了,呵!開個玩心)

本文由“SEO學習網 > SEO案例 ”整理:

原創文章如轉載,請注明: [ 百度對Robots.txt的生效周期 - "SEO學習網" ]
SEO學習網 - [ 提供SEO學習資料_免費SEO教程_經典SEO工具_系統式SEO培訓指導 ]
本文網址:

百度對Robots.txt的生效周期
<< 網絡推廣,作為銷售員該如何開始!推薦兩款對網站監測平臺 >>


網友評論 [ 請文明的留下您的足跡,你也來囧下吧!]

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

    SEO學習網介紹

    “師傅領進門,修行在個人”

    Seo學習網 - 只能領你進入Seo這扇門,至于以后的發展,唯有靠自己靈性,去模仿/去揣摩它的意圖,才能徹底掌握這項技術.

    --------------------------

    系統式SEO培訓指導

    培訓方式:一對一 YY授課

    培訓機構:SEO學習網(SemCmd)

    培訓導師:DJ小向

    培訓宗旨:授課 + 實站指導

    聯系方式:QQ:8943459

    --------------------------

    在線文章編輯器   右擊SEO工具箱 關鍵詞密度查詢   關鍵詞組合器

    --------------------------

    暑假系統式SEO培訓班報名中

亲吻王子救援彩金