SEO學習網

同樣的夢想,不一樣的起步,SEO案例網將盡最大努力幫助“SEO學習者“學習搜索引擎優化.

SemCmd SEO學習網 > SEO案例 > 百度對Robots.txt抓取時間分析報告

百度對Robots.txt抓取時間分析報告

  百度對Robots.txt抓取時間,記得DJ小向在“搜索引擎對網站收錄分析”中提過,同是也在文章中做了個猜測,可些只猜對了一半,網站是快照了、但到現在百度對lcch.cn的態度仍然沒有放出網站標題與描述,這讓DJ小向很郁悶,按正常來說既然有了新的快照,那么網站標題與描述也因為放出來了,為什么DJ小向手里這個新站快照后沒有被放出了!

  Robots.txt 不用我說大家都知道,Robots.txt可以說是搜索引擎中的一個公共協議,而我們可以通過Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的、什么文件是不可以被查看的!如何設置Robots.txt 來對搜索引擎抓取,大家可以看看“Robots.txt文件_使用解析”。

  DJ小向今天要談是百度對Robots.txt態度又是怎樣(很多人會說百度對Robots.txt 反應很遲鈍,就像301跳轉一樣),雖然我們知道Robots.txt的作用什么,同時也知道如何來設置Robots.txt,但是有沒有朋友去研究過百度對Robots.txt態度是怎么樣的了,百度又是以什么樣的方式來抓取Robots.txt文件,還有Robots.txt的生效時間又是多久了或者說百度對網站的Robots.txt的抓取頻率又是多久? 很多問題就擺在我們面前,但是很少有人可以回答上來,和小向以前一樣整天說百度的不是,從來沒有想過自己的操作方式,現在小向回想起來那時是有多么的傻,我記得DJ小向在博客中寫到過"Robost.txt—SEO細節操作" 當時很天真,雖然分析方式很正確,但是有一點被遺漏了、就是SE對Robots.txt的抓取頻率是多久,還有生效時間又是多久,如果當時想通了這個問題,在網站還沒有上傳FTP之前就寫好Robots.txt,就不會出現網站沒有成型就被百度抓取到!

  通過這半個月的觀查DJ小向得出2條百度對Robots.txt結論:

  1、百度對Robots.txt 的抓取頻率是一個周期右左

  2、百度對Robots.txt的抓取是由IP抓取,而不是按域名

  可能很多朋友會不相信,小向也有時不相信,但是用實例我們可以證明以上說法的正常率很高。但不管怎么樣每個人都有每個人的看法、百度不是我家開的、所以我們很多都只是猜測!

  小向前段時間為了證明自己對網站的猜測、做了一個小小的調查,呵\正好這個調查可以用來證明DJ小向對2條Robots.tx的結論:

  首先小向聲明下面4個網站都在同一臺服務器面、因為DJ小向手里有個合租的服務器,里面可以放7個網站,為了養幾個域名,小向把沒有用上的域名都寫入Robots.txt屏蔽掉了所以有搜索引擎! 其中 www.lcch.cn  這個網站在9月9日那天上線、所以改寫了Robots.txt

  

百度快照時間 9月9日

 

  第一幅圖是DJ小向在9月9號網站上線當天剪切到百度對4個網站的抓取快照時間,在這里我們不管搜索引擎以前怎么樣對待這4個網站,但是我們知道從9月8日起,搜索引擎已經知道了這4個網站已經是屏蔽了搜索引擎,各大搜索引擎也乖,都沒有去強行抓取,而快照出來。

  

百度快照時間 9月15日

 

  第二幅圖是DJ小向在9月16號抓取的圖,同樣是百度對4個網站的抓取的快照時間,上面4個網站的快照時間都是9月15日,而9月16日是星期四(不用我說,大家都知道星期四是百度小更新)。

  

百度快照時間 9月22日

 

  第三幅圖是昨天小向剪取下來的圖,昨天是9月23日,而昨天同樣是周四! 同樣四個網站的快照都相同都是9月22日。

  三張圖,百度快照分別為:9月8日,9月15日,9月22日 從這三副圖你看到了什么了,而你又懂得了什么了,時間頻率9月8日 - 9月日15 -9月22日 他們相隔是一個周期、小向在前幾天跟朋友談過,我說你相信不相信下次百度快照是在9月22日,今天DJ小向又可以在次問朋友們,你相不相信這4個網站的下次更新快照更新會是9月30,但是這個30號對于小向來說不肯定、因為百度有月更新,在說聽XX內部消息說這些天百度要動亂了! 但是小向說按照正常下去30號的機會很大。

  從上述我們可以得出:第一點小向說的“百度對Robots.txt 的抓取頻率是一個周期右左”猜測是成立的! 如果還有朋友不相信,可以看看7天后的這4個網站的快照結果,但是有一個網站特殊,www.lcch.cn因為在這四個網站中,其它三個網站都寫了Robots.txt 屏蔽了搜索引擎,而www.lcch.cn - 時尚美 這個站現在被DJ小向做成了一個美容時間網站,所以Robots.txt對各大SE是對外開放的。

  那么第二點我們的“百度對Robots.txt的抓取是由IP抓取,而不是按域名”猜測是否成立了,其實這點小向也是個人猜測, 我們從三幅圖中可以看出來4個網站每次快照時間是同時的,如果說百度對Robots.txt文件是按照域名抓取,那當第一次我們可以說是偶然、第二次是運氣、那第三次了、而如果接下來的第四次更新同樣是這樣! 我們就不得不說按域名抓取Robots.txt的這個說法不成立,那如果不是按域名抓取,剩下的只有IP了,既然搜狗都可以做到按IP抓取網頁、為什么百度不可以按IP來抓取Robots.txt, 而只有按IP來抓取Robots.txt 可以解釋三幅百度快照時間相同的問題!

  呵、可能中間的分析不是大家想的那樣,但這些都只是個人看法,如果你有很好的建議、可以留言下來說說你自己的看法,但是必需要是你自己實驗過的! DJ小向自己期待下個更新后,這4個網站的快照時間是否還是相同的!

  注: 其實還有一點,我本來不想寫在這篇文章中,因為“百度對Robots.txt的抓取是由IP抓取,而不是按域名”猜測只是小向的一個猜想,具體是不是真的,除了百度很少人會知道,但是通過小向對這4個網站的日志來看,從9月8日,也就是說百度那次快照后,也就是說從9月8日到今天的24日,4個網站都只有一兩個蜘蛛爬取,而且百度蜘蛛所爬取的都是首頁、沒有一個是爬取了Robots.txt,反之GOOGLE的蜘蛛每天都爬取了Robots.txt。

本文由“SEO學習網 > SEO案例 ”整理:

原創文章如轉載,請注明: [ 百度對Robots.txt抓取時間分析報告 - "SEO學習網" ]
SEO學習網 - [ 提供SEO學習資料_免費SEO教程_經典SEO工具_系統式SEO培訓指導 ]
本文網址:

百度對Robots.txt抓取時間分析報告
<< 百度應用開放平臺越做越大了!Zblog"列表插件"調用靜態化問題解決 >>


網友評論 [ 請文明的留下您的足跡,你也來囧下吧!]

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

    SEO學習網介紹

    “師傅領進門,修行在個人”

    Seo學習網 - 只能領你進入Seo這扇門,至于以后的發展,唯有靠自己靈性,去模仿/去揣摩它的意圖,才能徹底掌握這項技術.

    --------------------------

    系統式SEO培訓指導

    培訓方式:一對一 YY授課

    培訓機構:SEO學習網(SemCmd)

    培訓導師:DJ小向

    培訓宗旨:授課 + 實站指導

    聯系方式:QQ:8943459

    --------------------------

    在線文章編輯器   右擊SEO工具箱 關鍵詞密度查詢   關鍵詞組合器

    --------------------------

    暑假系統式SEO培訓班報名中

亲吻王子救援彩金