SEO學習網

同樣的夢想,不一樣的起步,SEO資料網將盡最大努力幫助“SEO學習者“學習搜索引擎優化.

SemCmd SEO學習網 > SEO資料 > 搜索引擎中蜘蛛爬蟲設計分析

搜索引擎中蜘蛛爬蟲設計分析

        搜索引擎中網絡爬蟲的設計分析

1】 網絡爬蟲高度可配置性。
2】 網絡爬蟲可以解析抓到的網頁里的鏈接
3】 網絡爬蟲有簡單的存儲配置
4】 網絡爬蟲擁有智能的根據網頁更新分析功能
5】 網絡爬蟲的效率相當的高
那么依據特征,其實也就是要求了,如何設計爬蟲呢?要注意哪些步驟呢?
1】 url 的遍歷和紀錄
這點 larbin 做得非常的好,其實對于url的遍歷是很簡單的,例如:

cat [what you got]| tr \" \\n | gawk ‘{print $2}‘ | pcregrep ^http://

就可以得到一個所由的 url 列表
2】多進程 VS 多線程
各有優點了,現在一臺普通的PC 例如 booso.com 一天可以輕松爬下5個G的數據。大約20萬網頁。
3】時間更新控制
最傻的做法是沒有時間更新權重,一通的爬,回頭再一通的爬。
通常在下一次爬的的數據要跟上一次進行比較,如果連續5次都沒有變化,那么將爬這個網頁的時間間隔擴大1倍。
如果一個網頁在連續5次爬取的時候都有更新,那么將設置的爬取時間縮短為原來的1/2。
注意,效率是取勝的關鍵之一。
4】爬的深度是多少呢?
看情況了。如果你比較牛,有幾萬臺服務器做網絡爬蟲,我勸您跳過這一點。
如果你同我一樣只有一臺服務器做網絡爬蟲,那么這樣一個統計您應該知道:
網頁深度:網頁個數:網頁重要程度
0 : 1 : : 10
1 :20 : :8
2: :600: :5
3: :2000: :2
4 above: 6000: 一般無法計算
好了,爬到三級就差不多了,再深入一是數據量擴大了3/4倍,二是重要度確下降了許多,這叫做“種下的是龍種,收獲的是跳蚤。
5】爬蟲一般不之間爬對方的網頁,一般是通過一個Proxy出去,這個proxy有緩解壓力的功能,因為當對方的網頁沒有更新的時候,只要拿到 header 的 tag就可以了,沒有必要全部傳輸一次了,可以大大節約網絡帶寬。
apache webserver里面紀錄的 304 一般就是被cache的了。
6】請有空的時候照看一下robots.txt
7】存儲結構。
這個人人見智,google 用 gfs 系統,如果你有7/8臺服務器,我勸你用NFS系統,要是你有70/80個服務器的話我建議你用afs 系統,要是你只有一臺服務器,那么隨便。
給一個代碼片斷,是我寫的新聞搜索引擎是如何進行數據存儲的:

  • NAME=`echo $URL |perl -p -e ‘s/([^\w\-\.\@])/$1 eq "\n" ? "\n":sprintf("%%%2.2x",ord($1))/eg‘`
  • mkdir -p $AUTHOR
  • newscrawl.pl $URL --user-agent="news.booso.com+(+http://booso.com)" -outfile=$AUTHOR/$NAME


--------------------------------------------------------------------------------

以上轉載的是一篇關于搜索引擎網絡爬蟲(即搜索引擎蜘蛛程序)的設計分析的文章,介紹了一些蜘蛛設計的常識,這些信息對SEO都很有幫助,特別是注意以下幾句:
1.通常在下一次爬的的數據要跟上一次進行比較,如果連續5次都沒有變化,那么將爬這個網頁的時間間隔擴大1倍,如果一個網頁在連續5次爬取的時候都有更新,那么將設置的爬取時間縮短為原來的1/2。
網頁更新頻度嚴重影響著搜索引擎蜘蛛程度對網站的爬行,爬取次數越多意味著網頁收錄幾率會越大、收錄數量越多,收錄是SEO最基礎的一個環節。
2.好了,爬到三級就差不多了,再深入一是數據量擴大了3/4倍,二是重要度確下降了許多,這叫做“種下的是龍種,收獲的是跳蚤。
盡量將網站保持在三級目錄內,深層次的網頁會給搜索引擎帶來很大的壓力,當然,我想Google有足夠的服務器來承擔這些壓力,但從側面來說,3層目錄下的網頁被抓取及更新的頻度要低很多。前面,我說過,要想辦法使網站物理結構和邏輯結構吻合,這體現于URL的良好設計,現在你可以檢查下前臺生成的靜態網頁的實際目錄有幾層,考慮是否可以優化。
關于網站邏輯結構和URL設計,請參考“網站內部鏈接優化是SEO的第一要素”和“二級域名與一級目錄之間該如何選擇?”

本文由“SEO學習網 > SEO資料 ”整理:

原創文章如轉載,請注明: [ 搜索引擎中蜘蛛爬蟲設計分析 - "SEO學習網" ]
SEO學習網 - [ 提供SEO學習資料_免費SEO教程_經典SEO工具_系統式SEO培訓指導 ]
本文網址:

搜索引擎中蜘蛛爬蟲設計分析
<< SEO關鍵詞密度調整怎樣提高百度快照更新頻率 >>


網友評論 [ 請文明的留下您的足跡,你也來囧下吧!]

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

    SEO學習網介紹

    “師傅領進門,修行在個人”

    Seo學習網 - 只能領你進入Seo這扇門,至于以后的發展,唯有靠自己靈性,去模仿/去揣摩它的意圖,才能徹底掌握這項技術.

    --------------------------

    系統式SEO培訓指導

    培訓方式:一對一 YY授課

    培訓機構:SEO學習網(SemCmd)

    培訓導師:DJ小向

    培訓宗旨:授課 + 實站指導

    聯系方式:QQ:8943459

    --------------------------

    在線文章編輯器   右擊SEO工具箱 關鍵詞密度查詢   關鍵詞組合器

    --------------------------

    暑假系統式SEO培訓班報名中

亲吻王子救援彩金 天津11选5 2013年上证指数数据 华东15选5 河北11选5 股票涨跌幅排行榜 私募基金配资是什么意思 股票行情APP 大族激光股票 江苏7位数 急速赛车 天津快乐十分 广西11选5 广西十一选五 2012奥运足球比分网 期货配资公司怎么找 期货配资·杨方配资平台