互蔾|‘ä¿¡æ¯çˆ†å‘å¼å¢žé•¿åQŒå¦‚何有效的获å–òq¶åˆ©ç”¨è¿™äº›ä¿¡æ¯æ˜¯æœçƒ¦å¼•擎工作ä¸çš„首è¦çŽ¯èŠ‚ã€‚æ•°æ®æŠ“å–ç³»¾lŸä½œä¸ºæ•´ä¸ªæœç´¢ç³»¾lŸä¸çš„上游,主è¦è´Ÿè´£äº’蔾|‘ä¿¡æ¯çš„æœé›†ã€ä¿å˜ã€æ›´æ–°çŽ¯èŠ‚ï¼Œå®ƒåƒèœ˜è››ä¸€æ ·åœ¨¾|‘络间爬æ¥çˆ¬åŽ»ï¼Œå› æ¤é€šå¸¸ä¼šè¢«å«åš“spider”ã€?/span>ä¾‹å¦‚æˆ‘ä»¬å¸¸ç”¨çš„å‡ å®‰™€šç”¨æœçƒ¦å¼•擎蜘蛛被å«åšï¼šBaiduspdierã€?/span>Googlebotã€?/span>Sogou Web Spider½{‰ã€?/span>
Spider抓喾pÈ»Ÿæ˜¯æœç´¢å¼•æ“Žæ•°æ®æ¥æºçš„é‡è¦ä¿è¯åQŒå¦‚果把webç†è§£ä¸ÞZ¸€ä¸ªæœ‰å‘图åQŒé‚£ä¹?/span>spider的工作过½E‹å¯ä»¥è®¤ä¸ºæ˜¯å¯¹è¿™ä¸ªæœ‰å‘图的é历。从一些é‡è¦çš„¿Uå URL开始,通过™åµé¢ä¸Šçš„‘…é“¾æŽ¥å…³¾p»ï¼Œä¸æ–çš„å‘现新URLòq¶æŠ“å–,ž®½æœ€å¤§å¯èƒ½æŠ“å–到更多的有价值网™åüc€‚对于类似百度这æ ïLš„大型spider¾pÈ»ŸåQŒå› ä¸ºæ¯æ—?/span> æ¯åˆ»éƒ½å˜åœ¨ç½‘™åµè¢«ä¿®æ”¹ã€åˆ 除或出现新的‘…链接的å¯èƒ½åQŒå› æ¤ï¼Œ˜q˜è¦å¯?/span>spider˜q‡åŽ»æŠ“å–˜q‡çš„™åµé¢ä¿æŒæ›´æ–°åQŒç»´æŠ¤ä¸€ä¸?/span>URL库和™åµé¢åº“ã€?/span>
1ã€?/span>spider抓喾pÈ»Ÿçš„基本框æž?/span>
如下ä¸?/span>spider抓喾pÈ»Ÿçš„基本框架图åQŒå…¶ä¸åŒ…括链接å˜å‚¨ç³»¾lŸã€é“¾æŽ¥é€‰å–¾pÈ»Ÿã€?/span>dnsè§£æžæœåŠ¡¾pÈ»Ÿã€æŠ“å–调度系¾lŸã€ç½‘™åµåˆ†æžç³»¾lŸã€é“¾æŽ¥æå–ç³»¾lŸã€é“¾æŽ¥åˆ†æžç³»¾lŸã€ç½‘™åµå˜å‚¨ç³»¾lŸã€?/span>
2ã€?/span>spider抓喘q‡ç¨‹ä¸æ¶‰åŠçš„¾|‘络åè®®
æœçƒ¦å¼•æ“Žä¸Žèµ„æºæä¾›è€…ä¹‹é—´å˜åœ¨ç›¸äº’ä¾èµ–的关系åQŒå…¶ä¸æœç´¢å¼•擎需è¦ç«™é•¿äؓ其æä¾›èµ„æºï¼Œå¦åˆ™æœçƒ¦å¼•擎ž®±æ— 法满‘³ç”¨æˆäh£€ç´¢éœ€æ±‚;而站镉Kœ€è¦é€šè¿‡æœçƒ¦å¼•擎ž®†è‡ªå·Þqš„ å†…å®¹æŽ¨å¹¿å‡ºåŽ»èŽ·å–æ›´å¤šçš„å—ä¼—ã€?/span>spider抓喾pÈ»Ÿç›´æŽ¥æ¶‰åŠäº’蔾|‘èµ„æºæä¾›è€…çš„åˆ©ç›ŠåQŒäؓ了ä‹Éæœç´ 引擎与站长能够达到åŒèµ¢ï¼Œåœ¨æŠ“å–过½E‹ä¸åŒæ–¹å¿…é¡»éµå®ˆä¸€å®šçš„规范åQŒä»¥ä¾¿äºŽåŒæ–¹çš„æ•°æ®å¤„ç†åŠå¯ÒŽŽ¥ã€‚è¿™¿U过½E‹ä¸éµå®ˆçš„规范也ž®±æ˜¯æ—¥å¸¸ä¸æˆ‘们所说的一些网¾lœå议。以下简å•列举:
httpåè®®åQ?/span>‘…æ–‡æœ¬ä¼ è¾“å议,是互è”网上应用最为广泛的一¿U网¾lœå议,客户端和æœåŠ¡å™¨ç«¯è¯äh±‚和应½{”çš„æ ‡å‡†ã€‚å®¢æˆïL«¯ä¸€èˆ¬æƒ…冉|˜¯æŒ‡ç»ˆç«¯ç”¨æˆøP¼ŒæœåŠ¡å™¨ç«¯åÏxŒ‡¾|?/span> 站。终端用户通过‹¹è§ˆå™¨ã€èœ˜è››ç‰å‘æœåŠ¡å™¨æŒ‡å®šç«¯å£å‘é€?/span>httpè¯äh±‚。å‘é€?/span>httpè¯äh±‚会返回对应的httpheaderä¿¡æ¯åQŒå¯ä»¥çœ‹åˆ°åŒ…æ‹¬æ˜¯å¦æˆåŠŸã€æœåŠ?/span> 器类型ã€ç½‘™å‰|œ€˜q‘æ›´æ–°æ—¶é—´ç‰å†…容ã€?/span>
httpsåè®®åQ?/span>å®žé™…æ˜¯åŠ å¯†ç‰ˆhttpåQŒä¸€¿Uæ›´åŠ å®‰å…¨çš„æ•°æ®ä¼ 输åè®®ã€?/span>
UA属性:UAå?/span>user-agentåQŒæ˜¯httpåè®®ä¸çš„一个属性,代表了终端的íw«ä†¾åQŒå‘æœåŠ¡å™¨ç«¯è¡¨æ˜Žæˆ‘æ˜¯è°æ¥òq²å˜›åQŒè¿›è€ŒæœåŠ¡å™¨ç«¯å¯ä»¥æ ¹æ®ä¸åŒçš„íw«ä†¾æ¥åšå‡ÞZ¸åŒçš„å馈¾l“æžœã€?/span>
robotsåè®®åQ?/span>robots.txt是æœç´¢å¼•擎访问一个网站时è¦è®¿é—®çš„½W¬ä¸€ä¸ªæ–‡ä»Óž¼Œç”¨ä»¥æ¥ç¡®å®šå“ªäº›æ˜¯è¢«å…许抓å–的哪些是被¼›æ¢æŠ“å–çš„ã€?/span> robots.txt必须攑֜¨¾|‘ç«™æ ¹ç›®å½•ä¸‹åQŒä¸”æ–‡äšgå覞®å†™ã€‚详¾l†çš„robots.txt写法å¯å‚è€?/span> http://www.robotstxt.org ã€‚ç™¾åº¦ä¸¥æ ¼æŒ‰ç…?/span>robotså议执行åQŒå¦å¤–ï¼ŒåŒæ ·æ”¯æŒ¾|‘页内容䏿·»åŠ çš„å䨓robotsçš?/span>metaæ ?/span> ½{¾ï¼Œindexã€?/span>followã€?/span>nofollow½{‰æŒ‡ä»¤ã€?/span>
3ã€spider抓å–的基本过½E?/span>
spider的基本抓å–过½E‹å¯ä»¥ç†è§£äؓ如下的浽E‹å›¾åQ?/span>
如果大家å¯ÒŽœç´¢å¼•æ“ŽæŠ“å–还有别的疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] ã€?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆäºŒåQ‰ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/span>
Copyright © 2008
¾l§ç®‹é˜…读《æœç´¢å¼•擎工作原ç?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆä¸‰åQ‰ã€‹çš„全文内容...
分类: SEO入门 | Tags: æœçƒ¦å¼•擎 å·¥ä½œåŽŸç† æŠ“å–¾pÈ»Ÿ | æ·ÕdŠ è¯„è®º(0)
spider在抓å–过½E‹ä¸é¢å¯¹ç€å¤æ‚的网¾lœçŽ¯å¢ƒï¼Œä¸ÞZº†ä½?/span>¾pÈ»Ÿå¯ä»¥æŠ“å–到尽å¯èƒ½å¤šçš„æœ‰äh倯Dµ„æºåÆˆä¿æŒ¾pÈ»ŸåŠå®žé™…环境丙åµé¢çš„ä¸€è‡´æ€§åŒæ—¶ä¸¾l™ç½‘ç«™ä½“éªŒé€ æˆåŽ‹åŠ›åQŒä¼šè®¾è®¡å¤šç§å¤æ‚的抓å–ç–略。以下简å•介¾l一下抓å–过½E‹ä¸æ¶‰åŠåˆ°çš„主覽{–ç•¥¾cÕdž‹åQ?/span>
1ã€æŠ“å–å‹å¥½æ€§ï¼šæŠ“å–压力调é…é™ä½Žå¯¹ç½‘站的讉K—®åŽ‹åŠ›
2ã€å¸¸ç”¨æŠ“å–è¿”å›žç ½Cºæ„
3ã€å¤š¿Uurlé‡å®šå‘的识别
4ã€æŠ“å–优先çñ”è°ƒé…
5ã€é‡å¤url的过æ»?/span>
6ã€æš—¾|‘æ•°æ®çš„获å–
7ã€æŠ“å–å作弊
8ã€æé«˜æŠ“å–æ•ˆçŽ‡ï¼Œé«˜æ•ˆåˆ©ç”¨å¸¦å®½
1ã€æŠ“å–å‹å¥½æ€?/span>
互蔾|‘资æºåºžå¤§çš„æ•°é‡¾U§ï¼Œ˜q™å°±è¦æ±‚抓喾pÈ»Ÿž®½å¯èƒ½çš„高效利用带宽åQŒåœ¨æœ‰é™çš„硬件和带宽资æºä¸‹å°½å¯èƒ½å¤šçš„æŠ“å–åˆ°æœ‰ä»·å€ÆDµ„æºã€‚è¿™ž®±é€ æˆäº†å¦ä¸€ä¸ªé—®é¢˜ï¼Œè€—费被抓¾|‘ç«™çš„å¸¦å®½é€ æˆè®‰K—®åŽ‹åŠ›åQŒå¦‚果程度过大将直接影å“被抓¾|‘站的æ£å¸¸ç”¨æˆ¯‚®¿é—®è¡Œä¸ºã€‚å› æ¤ï¼Œåœ¨æŠ“å–过½E‹ä¸ž®Þp¦˜q›è¡Œä¸€å®šçš„æŠ“å–压力控制åQŒè¾¾åˆ°æ—¢ä¸åª„å“网站的æ£å¸¸ç”¨æˆ·è®‰K—®åˆèƒ½ž®½é‡å¤šçš„æŠ“å–åˆ°æœ‰ä»·å€ÆDµ„æºçš„目的ã€?/span>
通常情况下,最基本的是åŸÞZºŽipçš„åŽ‹åŠ›æŽ§åˆ¶ã€‚è¿™æ˜¯å› ä¸ºå¦‚æžœåŸºäºŽåŸŸå,å¯èƒ½å˜åœ¨ä¸€ 个域å对多个ipåQˆå¾ˆå¤šå¤§¾|‘ç«™åQ‰æˆ–多个域å对应åŒä¸€ä¸?/span>ipåQˆå°¾|‘ç«™å…׃ínipåQ‰çš„问题。实际ä¸åQŒå¾€å¾€æ ÒŽ®ipåŠåŸŸåçš„å¤šç§æ¡äšg˜q›è¡ŒåŽ‹åŠ›è°ƒé…æŽ§åˆ¶ã€‚åŒæ—Óž¼Œç«™é•¿òq›_°ä¹ŸæŽ¨å‡ÞZº†åŽ‹åŠ›å馈工具åQŒç«™é•¿å¯ä»¥äh工调é…对自己¾|‘站的抓å–压力,˜q™æ—¶ç™‘Öº¦spiderž®†ä¼˜å…ˆæŒ‰ç…§ç«™é•¿çš„è¦æ±‚˜q›è¡ŒæŠ“å–压力控制ã€?/span>
对åŒä¸€ä¸ªç«™ç‚¹çš„æŠ“å–速度控制一般分ä¸ÞZ¸¤¾c»ï¼šå…¶ä¸€åQŒä¸€ŒD‰|—¶é—´å†…的抓å–频率;其二åQŒä¸€ŒD‰|—¶é—´å†…çš„æŠ“å–æµé‡ã€‚åŒä¸€ç«™ç‚¹ä¸åŒçš„æ—¶é—´æŠ“å–速度也会ä¸åŒåQŒä¾‹å¦‚夜æ·×ƒh陿œˆé»‘风高时候抓å–çš„å¯èƒ½ž®×ƒ¼šå¿«ä¸€äº›ï¼Œä¹Ÿè§†å…·ä½“站点¾cÕdž‹è€Œå®šåQŒä¸»è¦æ€æƒ³æ˜¯é”™å¼€æ£å¸¸ç”¨æˆ·è®‰K—®é«˜å³°åQŒä¸æ–的调整。对于ä¸åŒç«™ç‚¹ï¼Œä¹Ÿéœ€è¦ä¸åŒçš„æŠ“å–速度ã€?/span>
2ã€å¸¸ç”¨æŠ“å–è¿”å›žç ½Cºæ„
½Ž€å•介¾lå‡ ¿U百度支æŒçš„˜q”回ç :
1åQ?/span> 最常è§çš?/span>404代表“NOT FOUND”åQŒè®¤ä¸ºç½‘™åµå·²¾l失效,通常ž®†åœ¨åº“ä¸åˆ 除åQŒåŒæ—¶çŸæœŸå†…如果spider冿¬¡å‘现˜q™æ¡url也ä¸ä¼šæŠ“å–ï¼›
2åQ?/span> 503代表“Service Unavailable”åQŒè®¤ä¸ºç½‘™åµäÍæ—¶ä¸å¯è®¿é—®ï¼Œé€šå¸¸¾|‘站临时关é—åQŒå¸¦å®½æœ‰é™ç‰ä¼šäñ”生这¿U情å†üc€‚对于网™åµè¿”å›?/span>503状æ€ç åQŒç™¾åº?/span>spiderä¸ä¼šæŠŠè¿™æ?/span>urlç›´æŽ¥åˆ é™¤åQŒåŒæ—¶çŸæœŸå†…ž®†ä¼šåå¤è®‰K—®å‡ 次åQŒå¦‚果网™åµå·²æ¢å¤åQŒåˆ™æ£å¸¸æŠ“å–åQ›å¦‚æžœç‘ô¾lè¿”å›?/span>503åQŒé‚£ä¹ˆè¿™æ?/span>urlä»ä¼šè¢«è®¤ä¸ºæ˜¯å¤±æ•ˆé“¾æŽ¥åQŒä»Žåº“ä¸åˆ 除ã€?/span>
3åQ?/span> 403代表“Forbidden”åQŒè®¤ä¸ºç½‘™å늛®å‰ç¦æ¢è®¿é—®ã€‚如果是æ–?/span>urlåQ?/span>spideræš‚æ—¶ä¸æŠ“å–ï¼ŒçŸæœŸå†…åŒæ ·ä¼šåå¤è®‰K—®å‡ 次åQ›å¦‚果是已收å½?/span>urlåQŒä¸ä¼šç›´æŽ¥åˆ é™¤ï¼ŒçŸæœŸå†…åŒæ ·åå¤è®¿é—®å‡ ‹Æ¡ã€‚如果网™å‰|£å¸¸è®¿é—®ï¼Œåˆ™æ£å¸¸æŠ“å–;如果ä»ç„¶¼›æ¢è®‰K—®åQŒé‚£ä¹ˆè¿™æ?/span>url也会被认为是失效链接åQŒä»Žåº“ä¸åˆ 除ã€?/span>
4åQ?/span>301 代表æ˜?/span>“Moved Permanently”åQŒè®¤ä¸ºç½‘™åµé‡å®šå‘è‡Ïx–°url。当é‡åˆ°ç«™ç‚¹˜qç§»ã€åŸŸåæ›´æ¢ã€ç«™ç‚ÒŽ”¹ç‰ˆçš„æƒ…况æ—Óž¼Œæˆ‘们推è使用301˜q”回ç ï¼ŒåŒæ—¶ä½¿ç”¨ç«™é•¿òq›_°¾|‘站改版工具åQŒä»¥å‡å°‘改版对网站æµé‡é€ æˆçš„æŸå¤±ã€?/span>
3ã€å¤š¿U?/span>urlé‡å®šå‘的识别
互蔾|‘ä¸ä¸€éƒ¨åˆ†¾|‘é¡µå› äØ“å„ç§å„æ ·çš„åŽŸå› å˜åœ?/span>urlé‡å®šå‘状æ€ï¼Œä¸ÞZº†å¯¹è¿™éƒ¨åˆ†èµ„æºæ£å¸¸æŠ“å–åQŒå°±è¦æ±‚spiderå¯?/span>urlé‡å®šå‘进行识别判æ–ï¼ŒåŒæ—¶é˜²æ¢ä½œå¼Šè¡Œäؓ。é‡å®šå‘å¯åˆ†ä¸ÞZ¸‰¾c»ï¼šhttp 30xé‡å®šå‘ã€?/span>meta refreshé‡å®šå‘å’Œjsé‡å®šå‘。å¦å¤–,癑ֺ¦ä¹Ÿæ”¯æŒ?/span>Canonicalæ ‡ç¾åQŒåœ¨æ•ˆæžœä¸Šå¯ä»¥è®¤ä¸ÞZ¹Ÿæ˜¯ä¸€¿U间接的é‡å®šå‘ã€?/span>
4ã€æŠ“å–优先çñ”è°ƒé…
ç”׃ºŽäº’蔾|‘资æºè§„模的巨大以劘q…速的å˜åŒ–åQŒå¯¹äºŽæœç´¢å¼•擎æ¥è¯´å…¨éƒ¨æŠ“å–到òq¶åˆç†çš„æ›´æ–°ä¿æŒä¸€è‡´æ€§å‡ 乎是ä¸å¯èƒ½çš„事情åQŒå› æ¤è¿™ž®Þp¦æ±‚抓å–ç³»¾lŸè®¾è®¡ä¸€å¥—åˆç†çš„æŠ“å–优先¾U§è°ƒé…ç–略。主è¦åŒ…括:深度优先é历½{–ç•¥ã€å®½åº¦ä¼˜å…ˆé历ç–ç•¥ã€?/span>pr优先½{–ç•¥ã€åé“„¡–ç•¥ã€ç¤¾ä¼šåŒ–分äín指导½{–ç•¥½{‰ç‰ã€‚æ¯ä¸ªç–ç•¥å„æœ‰ä¼˜åŠ£ï¼Œåœ¨å®žé™…æƒ…å†µä¸å¾€å¾€æ˜¯å¤š¿Uç–略结åˆä‹É用以辑ֈ°æœ€ä¼˜çš„æŠ“å–æ•ˆæžœã€?/span>
5ã€é‡å¤?/span>url的过æ»?/span>
spider在抓å–过½E‹ä¸éœ€è¦åˆ¤æ–ä¸€ä¸ªé¡µé¢æ˜¯å¦å·²¾l抓å–过了,如果˜q˜æ²¡æœ‰æŠ“å–冘q›è¡ŒæŠ“å–¾|‘é¡µçš„è¡Œä¸ºåÆˆæ”‘Öœ¨å·²æŠ“å–网å€é›†åˆä¸ã€‚åˆ¤æ–æ˜¯å¦å·²¾l抓å–其䏿¶‰åŠåˆ°æœ€æ ¸å¿ƒçš„æ˜¯å¿«é€ŸæŸ¥æ‰‘ÖÆˆå¯Òޝ”åQŒåŒæ—¶æ¶‰åŠåˆ°url归一化识别,例如一ä¸?/span>urlä¸åŒ…å«å¤§é‡æ— æ•ˆå‚æ•°è€Œå®žé™…是åŒä¸€ä¸ªé¡µé¢ï¼Œ˜q™å°†è§†äØ“åŒä¸€ä¸?/span>urlæ¥å¯¹å¾…ã€?/span>
6ã€æš—¾|‘æ•°æ®çš„获å–
互蔾|‘ä¸å˜åœ¨ç€å¤§é‡çš„æœç´¢å¼•æ“Žæš‚æ—¶æ— æ³•æŠ“å–到的数æ®ï¼Œè¢«ç§°ä¸ºæš—¾|‘æ•°æ®ã€‚一斚w¢åQŒå¾ˆå¤šç½‘ç«™çš„å¤§é‡æ•°æ®æ˜¯å˜åœ¨äºŽ¾|‘络数æ®åº“ä¸åQ?/span>spider难以采用抓喾|‘页的方å¼èŽ·å¾—å®Œæ•´å†…å®¹ï¼›å¦ä¸€æ–šw¢åQŒç”±äºŽç½‘¾lœçŽ¯å¢ƒã€ç½‘站本íw«ä¸½W¦åˆè§„范ã€å¤å²›ç‰½{‰é—®é¢˜ï¼Œä¹Ÿä¼šé€ æˆæœçƒ¦å¼•æ“Žæ— æ³•æŠ“å–ã€‚ç›®å‰æ¥è¯ß_¼Œå¯¹äºŽæš—网数æ®çš„获å–ä¸»è¦æ€èµ\ä»ç„¶æ˜¯é€šè¿‡å¼€æ”‘Öã^å°é‡‡ç”¨æ•°æ®æäº¤çš„æ–¹å¼æ¥è§£å†»I¼Œä¾‹å¦‚“癑ֺ¦ç«™é•¿òq›_°”“癑ֺ¦å¼€æ”‘Öã^å?/span>”½{‰ç‰ã€?/span>
7ã€æŠ“å–å作弊
spider在抓å–过½E‹ä¸å¾€å¾€ä¼šé‡åˆ°æ‰€è°“抓å–黑‹zžæˆ–者é¢ä¸´å¤§é‡ä½Žè´¨é‡™åµé¢çš„困扎ͼŒ˜q™å°±è¦æ±‚抓喾pÈ»Ÿä¸åŒæ ·éœ€è¦è®¾è®¡ä¸€å¥—完善的抓å–å作弊系¾lŸã€‚例如分æž?/span>url特å¾ã€åˆ†æžé¡µé¢å¤§ž®åŠå†…容ã€åˆ†æžç«™ç‚¹è§„模对应抓å–规模牽{‰ã€?/span>
如果大家å¯ÒŽœç´¢å¼•æ“ŽæŠ“å–还有别的疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] ã€?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆäºŒåQ‰ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《æœç´¢å¼•擎工作原ç?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆå››åQ‰ã€‹çš„全文内容... 分类: SEO入门 | Tags: æœçƒ¦å¼•擎 å·¥ä½œåŽŸç† æŠ“å–¾pÈ»Ÿ | æ·ÕdŠ è¯„è®º(0)ç›¸å…³æ–‡ç« :
]]>
spider在抓å–过½E‹ä¸é¢å¯¹ç€å¤æ‚的网¾lœçŽ¯å¢ƒï¼Œä¸ÞZº†ä½?/span>¾pÈ»Ÿå¯ä»¥æŠ“å–到尽å¯èƒ½å¤šçš„æœ‰äh倯Dµ„æºåÆˆä¿æŒ¾pÈ»ŸåŠå®žé™…环境丙åµé¢çš„ä¸€è‡´æ€§åŒæ—¶ä¸¾l™ç½‘ç«™ä½“éªŒé€ æˆåŽ‹åŠ›åQŒä¼šè®¾è®¡å¤šç§å¤æ‚的抓å–ç–略。以下简å•介¾l一下抓å–过½E‹ä¸æ¶‰åŠåˆ°çš„主覽{–ç•¥¾cÕdž‹åQ?/span>
1ã€æŠ“å–å‹å¥½æ€§ï¼šæŠ“å–压力调é…é™ä½Žå¯¹ç½‘站的讉K—®åŽ‹åŠ›
2ã€å¸¸ç”¨æŠ“å–è¿”å›žç ½Cºæ„
3ã€å¤š¿Uurlé‡å®šå‘的识别
4ã€æŠ“å–优先çñ”è°ƒé…
5ã€é‡å¤url的过æ»?/span>
6ã€æš—¾|‘æ•°æ®çš„获å–
7ã€æŠ“å–å作弊
8ã€æé«˜æŠ“å–æ•ˆçŽ‡ï¼Œé«˜æ•ˆåˆ©ç”¨å¸¦å®½
1ã€æŠ“å–å‹å¥½æ€?/span>
互蔾|‘资æºåºžå¤§çš„æ•°é‡¾U§ï¼Œ˜q™å°±è¦æ±‚抓喾pÈ»Ÿž®½å¯èƒ½çš„高效利用带宽åQŒåœ¨æœ‰é™çš„硬件和带宽资æºä¸‹å°½å¯èƒ½å¤šçš„æŠ“å–åˆ°æœ‰ä»·å€ÆDµ„æºã€‚è¿™ž®±é€ æˆäº†å¦ä¸€ä¸ªé—®é¢˜ï¼Œè€—费被抓¾|‘ç«™çš„å¸¦å®½é€ æˆè®‰K—®åŽ‹åŠ›åQŒå¦‚果程度过大将直接影å“被抓¾|‘站的æ£å¸¸ç”¨æˆ¯‚®¿é—®è¡Œä¸ºã€‚å› æ¤ï¼Œåœ¨æŠ“å–过½E‹ä¸ž®Þp¦˜q›è¡Œä¸€å®šçš„æŠ“å–压力控制åQŒè¾¾åˆ°æ—¢ä¸åª„å“网站的æ£å¸¸ç”¨æˆ·è®‰K—®åˆèƒ½ž®½é‡å¤šçš„æŠ“å–åˆ°æœ‰ä»·å€ÆDµ„æºçš„目的ã€?/span>
通常情况下,最基本的是åŸÞZºŽipçš„åŽ‹åŠ›æŽ§åˆ¶ã€‚è¿™æ˜¯å› ä¸ºå¦‚æžœåŸºäºŽåŸŸå,å¯èƒ½å˜åœ¨ä¸€ 个域å对多个ipåQˆå¾ˆå¤šå¤§¾|‘ç«™åQ‰æˆ–多个域å对应åŒä¸€ä¸?/span>ipåQˆå°¾|‘ç«™å…׃ínipåQ‰çš„问题。实际ä¸åQŒå¾€å¾€æ ÒŽ®ipåŠåŸŸåçš„å¤šç§æ¡äšg˜q›è¡ŒåŽ‹åŠ›è°ƒé…æŽ§åˆ¶ã€‚åŒæ—Óž¼Œç«™é•¿òq›_°ä¹ŸæŽ¨å‡ÞZº†åŽ‹åŠ›å馈工具åQŒç«™é•¿å¯ä»¥äh工调é…对自己¾|‘站的抓å–压力,˜q™æ—¶ç™‘Öº¦spiderž®†ä¼˜å…ˆæŒ‰ç…§ç«™é•¿çš„è¦æ±‚˜q›è¡ŒæŠ“å–压力控制ã€?/span>
对åŒä¸€ä¸ªç«™ç‚¹çš„æŠ“å–速度控制一般分ä¸ÞZ¸¤¾c»ï¼šå…¶ä¸€åQŒä¸€ŒD‰|—¶é—´å†…的抓å–频率;其二åQŒä¸€ŒD‰|—¶é—´å†…çš„æŠ“å–æµé‡ã€‚åŒä¸€ç«™ç‚¹ä¸åŒçš„æ—¶é—´æŠ“å–速度也会ä¸åŒåQŒä¾‹å¦‚夜æ·×ƒh陿œˆé»‘风高时候抓å–çš„å¯èƒ½ž®×ƒ¼šå¿«ä¸€äº›ï¼Œä¹Ÿè§†å…·ä½“站点¾cÕdž‹è€Œå®šåQŒä¸»è¦æ€æƒ³æ˜¯é”™å¼€æ£å¸¸ç”¨æˆ·è®‰K—®é«˜å³°åQŒä¸æ–的调整。对于ä¸åŒç«™ç‚¹ï¼Œä¹Ÿéœ€è¦ä¸åŒçš„æŠ“å–速度ã€?/span>
2ã€å¸¸ç”¨æŠ“å–è¿”å›žç ½Cºæ„
½Ž€å•介¾lå‡ ¿U百度支æŒçš„˜q”回ç :
1åQ?/span> 最常è§çš?/span>404代表“NOT FOUND”åQŒè®¤ä¸ºç½‘™åµå·²¾l失效,通常ž®†åœ¨åº“ä¸åˆ 除åQŒåŒæ—¶çŸæœŸå†…如果spider冿¬¡å‘现˜q™æ¡url也ä¸ä¼šæŠ“å–ï¼›
2åQ?/span> 503代表“Service Unavailable”åQŒè®¤ä¸ºç½‘™åµäÍæ—¶ä¸å¯è®¿é—®ï¼Œé€šå¸¸¾|‘站临时关é—åQŒå¸¦å®½æœ‰é™ç‰ä¼šäñ”生这¿U情å†üc€‚对于网™åµè¿”å›?/span>503状æ€ç åQŒç™¾åº?/span>spiderä¸ä¼šæŠŠè¿™æ?/span>urlç›´æŽ¥åˆ é™¤åQŒåŒæ—¶çŸæœŸå†…ž®†ä¼šåå¤è®‰K—®å‡ 次åQŒå¦‚果网™åµå·²æ¢å¤åQŒåˆ™æ£å¸¸æŠ“å–åQ›å¦‚æžœç‘ô¾lè¿”å›?/span>503åQŒé‚£ä¹ˆè¿™æ?/span>urlä»ä¼šè¢«è®¤ä¸ºæ˜¯å¤±æ•ˆé“¾æŽ¥åQŒä»Žåº“ä¸åˆ 除ã€?/span>
3åQ?/span> 403代表“Forbidden”åQŒè®¤ä¸ºç½‘™å늛®å‰ç¦æ¢è®¿é—®ã€‚如果是æ–?/span>urlåQ?/span>spideræš‚æ—¶ä¸æŠ“å–ï¼ŒçŸæœŸå†…åŒæ ·ä¼šåå¤è®‰K—®å‡ 次åQ›å¦‚果是已收å½?/span>urlåQŒä¸ä¼šç›´æŽ¥åˆ é™¤ï¼ŒçŸæœŸå†…åŒæ ·åå¤è®¿é—®å‡ ‹Æ¡ã€‚如果网™å‰|£å¸¸è®¿é—®ï¼Œåˆ™æ£å¸¸æŠ“å–;如果ä»ç„¶¼›æ¢è®‰K—®åQŒé‚£ä¹ˆè¿™æ?/span>url也会被认为是失效链接åQŒä»Žåº“ä¸åˆ 除ã€?/span>
4åQ?/span>301 代表æ˜?/span>“Moved Permanently”åQŒè®¤ä¸ºç½‘™åµé‡å®šå‘è‡Ïx–°url。当é‡åˆ°ç«™ç‚¹˜qç§»ã€åŸŸåæ›´æ¢ã€ç«™ç‚ÒŽ”¹ç‰ˆçš„æƒ…况æ—Óž¼Œæˆ‘们推è使用301˜q”回ç ï¼ŒåŒæ—¶ä½¿ç”¨ç«™é•¿òq›_°¾|‘站改版工具åQŒä»¥å‡å°‘改版对网站æµé‡é€ æˆçš„æŸå¤±ã€?/span>
3ã€å¤š¿U?/span>urlé‡å®šå‘的识别
互蔾|‘ä¸ä¸€éƒ¨åˆ†¾|‘é¡µå› äØ“å„ç§å„æ ·çš„åŽŸå› å˜åœ?/span>urlé‡å®šå‘状æ€ï¼Œä¸ÞZº†å¯¹è¿™éƒ¨åˆ†èµ„æºæ£å¸¸æŠ“å–åQŒå°±è¦æ±‚spiderå¯?/span>urlé‡å®šå‘进行识别判æ–ï¼ŒåŒæ—¶é˜²æ¢ä½œå¼Šè¡Œäؓ。é‡å®šå‘å¯åˆ†ä¸ÞZ¸‰¾c»ï¼šhttp 30xé‡å®šå‘ã€?/span>meta refreshé‡å®šå‘å’Œjsé‡å®šå‘。å¦å¤–,癑ֺ¦ä¹Ÿæ”¯æŒ?/span>Canonicalæ ‡ç¾åQŒåœ¨æ•ˆæžœä¸Šå¯ä»¥è®¤ä¸ÞZ¹Ÿæ˜¯ä¸€¿U间接的é‡å®šå‘ã€?/span>
4ã€æŠ“å–优先çñ”è°ƒé…
ç”׃ºŽäº’蔾|‘资æºè§„模的巨大以劘q…速的å˜åŒ–åQŒå¯¹äºŽæœç´¢å¼•擎æ¥è¯´å…¨éƒ¨æŠ“å–到òq¶åˆç†çš„æ›´æ–°ä¿æŒä¸€è‡´æ€§å‡ 乎是ä¸å¯èƒ½çš„事情åQŒå› æ¤è¿™ž®Þp¦æ±‚抓å–ç³»¾lŸè®¾è®¡ä¸€å¥—åˆç†çš„æŠ“å–优先¾U§è°ƒé…ç–略。主è¦åŒ…括:深度优先é历½{–ç•¥ã€å®½åº¦ä¼˜å…ˆé历ç–ç•¥ã€?/span>pr优先½{–ç•¥ã€åé“„¡–ç•¥ã€ç¤¾ä¼šåŒ–分äín指导½{–ç•¥½{‰ç‰ã€‚æ¯ä¸ªç–ç•¥å„æœ‰ä¼˜åŠ£ï¼Œåœ¨å®žé™…æƒ…å†µä¸å¾€å¾€æ˜¯å¤š¿Uç–略结åˆä‹É用以辑ֈ°æœ€ä¼˜çš„æŠ“å–æ•ˆæžœã€?/span>
5ã€é‡å¤?/span>url的过æ»?/span>
spider在抓å–过½E‹ä¸éœ€è¦åˆ¤æ–ä¸€ä¸ªé¡µé¢æ˜¯å¦å·²¾l抓å–过了,如果˜q˜æ²¡æœ‰æŠ“å–冘q›è¡ŒæŠ“å–¾|‘é¡µçš„è¡Œä¸ºåÆˆæ”‘Öœ¨å·²æŠ“å–网å€é›†åˆä¸ã€‚åˆ¤æ–æ˜¯å¦å·²¾l抓å–其䏿¶‰åŠåˆ°æœ€æ ¸å¿ƒçš„æ˜¯å¿«é€ŸæŸ¥æ‰‘ÖÆˆå¯Òޝ”åQŒåŒæ—¶æ¶‰åŠåˆ°url归一化识别,例如一ä¸?/span>urlä¸åŒ…å«å¤§é‡æ— æ•ˆå‚æ•°è€Œå®žé™…是åŒä¸€ä¸ªé¡µé¢ï¼Œ˜q™å°†è§†äØ“åŒä¸€ä¸?/span>urlæ¥å¯¹å¾…ã€?/span>
6ã€æš—¾|‘æ•°æ®çš„获å–
互蔾|‘ä¸å˜åœ¨ç€å¤§é‡çš„æœç´¢å¼•æ“Žæš‚æ—¶æ— æ³•æŠ“å–到的数æ®ï¼Œè¢«ç§°ä¸ºæš—¾|‘æ•°æ®ã€‚一斚w¢åQŒå¾ˆå¤šç½‘ç«™çš„å¤§é‡æ•°æ®æ˜¯å˜åœ¨äºŽ¾|‘络数æ®åº“ä¸åQ?/span>spider难以采用抓喾|‘页的方å¼èŽ·å¾—å®Œæ•´å†…å®¹ï¼›å¦ä¸€æ–šw¢åQŒç”±äºŽç½‘¾lœçŽ¯å¢ƒã€ç½‘站本íw«ä¸½W¦åˆè§„范ã€å¤å²›ç‰½{‰é—®é¢˜ï¼Œä¹Ÿä¼šé€ æˆæœçƒ¦å¼•æ“Žæ— æ³•æŠ“å–ã€‚ç›®å‰æ¥è¯ß_¼Œå¯¹äºŽæš—网数æ®çš„获å–ä¸»è¦æ€èµ\ä»ç„¶æ˜¯é€šè¿‡å¼€æ”‘Öã^å°é‡‡ç”¨æ•°æ®æäº¤çš„æ–¹å¼æ¥è§£å†»I¼Œä¾‹å¦‚“癑ֺ¦ç«™é•¿òq›_°”“癑ֺ¦å¼€æ”‘Öã^å?/span>”½{‰ç‰ã€?/span>
7ã€æŠ“å–å作弊
spider在抓å–过½E‹ä¸å¾€å¾€ä¼šé‡åˆ°æ‰€è°“抓å–黑‹zžæˆ–者é¢ä¸´å¤§é‡ä½Žè´¨é‡™åµé¢çš„困扎ͼŒ˜q™å°±è¦æ±‚抓喾pÈ»Ÿä¸åŒæ ·éœ€è¦è®¾è®¡ä¸€å¥—完善的抓å–å作弊系¾lŸã€‚例如分æž?/span>url特å¾ã€åˆ†æžé¡µé¢å¤§ž®åŠå†…容ã€åˆ†æžç«™ç‚¹è§„模对应抓å–规模牽{‰ã€?/span>
如果大家å¯ÒŽœç´¢å¼•æ“ŽæŠ“å–还有别的疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] ã€?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆäºŒåQ‰ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《æœç´¢å¼•擎工作原ç?æœçƒ¦å¼•擎抓喾pÈ»Ÿæ¦‚è¿°åQˆä¸‰åQ‰ã€‹çš„全文内容... 分类: SEO入门 | Tags: æœçƒ¦å¼•擎 å·¥ä½œåŽŸç† æŠ“å–¾pÈ»Ÿ | æ·ÕdŠ è¯„è®º(0)ç›¸å…³æ–‡ç« :
]]>
1ã€ç®€å•明了的¾|‘ç«™¾l“æž„
Spider抓å–相当于对web˜q™ä¸ªæœ‰å‘图进行éåŽ†ï¼Œé‚£ä¹ˆä¸€ä¸ªç®€å•æ˜Žäº†ç»“构层‹Æ¡åˆ†æ˜Žçš„¾|‘站肯定是它所喜欢çš?/span>åQŒåƈž®½é‡ä¿è¯spiderçš„å¯è¯ÀL€§ã€?/span>
åQ?åQ‰æ ‘型结æž?/span>最优的¾l“æž„å?ldquo;首页—频铗详情™å?rdquo;åQ?/span>
åQ?åQ‰æ‰òq?/span>首页到详情页的层‹Æ¡å°½é‡å°‘åQŒæ—¢å¯ÒŽŠ“å–å‹å¥½åˆå¯ä»¥å¾ˆå¥½çš„ä¼ é€’æƒé‡ã€?/span>
åQ?åQ‰ç½‘çŠ?/span>ä¿è¯æ¯ä¸ª™åµé¢éƒ½è‡³ž®‘有一个文本链接指å‘,å¯ä»¥ä½¿ç½‘站尽å¯èƒ½å…¨é¢çš„è¢«æŠ“å–æ”¶å½•åQŒå†…é“‘Ö¾è®‘ÖŒæ ·å¯¹æŽ’åºèƒ½å¤Ÿäº§ç”Ÿ¿U¯æžä½œç”¨ã€?/span>
åQ?åQ‰å¯¼èˆ?/span>为æ¯ä¸ªé¡µé¢åŠ ä¸€ä¸ªå¯¼èˆªæ–¹ä¾¿ç”¨æˆïLŸ¥æ™“所在èµ\径ã€?/span>
åQ?åQ‰ååŸŸä¸Žç›®å½•çš„é€‰æ‹©ç›æ€¿¡æœ‰å¤§æ‰¹çš„站长å¯ÒŽ¤æœ‰ç–‘é—®ï¼Œåœ¨æˆ‘ä»¬çœ‹æ¥ï¼Œå½“内容较ž®‘åÆˆä¸”å†…å®¹ç›¸å…›_º¦è¾ƒé«˜æ—¶å¾è®®ä»¥ç›®å½•形弿¥å®žçŽŽÍ¼Œæœ‰åˆ©äºŽæƒé‡çš„¾l§æ‰¿ä¸Žæ”¶æ•›ï¼›å½“内定w‡è¾ƒå¤šòq¶ä¸”与主站相兛_º¦ç•¥å·®æ—¶å¾è®®å†ä»¥ååŸŸçš„å½¢å¼æ¥å®žçްã€?/span>
2ã€ç®€‹z美观的url规则
åQ?åQ‰å”¯ä¸€æ€?/span>¾|‘ç«™ä¸åŒä¸€å†…容™åµåªä¸Žå”¯ä¸€ä¸€ä¸?/span>url相对应,˜q‡å¤šå½¢å¼çš?/span>urlž®†åˆ†æ•£è¯¥™åµé¢çš„æƒé‡ï¼Œòq¶ä¸”ç›®æ ‡url在系¾lŸä¸æœ‰è¢«æ»¤é‡çš„风险;
åQ?åQ‰ç®€‹zæ€?/span>动æ€å‚æ•°å°½é‡å°‘åQŒä¿è¯?/span>urlž®½é‡çŸï¼›
åQ?åQ‰ç¾Žè§‚æ€?/span>ä½¿å¾—ç”¨æˆ·åŠæœºå™¨èƒ½å¤Ÿé€šè¿‡urlå›_¯åˆ¤æ–出页é¢å†…容的ä¸ÀL—¨åQ?/span>
我们推è如下形å¼çš?/span>urlåQ?/span>urlž®½é‡çŸä¸”易读使得用户能够快速ç†è§£ï¼Œä¾‹å¦‚ä½¿ç”¨æ‹¼éŸ³ä½œäØ“ç›®å½•åç§°åQ›åŒä¸€å†…容在系¾lŸä¸åªäñ”生唯一çš?/span>url与之对应åQŒåŽ»æŽ‰æ— æ„ä¹‰çš„å‚æ•ŽÍ¼›å¦‚æžœæ— æ³•ä¿è¯url的唯一性,ž®½é‡ä½¿ä¸åŒåÅžå¼çš„url301到目æ ?/span>urlåQ›é˜²æ¢ç”¨æˆ¯‚¾“错的备用域å301至主域åã€?/span>
3ã€å…¶ä»–注æ„事™å?/span>
åQ?åQ‰ä¸è¦å¿½ç•¥å€’霉çš?/span>robotsæ–‡äšgåQŒé»˜è®¤æƒ…况下部分¾pÈ»Ÿrobots是尼›æœç´¢å¼•擎抓å–çš„åQŒå½“¾|‘站建立åŽåŠæ—¶æŸ¥çœ‹åƈ书写åˆé€‚çš„robotsæ–‡äšgåQŒç½‘站日常维护过½E‹ä¸ä¹Ÿè¦æ³¨æ„定期‹‚€æŸ¥ï¼›
åQ?åQ‰å¾ç«‹ç½‘ç«?/span>sitemapæ–‡äšgã€æ»é“¾æ–‡ä»Óž¼Œòq¶åŠæ—‰™€šè¿‡ç™‘Öº¦ç«™é•¿òq›_°˜q›è¡Œæäº¤åQ?/span>
åQ?åQ‰éƒ¨åˆ†ç”µå•†ç½‘ç«™å˜åœ¨åœ°åŸŸèŸ©è½¬é—®é¢˜ï¼Œæœ‰è´§æ— è´§å»ø™®®¾lŸä¸€åšæˆä¸€ä¸ªé¡µé¢ï¼Œåœ¨é¡µé¢ä¸æ ‡è¯†æœ‰æ— è´§å³å¯ï¼Œä¸è¦æ¤åœ°åŒºæ— 货峘q”å›žä¸€ä¸ªæ— æ•ˆé¡µé¢ï¼Œç”׃ºŽspider出å£çš„æœ‰é™æ€§å°†é€ æˆæ£å¸¸™åµé¢æ— 法收录ã€?/span>
åQ?åQ‰åˆç†åˆ©ç”¨ç«™é•¿åã^å°æä¾›çš„robotsã€?/span>sitemapã€çƒ¦å¼•é‡ã€æŠ“å–åŽ‹åŠ›ã€æ»é“¾æäº¤ã€ç½‘站改版ç‰å·¥å…·ã€?/span>
如果大家å¯ÒŽœç´¢æŠ“å–还有别的疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] 《å¾ç«‹ç¬¦åˆæœç´¢æŠ“å–ä¹ æƒ¯çš„¾|‘ç«™ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《如何å¾ç«‹ç¬¦åˆæœç´¢å¼•擎抓å–ç³»¾lŸä¹ 惯的¾|‘站》的全文内容... 分类: SEO入门 | Tags: æœçƒ¦æŠ“å– | æ·ÕdŠ è¯„è®º(0)
如果能知é“用æˆähŸ¥æ‰„¡š„关键è¯ï¼ˆquery切è¯åŽï¼‰éƒ½å‡ºçŽ°åœ¨å“ªäº›™åµé¢ä¸ï¼Œé‚£ä¹ˆç”¨æˆ·‹‚€ç´¢çš„处熘q‡ç¨‹å›_¯ä»¥æƒ³è±¡äؓ包å«äº?/span>queryä¸åˆ‡è¯åŽä¸åŒéƒ¨åˆ†çš„页é¢é›†åˆæ±‚交的˜q‡ç¨‹åQŒè€Œæ£€ç´¢å³å˜æˆäº†é¡µé¢å¿UîC¹‹é—´çš„æ¯”è¾ƒã€æ±‚äº¤ã€‚è¿™æ øP¼Œåœ¨æ¯«¿U’内以亿为å•ä½çš„‹‚€ç´¢æˆä¸ÞZº†å¯èƒ½ã€‚è¿™ž®±æ˜¯é€šå¸¸æ‰€è¯´çš„å€’æŽ’ç´¢å¼•åŠæ±‚交检索的˜q‡ç¨‹ã€‚å¦‚ä¸‹äØ“å»ºç«‹å€’æŽ’ç´¢å¼•çš„åŸºæœ¬è¿‡½E‹ï¼š
åQ?åQ?span>™åµé¢åˆ†æžçš„过½E‹å®žé™…上是将原始™åµé¢çš„ä¸åŒéƒ¨åˆ†è¿›è¡Œè¯†åˆ«åÆˆæ ‡è®°åQŒä¾‹å¦‚:titleã€?/span>keywordsã€?/span>contentã€?/span>linkã€?/span>anchorã€è¯„论ã€å…¶ä»–éžé‡è¦åŒºåŸŸ½{‰ç‰åQ?/span>
åQ?åQ?span>分è¯çš„过½E‹å®žé™…上包括了切è¯åˆ†è¯åŒä¹‰è¯è½¬æ¢åŒä¹‰è¯æ›¿æ¢ç‰½{‰ï¼Œä»¥å¯¹æŸé¡µé?/span>title分è¯ä¸ÞZ¾‹åQŒå¾—到的ž®†æ˜¯˜q™æ ·çš„æ•°æ®ï¼šterm文本ã€?/span>termidã€è¯¾c…R€è¯æ€§ç‰½{‰ï¼›
åQ?åQ?span>之å‰çš„准备工作完æˆåŽåQŒæŽ¥ä¸‹æ¥åÏx˜¯å»ºç«‹å€’排索引åQŒåÅžæˆ?/span>{termàdoc}åQŒå¯ä»¥ç²—略的ç†è§£ä¸ºå¦‚下,ä¸ÞZ»€ä¹ˆæ˜¯ã€?/span>term->docã€?/span>,è€Œä¸æ˜¯ç›´æŽ¥åº”用ã€?/span>doc->term】呢åQ?/span>
上述åÏx˜¯ç´¢å¼•¾pÈ»Ÿä¸çš„倒排索引˜q‡ç¨‹åQŒæ˜¯æœçƒ¦å¼•擎实现毫秒¾U§æ£€ç´¢éžå¸”R‡è¦çš„一个环节ã€?/span>
Copyright © 2008
¾l§ç®‹é˜…读《æœç´¢å¼•擎工作原ç?æœçƒ¦å¼•擎‹‚€ç´¢ç³»¾lŸæ¦‚˜qŽÍ¼ˆäºŒï¼‰ã€‹çš„全文内容...
分类: SEO入门 | Tags: æœçƒ¦å¼•擎 ‹‚€ç´¢ç³»¾l?/a> å·¥ä½œåŽŸç† | æ·ÕdŠ è¯„è®º(0)
‹‚€ç´¢ç³»¾lŸä¸»è¦åŒ…å«äº†äº”个部分åQŒå¦‚下图所½Cºï¼š
åQ?åQ‰Query串切è¯åˆ†è¯å³ž®†ç”¨æˆïLš„æŸ¥è¯¢è¯è¿›è¡Œåˆ†è¯ï¼Œå¯¹ä¹‹åŽçš„æŸ¥è¯¢åšå‡†å¤‡ï¼Œä»?ldquo;10åïLº¿åœ°é“æ•…éšœ”ä¸ÞZ¾‹åQŒå¯èƒ½çš„分è¯å¦‚下åQˆåŒä¹‰è¯é—®é¢˜æš‚时略过åQ‰ï¼š
10 0x123abc
å?/span> 0x13445d
¾U?/span> 0x234d
åœ°é“ 0x145cf
故障 0x354df
åQ?åQ‰æŸ¥å‡ºå«æ¯ä¸ªterm的文档集åˆï¼ŒåÏx‰¾å‡ºå¾…选集åˆï¼Œå¦‚下åQ?/span>
0x123abc 1 2 3 4 7 9…..
0x13445d 2 5 8 9 10 11……
……
……
åQ?åQ‰æ±‚交,上述求交åQŒæ–‡æ¡?/span>2和文æ¡?/span>9å¯èƒ½æ˜¯æˆ‘ä»¬éœ€è¦æ‰¾çš„,整个求交˜q‡ç¨‹å®žé™…上关¾pȀ整个¾pÈ»Ÿçš„æ€§èƒ½åQŒè¿™é‡Œé¢åŒ…å«äº†ä‹É用缓å˜ç‰½{‰æ‰‹ŒDµè¿›è¡Œæ€§èƒ½ä¼˜åŒ–åQ?/span>
åQ?åQ‰å„¿U过滤,举例å¯èƒ½åŒ…嫘q‡æ×o掉æ»é“¾ã€é‡å¤æ•°æ®ã€è‰²æƒ…ã€åžƒåœ„¡»“果以åŠä½ 懂的åQ?/span>
åQ?åQ‰æœ€¾lˆæŽ’åºï¼Œž®†æœ€èƒ½æ»¡‘³ç”¨æˆ·éœ€æ±‚çš„¾l“果排åºåœ¨æœ€å‰ï¼Œå¯èƒ½åŒ…括的有用信æ¯å¦‚åQšç½‘站的整体评ähã€ç½‘™åµè´¨é‡ã€å†…容质é‡ã€èµ„æºè´¨é‡ã€åŒ¹é…程度ã€åˆ†æ•£åº¦ã€æ—¶æ•ˆæ€§ç‰½{‰ï¼Œä¹‹åŽä¼šè¯¦¾l†ç»™å¤§å®¶ä»‹ç»ã€?/span>
如果大家å¯ÒŽœç´¢å¼•æ“Žæ£€ç´¢è¿˜æœ‰åˆ«çš„ç–‘é—®ï¼Œå¤§å®¶å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论]《æœç´¢å¼•擎检索系¾lŸæ¦‚˜q°ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《æœç´¢å¼•擎工作原ç?æœçƒ¦å¼•擎‹‚€ç´¢ç³»¾lŸæ¦‚˜qŽÍ¼ˆä¸€åQ‰ã€‹çš„全文内容... 分类: SEO入门 | Tags: æœçƒ¦å¼•擎 ‹‚€ç´¢ç³»¾l?/a> å·¥ä½œåŽŸç† | æ·ÕdŠ è¯„è®º(0)ç›¸å…³æ–‡ç« :
]]>
除æ¤ä¹‹å¤–åQŒä¹‹å‰è¿˜æœ‰ç«™é•¿å‘æ¥è´¨ç–‘说Baiduspider光顾˜q‡äºŽé¢‘ç¹åQŒå·²‘…è¶ŠæœåŠ¡å™¨æ‰¿å—能力。而百度站长åã^å°è¿½æŸ¥å‘玎ͼŒBaiduspider对该站点的抓å–åÆˆæ— å¼‚å¸¸ï¼Œé‚£åªspideræžæœ‰å¯èƒ½æ˜¯ä¸ªæŽé¬¼ã€?/p>
那么åQŒç«™é•¿è¯¥å¦‚何通过IPæ¥åˆ¤æ–æ¤spideræ˜¯ä¸æ˜¯æ¥è‡ªç™¾åº¦æœç´¢å¼•擎的呢?
å¯ä»¥é€šè¿‡DNSåæŸ¥æ–¹å¼æ¥è§£å†Œ™¿™ä¸ªé—®é¢˜ã€‚æ ¹æ®åã^åîC¸åŒéªŒè¯æ–¹æ³•ä¸åŒï¼Œå¦?/span>linux/windows/os三ç§òq›_°ä¸‹çš„éªŒè¯æ–ÒŽ³•分别如下åQ?/span>
1ã€?/span>åœ?/span>linuxòq›_°ä¸‹ï¼Œæ‚¨å¯ä»¥ä‹Éç”?/span>host ip命ä×oåè§£ipæ¥åˆ¤æ–æ˜¯å¦æ¥è‡?/span>Baiduspider的抓å–ã€?/span>Baiduspiderçš?/span>hostnameä»?/span> *.baidu.com æˆ?/span> *.baidu.jp çš„æ ¼å¼å‘½å,é?/span> *.baidu.com æˆ?/span> *.baidu.jp å³äؓ冒充ã€?/span>
2ã€?/span>åœ?/span>windowsòq›_°æˆ–è€?/span>IBM OS/2òq›_°ä¸‹ï¼Œæ‚¨å¯ä»¥ä‹Éç”?/span>nslookup ip命ä×oåè§£ipæ?/span> åˆ¤æ–æ˜¯å¦æ¥è‡ªBaiduspider的抓å–。打开命ä×o处ç†å™?/span> 输入nslookup xxx.xxx.xxx.xxxåQ?/span>IPåœ?/span> å€åQ‰å°±èƒ½è§£æž?/span>ipåQ?/span> æ¥åˆ¤æ–æ˜¯å¦æ¥è‡?/span>Baiduspider的抓å–,Baiduspiderçš?/span>hostnameä»?/span>*.baidu.com æˆ?/span>*.baidu.jp çš„æ ¼å¼å‘½å,é?/span> *.baidu.com æˆ?/span> *.baidu.jp å³äؓ冒充ã€?/span>
3ã€?/span>åœ?/span>mac osòq›_°ä¸‹ï¼Œæ‚¨å¯ä»¥ä‹Éç”?/span>dig 命ä×oåè§£ipæ?/span> åˆ¤æ–æ˜¯å¦æ¥è‡ªBaiduspider的抓å–。打开命ä×o处ç†å™?/span> 输入dig xxx.xxx.xxx.xxxåQ?/span>IPåœ?/span> å€åQ‰å°±èƒ½è§£æž?/span>ipåQ?/span> æ¥åˆ¤æ–æ˜¯å¦æ¥è‡?/span>Baiduspider的抓å–,Baiduspiderçš?/span>hostnameä»?/span> *.baidu.com æˆ?/span>*.baidu.jp çš„æ ¼å¼å‘½å,é?/span> *.baidu.com æˆ?/span> *.baidu.jp å³äؓ冒充ã€?/span>
如果大家对如何识别Baiduspider˜q˜æœ‰åˆ«çš„ç–‘é—®åQŒå¤§å®¶å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] 《如何识别Baiduspiderã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《百度蜘蛛识åˆ?如何识别Baiduspider IPåœ°å€ ã€‹çš„å…¨æ–‡å†…å®¹... 分类: SEO入门 | Tags: 癑ֺ¦èœ˜è›› Baiduspider | æ·ÕdŠ è¯„è®º(0)
ã€ç”】如果æŸå…¬å¸ä»Žå“ç‰Œä¿æŠ¤æˆ–é•¿è¿œå‘展角度出å‘åQŒæ³¨å†Œäº†å¤šä¸ªåŸŸååQŒä¸”多域å?01é‡å®šå‘指å‘一个常用域å,那æ¤è¡Œäؓ本èínä¸å±žäºŽä½œå¼Šã€‚但是如果进è¡?01é‡å®šå‘çš„å¤šåŸŸåæœ¬íw«æœ‰ä½œå¼Šè¡ŒäØ“åQŒé‚£ä¹ˆè¢«æŒ‡å‘çš„åŸŸåæœ‰å¯èƒ½å—到牵连ã€?/p>
ã€é—®ã€‘多个域ååŒå†…å®¹æ˜¯å¦æœ‰åˆ©äºŽæé«˜æŽ’å?
ã€ç”】æ¤ä¸ùNžå¸æ€¸åˆ©äºŽæé«˜æŽ’ååQŒå› 为多个域å会分散原本应该属于å•独域åçš„å¤–é“¾è¿›è€Œåª„å“æƒé‡ï¼Œä¸åˆ©äºŽå•独域å获得更好的排åã€?/p>
ã€é—®ã€‘我们先推个‹¹‹è¯•域ååQŒèµ°ä¸Šæ£è½¨åŽå†å¯ç”¨æ£å¼åŸŸå,会有什么媄å“å—åQ?/span>
ã€ç”】如果两个域åçš„å†…å®¹å®Œå…¨ä¸€æ øP¼Œå¯ÒŽ£å¼åŸŸå的收录å¯èƒ½ä¼šæœ‰å½±å“。æœç´¢å¼•æ“Žä¼šè®¤äØ“˜q™ä¸¤ä¸ªç½‘ç«™é‡å¤ï¼Œåœ¨å·²¾l收录了å‰è€…çš„å‰æä¸‹ï¼Œä¼šå¯¹åŽè€…é™åˆ¶æ”¶å½•。的¼‹®æ›¾¾l有æŸç†è´¢ç½‘站先æžä¸€ä¸ªäÍæ—¶åŸŸå在æœçƒ¦å¼•擎试水åQŒç»“æžœç‰æ£ç‰ŒåŸŸå上线åŽå´˜qŸè¿Ÿå¾—ä¸åˆ°æ”¶å½•的事情å‘生ã€?/p>
ã€é—®ã€‘如果公å¸å·²¾læœ‰å¤šä¸ªåŸŸåæ˜¯ç›¸åŒå†…容该怎么处ç†åQ?/p>
ã€ç”】先¼‹®è®¤ä¸€ä¸ªå¥½è®°æ˜“懂的域åä½œäØ““唯一域å”åQŒè¿›è¡Œé‡ç‚¹å®£ä¼ 推介,其余的域å也åƒä¸‡ä¸èƒ½æ”¾ä“Q自æµåQŒå°¤å…¶æ˜¯å½“测试域åå·²¾læœ‰äº†è¾ƒå¥½çš„æ”¶å½•å’ŒæŽ’ä½æ—¶åQŒå¯ä»¥è®¾¾|?01é‡å®šå‘,指å‘唯一域åã€‚åŒæ—¶ç™»å½•百度站长åã^å°å¯¹æ–°æ—§¾|‘ç«™˜q›è¡ŒéªŒè¯åQŒç„¶åŽåœ¨¾|‘站改版工具ä¸è¿›è¡Œç›¸åº”çš„æ“作åQŒå¯ä»¥è®©“唯一域唾l§æ‰¿åŽŸåŸŸå已获得的æƒé‡ã€?/p>
¾|‘站改版工具地å€åQšhttp://zhanzhang.baidu.com/rewrite/index
帮助说明åQšhttp://zhanzhang.baidu.com/wiki/106
如果大家对多域ååŒå†…容还有别的疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论] 《多域ååŒå†…容的常è§é—®é¢˜ã€?/a>讨论贴ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《多域å优化解决æ–ÒŽ³•,多域ååŒå†…容常è§é—®é¢˜ã€‹çš„全文内容... 分类: SEO资料 | Tags: 多域å?/a> | æ·ÕdŠ è¯„è®º(0)
æœçƒ¦å¼•擎为用户展现的æ¯ä¸€æ¡æœç´¢ç»“果,都对应ç€äº’蔾|‘上的一个页é¢ã€‚æ¯ä¸€æ¡æœç´¢ç»“果从产生到被æœçƒ¦å¼•擎展现¾l™ç”¨æˆøP¼Œéƒ½éœ€è¦ç»˜q‡å››ä¸ªè¿‡½E‹ï¼šæŠ“å–ã€è¿‡æ»¤ã€å¾ç«‹çƒ¦å¼•和输出¾l“æžœã€?/span>
抓å–
BaiduspideråQŒæˆ–¿U°ç™¾åº¦èœ˜è››ï¼Œä¼šé€šè¿‡æœçƒ¦å¼•擎¾pÈ»Ÿçš„计½Ž—,æ¥å†³å®šå¯¹å“ªäº›¾|‘站施行抓å–åQŒä»¥åпГå–的内容和频率倹{€‚æœç´¢å¼•擎的计算˜q‡ç¨‹ä¼šå‚考您的网站在历å²ä¸çš„表现åQŒæ¯”如内å®ÒŽ˜¯å¦èƒö够优质,是å¦å˜åœ¨å¯¹ç”¨æˆ·ä¸å‹å¥½çš„设¾|®ï¼Œæ˜¯å¦å˜åœ¨˜q‡åº¦çš„æœç´¢å¼•æ“Žä¼˜åŒ–è¡Œä¸ºç‰½{‰ã€?/span>
当您的网站äñ”生新内容æ—Óž¼ŒBaiduspider会通过互蔾|‘䏿Ÿä¸ªæŒ‡å‘该页é¢çš„链接˜q›è¡Œè®‰K—®å’ŒæŠ“å–,如果您没有设¾|®ä“Q何外部链接指å‘网站ä¸çš„æ–°å¢žå†…容,åˆ?/span>Baiduspideræ˜¯æ— æ³•å¯¹å…¶è¿›è¡ŒæŠ“å–的。对于已被抓å–过的内容,æœçƒ¦å¼•擎会对抓å–的页é¢è¿›è¡Œè®°å½•,òq¶ä¾æ®è¿™äº›é¡µé¢å¯¹ç”¨æˆ·çš„é‡è¦ç¨‹åº¦å®‰æŽ’ä¸åŒé¢‘‹Æ¡çš„æŠ“å–æ›´æ–°å·¥ä½œã€?/span>
éœ€æ‚¨è¦æ³¨æ„的是åQŒæœ‰ä¸€äº›æŠ“å–èÊYä»Óž¼Œä¸ÞZº†å„ç§ç›®çš„åQŒä¼šä¼ªè£…æˆ?/span>Baiduspiderå¯ÒŽ‚¨çš„网站进行抓å–,˜q™å¯èƒ½æ˜¯ä¸å—控制的抓å–è¡Œä¸ºï¼Œä¸¥é‡æ—¶ä¼šå½±å“到网站的æ£å¸¸˜q作ã€?/span>ç‚ÒŽ¤è¯†åˆ«Baiduspider的真ä¼?/span>ã€?/span>
˜q‡æ×o
互蔾|‘ä¸òq‰™žæ‰€æœ‰çš„¾|‘页都对用户有æ„义,比如一些明昄¡š„‹Æºéª—用户的网™åµï¼Œæ»é“¾æŽ¥ï¼Œ½Iºç™½å†…容™åµé¢½{‰ã€‚这些网™åµå¯¹ç”¨æˆ·ã€ç«™é•¿å’Œç™‘Öº¦æ¥è¯´åQŒéƒ½æ²¡æœ‰‘›_¤Ÿçš„ähå€û|¼Œå› æ¤ç™‘Öº¦ä¼šè‡ªåЍ坹˜q™äº›å†…容˜q›è¡Œ˜q‡æ×oåQŒä»¥é¿å…为用户和您的¾|‘站带æ¥ä¸å¿…è¦çš„éºÈƒ¦ã€?/span>
建立索引
癑ֺ¦å¯ÒŽŠ“å–回æ¥çš„内容会é€ä¸€˜q›è¡Œæ ‡è®°å’Œè¯†åˆ«ï¼Œòq¶å°†˜q™äº›æ ‡è®°˜q›è¡Œå‚¨å˜ä¸ºç»“构化的数æ®ï¼Œæ¯”如¾|‘页çš?/span>tagtitleã€?/span>metadescripitonã€ç½‘™åµå¤–é“‘ÖŠæè¿°ã€æŠ“å–è®°å½•ã€‚åŒæ—Óž¼Œä¹Ÿä¼šž®†ç½‘™åµä¸çš„关键è¯ä¿¡æ¯˜q›è¡Œè¯†åˆ«å’Œå‚¨å˜ï¼Œä»¥ä¾¿ä¸Žç”¨æˆähœç´¢çš„内容˜q›è¡ŒåŒšw…ã€?/span>
输出¾l“æžœ
用户输入的关键è¯åQŒç™¾åº¦ä¼šå¯¹å…¶˜q›è¡Œä¸€¾pÕdˆ—夿‚的分æžï¼Œòq¶æ ¹æ®åˆ†æžçš„¾l“论在烦引库ä¸å¯»æ‰¾ä¸Žä¹‹æœ€ä¸ºåŒ¹é…的一¾pÕdˆ—¾|‘页åQŒæŒ‰ç…§ç”¨æˆ¯‚¾“å…¥çš„å…³é”®è¯æ‰€ä½“现的需求强弱和¾|‘页的优劣进行打分,òq¶æŒ‰ç…§æœ€¾lˆçš„分数˜q›è¡ŒæŽ’列åQŒå±•现给用户ã€?/span>
¾lég¸ŠåQŒæ‚¨è‹¥å¸Œæœ›é€šè¿‡æœçƒ¦å¼•æ“Žä¸ºç”¨æˆ·å¸¦æ¥æ›´å¥½çš„体验åQ?span>éœ€è¦æ‚¨å¯¹ç½‘ç«™è¿›è¡Œä¸¥æ ¼çš„å†…å®¹å»ø™®¾åQŒä‹É之更½W¦åˆç”¨æˆ·çš„æµè§ˆéœ€æ±‚ã€‚éœ€è¦æ‚¨æ³¨æ„的是åQŒç½‘ç«™çš„å†…å®¹å»ø™®¾å§‹ç»ˆéœ€è¦è€ƒè™‘的一个问题是åQŒè¿™å¯¹ç”¨æˆäh˜¯å¦æœ‰ä»·å€¹{€?/span>
如果大家å¯V€Šç™¾åº¦æœç´¢å¼•擎基¼‹€çŸ¥è¯†ã€‹è¿˜æœ‰åˆ«çš„疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论]《百度æœç´¢å¼•擎基¼‹€çŸ¥è¯†ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 分类: SEO入门 | Tags: æœçƒ¦å¼•擎 癑ֺ¦ 基础知识 | æ·ÕdŠ è¯„è®º(0)ç›¸å…³æ–‡ç« :
]]>
ç”׃ºŽå¤§å¤šæ•?/span>web2.0建站¾pÈ»Ÿå˜åœ¨æ¼æ´žåQŒæ”»å…‹æŠ€æœ¯æˆæœ¬è¾ƒä½Žï¼Œä¸”群å‘èÊYä»¶ähæ ég½Žå»‰ï¼Œå®ÒŽ˜“被作弊者利用,˜q‘期我们å‘现大é‡web2.0站点被群å‘的垃圾信æ¯å›°æ‰°ã€‚这些垃圄¡¾¤å‘内å®ÒŽ— å”ä¸å…¥ï¼Œé™¤è®ºå›ã€åšå®¢ç‰ä¼ 统çš?/span>web2.0站点å—到困扰外,现已蔓åšg到微åšã€?/span>SNSã€?/span>B2B商情™åüc€å…¬å”R»„™åüc€åˆ†¾cÖM¿¡æ¯ã€è§†é¢‘ç«™ã€ç½‘ç›˜ç‰æ›´å¤šé¢†åŸŸå†…,甚至˜qžæ–°å…´çš„分äín½C‘ÖŒºä¹Ÿå—åˆîCº†å½±å“。从以å‰çš„论å›å¸–åã€åšå®¢æ—¥å¿—,扩展åˆîC¾›æ±‚ä¿¡æ¯é¡µã€è§†é¢‘页ã€ç”¨æˆ¯‚µ„料页åQŒè¿™äº›ä“Q何由用户填写和生æˆå†…容的地方åQŒéƒ½ä¼šè¢«ä½œå¼Šè€?/span>å‘æŽ˜åˆ©ç”¨åQŒåÅžæˆå¤§é‡çš„web2.0性质的垃åœùN¡µé¢ã€?/span>
æœçƒ¦å¼•擎在å‘çŽ?/span>web2.0性质的垃åœùN¡µé¢åŽå¿…å°†åšå‡ºç›¸åº”应对åQŒä½†å¯¹çœŸæ£æ“作群å‘的作弊è€?/span>很难有效的打击,所ä»?/span>作弊è€?/span>å®ÒŽ˜“利用web2.0站点æžä½Žæˆæœ¬ä¸”自íw«å®‰å…¨è¿™äº›ç‰¹ç‚¹ï¼Œåšå‡ºæ›´å¤šå±å®³¾|‘ç«™ã€å±å®³ç”¨æˆ—÷€å±å®Ïxœç´¢å¼•æ“Žçš„è¡ŒäØ“ã€‚è‹¥¾|‘站自èín½Ž¡ç†ä¸ä¸¥æŽ§åˆ¶ä¸åŠ›åQŒå¾ˆå®ÒŽ˜“æˆäؓ垃圾内容的温床;有些¾|‘ç«™ä¸ÞZº†çŸæœŸ‹¹é‡è€Œå¯¹åžƒåœ¾å†…容¾|®ä¹‹ä¸ç†åQŒè¿™æ— å¼‚äºŽé¥®é¸©æ¢æ¸´ã€‚网站ä¸åº”仅仅是òq›_°çš„æä¾›è€…,更应该是内容的管ç†è€…,¿U¯æž¾l´æŠ¤¾|‘站自èínè´¨é‡éžå¸¸é‡è¦ã€‚è‹¥¾|‘ç«™ä»È”±åžƒåœ¾å†…容滋长åQŒä¸ä»…会影哾|‘ç«™çš„ç”¨æˆ·ä½“éªŒï¼ŒåŒæ—¶ä¹Ÿä¼šç ´å¾|‘ç«™å£ç¢‘和自íw«å“牌å¾è®¾ï¼Œé€ æˆæ£å¸¸ç”¨æˆ·‹¹å¤±åQŒä¸¥é‡æ—¶åQŒè¿˜ä¼šä‹Éæœçƒ¦å¼•擎é™ä½Žå¯¹ç½‘站的评ähã€?/span>
对于作弊è€?/span>æ¥è¯´åQŒåœ¨web2.0站点上å‘布垃圑ֆ…容的目的ž®±æ˜¯è¢«æœç´¢å¼•擎收录,如果ä¸èƒ½è®©åžƒåœùN¡µé¢åœ¨¾|‘站和æœç´¢å¼•擎上消失åQŒä»–们ä¾ç„¶ä¼šæŒç®‹ä¸æ–åœîCñ”生更多垃圑ֆ…å®V€‚百度站长åã^å°å¸Œæœ›å’Œç«™é•¿ä¸€èµäh‰“å‡ÕdžƒåœùN¡µé¢ï¼Œå¸®åŠ©¾|‘站良性å‘展,共匾l´æŠ¤äº’蔾|‘生æ€çŽ¯å¢ƒã€?/span>
二ã€å“ªäº›å†…å®¹ä¼šè¢«ç™¾åº¦åˆ¤åˆ«äØ“åžƒåœ¾å†…å®¹
ä¸€åˆ‡å¯¹ç”¨æˆ·æ— æ„义,且会伤害用户的内容,ž®±æ˜¯åžƒåœ¾å†…容。我们æ€È»“äº†ä»¥ä¸‹å‡ ¿U比较典型的案例åQŒä»¥½Cø™¯´æ˜Žï¼š
1ã€ä¸Ž¾|‘ç«™æˆ?/span>论å›ç‰ˆå—主题ä¸ç¬¦çš„内å®?/span>
¾Ÿ¤å‘者通常都是大颿U¯ç¾¤å‘内容,多数情况下ä¸ä¼šæ³¨æ„站点åŠç‰ˆå—主题åQŒæœ‰æ—¶æˆ‘们会在视频网站ä¸è§åˆ°“XXX医院æ²È–—白癫风效果好”的内容,会在化妆å“论å›å‘现航½Iºå…¬å¸çš„虚å‡ç”µè¯åQŒä¼šåœ¨éŸ³ä¹ç½‘ç«™ä¸æ‰‘Öˆ°å•†å“推销信æ¯åQˆå½“ç„¶ä¸æ˜¯å–CD的)½{‰ç‰ã€‚对于这些主题明¼‹®çš„站点或论å›ï¼Œæ¸…ç†åžƒåœ¾å†…容的æ„义ä¸ä»…在于ä¿è¯ç½‘站体验,也是从自íw«å‘展考虑¾l´æŠ¤ç”¨æˆ·å¿ 诚度,æé«˜æ ¸å¿ƒç«žäº‰åŠ›çš„äº‹æƒ…ã€‚ä‹D例:
http://cang.baidu.com/cases99/snap/79ff52406a9358986d115dc8.html ¾|‘站主题为化妆å“åQŒå‡ºçŽ?/span>“扑ְå§?/span>”½{‰ä¸è‰¯å†…容广å‘?/span>
http://cang.baidu.com/cases99/snap/f84bec4e99508525a9e67fce.html¾|‘ç«™ä¸»é¢˜ä¸ø™§†é¢‘,出现明显商业òq¿å‘Šæ€§è´¨çš„医疗信æ?/span>
2ã€æ¬ºéª—æœç´¢å¼•擎用æˆïLš„内容
1åQ‰åžƒåœ¾ä¿¡æ¯äؓ了在众多æœçƒ¦¾l“æžœä¸è„±é¢–而出ã€å¸å¼•用æˆäh³¨æ„,通常会ä‹Éç”¨è¯±äººçš„æ ‡é¢˜åQŒæˆ–åœ¨å†…å®¹ä¸æ·ÕdР大é‡å…³é”®è¯ï¼Œæœ‰åˆ«äºŽçœŸå®žç”¨æˆ·å‘帖时使用自然è¯è¨€è¡¨è¾¾çš„æƒ…å†üc€‚ä‹D例:
http://cang.baidu.com/cases99/snap/c2c0b07346650b4d292e0368.html“优酷土豆%守望的天½I?/span>29é›?/span>”--有悖于普通用户å‘布信æ¯çš„ä¹ æƒ¯ã€?/span>
2åQ‰æœ‰äº›å¸–å内å®ÒŽ˜¯ä¸€ŒD‰|²¡æœ‰ä“Q何æ„义的文å—åQŒæˆ–è€…éšæ„?/span>采集æ¥ä¸€½‹‡æ–‡ç« ,而ä¸é—´ç©¿æ’了一些çƒé—¨å…³é”®è¯ã€‚ä‹D例:
http://cang.baidu.com/cases99/snap/c17615311d6d4531bb4b33cc.html
http://cang.baidu.com/cases99/snap/1baad31c3d640eeceb11823d.html
3åQ‰æœ‰äº›æ–‡ç« çœ‹æ ‡é¢˜ä»¥äØ“åœ¨è¯´A事,而主è¦å†…容å´åœ¨è®²BåQŒä¸”ä¸?/span>Aæ¯«æ— å…³ç³»ã€‚ä‹D例:
http://cang.baidu.com/cases99/snap/ce87d21d625937ebd9eee4c2.html
http://cang.baidu.com/cases99/snap/c17615311d6d4531bb4b33cc.html
4åQ‰å¯¹äºŽè§†é¢‘音频网站æ¥è¯ß_¼Œæ— è®ºå†…å®¹ä¸Šä¼ è€…æ˜¯å¦äØ“æ¶æ„åQŒåªè¦è§†é¢‘或音频文äšgä¸èƒ½æ»¡èƒöç”¨æˆ·éœ€æ±‚æˆ–è€…ä¸Žæ ‡é¢˜æ‰€˜qîC¸½W¦éƒ½åº”该清除掉。ä‹D例:
http://cang.baidu.com/cases99/snap/c8ea73b9a98c51205104b3c1.htmlåQŒå®žé™…视频åã^å‡ä¸‘?/span>1分钟
http://cang.baidu.com/cases99/snap/1e7b322fb94512c064e0fec0.html 视频内嵌入了è”系方å¼åQŒåä¸ÞZ»‹¾læ¦è‰ºï¼Œå®žé™…是在推广å¦ä¸€è‰ÞZhåQŒè§†é¢‘ç«™ç‚ÒŽˆä¸ºå…¶å…费的推òq¿åã^å°ã€?/span>
3ã€æ¬ºéª—网站诈å–分å¸å¼òq¿å‘Šæ”¶ç›Šçš„内å®?/span>
部分web2.0站点ä¸ÞZº†é¼“åŠ±ç”¨æˆ·ä¸Šä¼ å†…å®¹åQŒä¼šè®¾è®¡ä¸€å¥—现金鼓励机åˆÓž¼Œæ¯”如视频¾|‘ç«™åQŒæ ¹æ®è§†é¢‘å‰é¢çš„òq¿å‘Šå±•çŽ°é‡æ¥è®¡ç®—用户收益åQŒå°‘数分æˆç”¨æˆ·ä¼šé‡‡å–ä¸€äº›ä¸æ£å½“的手ŒDµä»Žæœçƒ¦å¼•擎骗喋¹é‡åQŒä»Žç«™æ–¹è¯ˆå–åˆ†æˆæ”¶ç›Šã€‚如大é‡ä¸Šä¼ çŸå°è§†é¢‘åQŒåƈ在视频网™åµä¸Šå †ç§¯è¯×ƒh的关键è¯ã€?/span>
4ã€æ¶æ„利ç”?/span>web2.0¾|‘ç«™ä¸ø™‡ªå·±åšæŽ¨å¹¿ã€è°‹¼›åˆ©çš„内å®V€‚ä‹D例:
http://cang.baidu.com/cases99/snap/16107c3e4e885c024d29ed38.html
http://cang.baidu.com/cases99/snap/1e7b322fb94512c064e0fec0.html
视频内嵌入了è”系方å¼åQŒåä¸ÞZ»‹¾læ¦è‰ºï¼Œå®žé™…是在推广å¦ä¸€è‰ÞZhåQŒè§†é¢‘ç«™ç‚ÒŽˆä¸ºå…¶å…费的推òq¿åã^å°ã€?/span>
5ã€æœ‰˜q法律法规的ä¸è‰¯ä¿¡æ¯åQŒå¦‚诈骗ä¸å¥–è”系方å¼ã€è™šå‡è”¾pÈ”µè¯ã€ä¸è‰¯ä¿¡æ¯ã€‚ä‹D例:
http://cang.baidu.com/cases99/snap/79ff52406a9358986d115dc8.html
http://cang.baidu.com/cases99/snap/30c36a2b013ae249aacfbc3e.html
http://cang.baidu.com/cases99/snap/af71c5ec8b83e2eed1cb783d.html
http://cang.baidu.com/cases99/snap/f4633d781c76393f9b11343d.html
三ã€ç½‘站管ç†å‘˜é¢å¯¹åžƒåœ¾å†…容åQŒå¦‚何应å¯?/strong>
å‡ÞZºŽå¯¹ç½‘站自íw«å‘展的考虑åQŒäؓ了ä‹Éæœçƒ¦å¼•擎能够æä¾›æ›´åŠ å…¬åã^的结果,ä¸ÞZº†¾l´æŠ¤äº’蔾|‘生æ€çŽ¯å¢ƒï¼Œä»¥åŠ¾l™ç½‘æ°‘æä¾›æ›´å¥½çš„上网体验åQŒæˆ‘们认ä¸?/span>web2.0站点æˆ?/span>论å›ç‰ˆå—里å˜åœ¨ä¸Š˜q°å†…å®ÒŽ˜¯éžå¸¸ä¸åˆé€‚çš„åQŒç½‘站管ç†å‘˜åº”对垃圾内容˜q›è¡Œé‡ç‚¹æ¸…ç†åQŒå¯ä»¥é‡‡å–以下措施:
1ã€åˆ 除垃圑ֆ…容,òq¶å°†˜q™äº›™åµé¢è®„¡½®ä¸?/span>404™åµé¢åŽï¼ŒåŠæ—¶é€šè¿‡ç™‘Öº¦ç«™é•¿òq›_°çš„æ»é“‘Ö·¥å…äh交æ»é“‘Öˆ—表。ä¸ä»…ä×o癑ֺ¦å¯¹ç«™ç‚¹çš„自我清ç†è¡ŒäØ“åŠæ—¶å“应åQŒæ›´æ–¹ä¾¿ç«™ç‚¹ä¸ÕdŠ¨æŽ§åˆ¶¾|‘站内容在æœç´¢å¼•擎的呈现情况ã€?/span>
2ã€æé«˜æ³¨å†Œç”¨æˆ·é—¨æ§›ï¼Œé™åˆ¶æœºå™¨æ³¨å†Œ
1åQ‰ç¾¤å‘èÊY仉™€šå¸¸ä½¿ç”¨è‡ªåŠ¨çš„ç¨‹åºæŽ¢‹¹‹è®ºå›é»˜è®¤çš„æ³¨å†Œæ–‡äšgåã€å‘帖文件å。管ç†å‘˜å¯ä»¥ä¸å®šæœŸçš„修改注册用户文äšgåã€å‘帖文件ååQ›æ³¨å†Œã€å‘帖按钮ä‹É用图片;与程åºé»˜è®¤çš„ä¸åŒåQŒå¯ä»¥é˜²æ¢è¢«è‡ªåЍ½E‹åºæœçƒ¦åˆ°ã€?/span>
2åQ‰å‘å¸–æœºé€šå¸¸æ˜¯æœºå™¨æ³¨å†Œï¼Œè¡ŒäØ“æ¨¡å¼å•一。管ç†å‘˜å¯æ·»åŠ ä¸€äº›éœ€è¦ähå·¥æ“作的æ¥éª¤åQŒæœ‰åŠ©äºŽé™åˆ¶æœºå™¨æ³¨å†Œã€?/span> 如:使用验è¯ç ï¼›é™åˆ¶åŒä¸€é‚®ç®±æ³¨å†ŒID的数é‡ï¼ŒåŒæ—¶å¯ç”¨é‚®ç®±éªŒè¯åQ›ä‹Éç”¨æ›´ä¸ºå¤æ‚çš„éªŒè¯æœºåˆ¶åQ›ç»å¸¸æ›´æ¢æ³¨å†Œé—®½{”ã€?/span>
3åQ‰é™¤äº†åœ¨æ³¨å†Œå¤„设¾|®é—¨æ§›å¤–åQŒè¿˜å¯ä»¥æŽ§åˆ¶æ–°ç”¨æˆähƒé™ã€‚å¦‚è¦æ±‚完æˆä¸Šä¼ 头åƒã€å®Œå–„用户信æ¯ç‰äººå·¥æ“作æ¥éª¤åŽæ‰å¼€æ”‘֑帖功能;在一定时间内é™åˆ¶æ–°ç”¨æˆ·å‘帖;é™åˆ¶æ–°ç”¨æˆ·å‘布带链接的帖å,待达åˆîC¸€å®šçñ”别åŽå†æ”¾å¼€ã€?/span>
3ã€ä¸¥æŽ§æœºå™¨å‘帖行为,如ä‹É用验è¯ç ã€é™åˆ¶çŸæ—‰™—´å†…连¾lå‘帖ç‰ã€?/span>
4ã€å¾ç«‹é»‘å啿œºåˆ¶åQŒå°†¾Ÿ¤å‘常用è¯ã€å¹¿å‘Šç”µè¯å’Œ¾|‘倽{‰åР入黑åå•åQŒå¯¹å«æœ‰é»‘åå•内容的帖å˜q›è¡Œé™åˆ¶æˆ–清除。黑åå•åº”è¯¥ä¸æ–¾l´æŠ¤åQŒä»¥å ‰|ˆªåŽŸæœ‰åžƒåœ¾è¯æ±‡å‘生å˜åÅžå’Œæ–°ç”Ÿåžƒåœ¾è¯æ±‡ã€?/span>
5ã€å¯¹ç«™å†…的异常进行监控。å‘现注册é‡ã€å¸–åæ•°åQŒç”šè‡³ç«™ç‚ÒŽµé‡çˆ†å¢žåŽåQŒåŠæ—¶å‘çŽ°å’ŒæŸ¥æ‰¾åŽŸå› ã€?/span>
6ã€å¯¹ç«™ç‚¹å†…用æˆïLš„è¡ŒäØ“˜q›è¡Œç›‘控
1åQ‰éƒ¨åˆ†å¼‚常用æˆïLš„ID¾l“æž„æœ‰åˆ«äºŽæ™®é€šç”¨æˆøP¼Œå¦‚ä‹Éç”¨æ— æ„ä¹‰çš„å—æ¯æ•°å—ã€æˆ–å‡ ä¸ªå•个汉å—çš„æ— åºç»„åˆï¼Œå¦‚:gtu4gn6dy1ã€è¶æ·‘ç´åQ›ä‹É用商业è¯ä½œäØ“IDåQŒå¦‚åQšèáu承天åœ?/span>7ã€?/span>hangkongfuwu123ã€?/span>
2åQ‰å‘布内定w—´éš”过çŸ?/span>
3åQ‰å‘布的内容¾l大部分éžå¸¸¾cÖM¼¼
4åQ‰å‘布的大部分内定w‡Œå«æœ‰¾cÖM¼¼çš„特å¾ï¼Œå¦‚æŸä¸ªç½‘å€ã€ç”µè¯ã€?/span>QQåïL ½{‰è”¾pÀL–¹å¼?/span>
7ã€ä¸å…许å‘å¸ƒå¸¦æœ‰å¯æ‰§è¡Œä»£ç 的内容åQŒé¿å…å¼¹½H—ã€èŸ©è½¬ç‰ä¸¥é‡å½±å“用户体验的情况å‘生ã€?/span>
8ã€å¯¹éƒ¨åˆ†web2.0ä½ç½®æåŠçš„链接,使用“nofollow”˜q›è¡Œæ ‡è®°åQŒå¦‚åQ?/span>bbs½{‘Ö内的链接ã€?/span>BLOG回å¤ID自置的链æŽ?/span>http://cang.baidu.com/spamcase/snap/a3103920926c494f0e3030ad.html 
9ã€è®ºå›ä¸çš„广告ã€çŒæ°´ç‰ˆå—ï¼Œå»ø™®®åŠ ä¸Šæƒé™é™åˆ¶åQŒæˆ–è€…ç¦æ¢æœç´¢å¼•擎收录ã€?/span>
10ã€å…³æ³¨å¾ç«™ç¨‹åºçš„安全更新åQŒåŠæ—¶å®‰è£…è¡¥ä¸ç¨‹åºã€‚ä¿éšœç”¨æˆ¯‚ÌŽå·å®‰å…¨ï¼Œé¿å…å‘生盗用æ£å¸¸ç”¨æˆ·è´¦å·æˆ–åŽ†å²æ²‰å¯‚用戯‚ÌŽå·å‘布垃圑ֆ…容的情况å‘生ã€?/span>
如果大家å¯V€ŠWeb2.0å垃圾详¾l†æ”»ç•¥ã€‹è¿˜æœ‰åˆ«çš„疑问,大家å¯ä»¥åˆ°[å¦é™¢åŒå¦æ±‡][å¦ä¹ 讨论]《Web2.0å垃圾详¾l†æ”»ç•¥ã€?/a>讨论帖ä¸å‘表自己的看法,我们的工作äh员会å…Ïx³¨˜q™é‡Œòq¶ä¸Žå¤§å®¶˜q›è¡ŒæŽ¢è®¨ã€?/p> Copyright © 2008 ¾l§ç®‹é˜…读《Web2.0å垃圾详¾l†æ”»ç•?癑ֺ¦åˆ¤åˆ«ä¸ºåžƒåœ‘Ö†…å®ÒŽ¡ˆä¾‹ã€‹çš„全文内容... 分类: SEO资料 | Tags: Web2.0 | æ·ÕdŠ è¯„è®º(0)