搜索引擎蜘蛛是通過(guò)鏈接地址來(lái)尋找網(wǎng)頁(yè)的。
搜索引擎蜘蛛名稱隨搜索引擎的不同而不同。那它的原理是由一個(gè)起始鏈接開始抓取網(wǎng)頁(yè)內(nèi)容，同時(shí)也采集網(wǎng)頁(yè)上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環(huán)，直到達(dá)到某個(gè)停止條件后才會(huì)停止。停止條件的設(shè)定通常是以時(shí)間或是數(shù)量為依據(jù)，可以通過(guò)鏈接的層數(shù)來(lái)限制網(wǎng)絡(luò)蜘蛛的爬取。
同時(shí)頁(yè)面信息的重要性為客觀因素決定了蜘蛛對(duì)該網(wǎng)站頁(yè)面的檢索。站長(zhǎng)工具中的搜索引擎蜘蛛模擬器其實(shí)它就是這個(gè)原理?；谶@蜘蛛工作原理，站長(zhǎng)都會(huì)不自然的增加頁(yè)面關(guān)鍵詞出現(xiàn)次數(shù)，雖然對(duì)密度產(chǎn)生量的變化，但對(duì)蜘蛛而言并沒(méi)達(dá)到一定的變化。這在搜索引擎優(yōu)化過(guò)程中應(yīng)該要避免的。
由國(guó)外37名優(yōu)秀的SEO界高手共同參與，以投票形式評(píng)論影響Google排名的重要因素，此次評(píng)選非常有價(jià)值，盡管沒(méi)有將200多個(gè)Google排名因素全部列出，但Google排名算法中90%-95%的重要成分已經(jīng)包含在其中了。
排名 得分 分類 詳細(xì)說(shuō)明
1 關(guān)鍵詞
（1）關(guān)鍵詞在網(wǎng)站TITLE上的使用
（2）關(guān)鍵詞在網(wǎng)頁(yè)內(nèi)容上的應(yīng)用
（3） 頁(yè)面內(nèi)容和關(guān)鍵詞的相關(guān)性（語(yǔ)義分析）
（5） 關(guān)鍵詞在網(wǎng)站域名中的使用
（6） 關(guān)鍵詞在頁(yè)面URL中的使用
（7） 關(guān)鍵詞在H2、H3等Headline標(biāo)簽中的使用
（8） 圖片的關(guān)鍵詞優(yōu)化
（9） 關(guān)鍵詞在Meta Description中的使用
（10） 關(guān)鍵詞在Meta Keywords中的使用
2 外部鏈接
（1）外部鏈接的錨文字
（2） 外部鏈接頁(yè)面本身的鏈接流行度
（3） 外部鏈接頁(yè)面的主題性
（4） 外部鏈接頁(yè)面在相關(guān)主題的網(wǎng)站社區(qū)中的鏈接流行度
（5） 鏈接的年齡
（6） 鏈接的周圍文字
（7） 同域名下外部鏈接頁(yè)面的鏈接流行度
（8） 外部鏈接的創(chuàng)建和更新時(shí)間
（9）外部鏈接網(wǎng)站域名的特殊性
（10） 外部鏈接網(wǎng)站的PR值
3 網(wǎng)站品質(zhì)
（1） 網(wǎng)站的外部鏈接流行度、廣泛度
（2） 域名年齡（從被搜索引擎索引開始計(jì)算）
（4）網(wǎng)站在主題相關(guān)的網(wǎng)站群中的鏈接流行度
（5） 網(wǎng)站新外部鏈接產(chǎn)生的速率
（6） 網(wǎng)站收錄數(shù)量
（7） 用戶查詢的關(guān)鍵詞與網(wǎng)站主題的相關(guān)性（防止Google bombing）
（9） Google的人工授予權(quán)重
（10） 域名的特殊性（.edu .gov等）
（12） 用戶搜索網(wǎng)站的次數(shù)
（13） 網(wǎng)站是否通過(guò)Google Webmaster Central的認(rèn)證
4 頁(yè)面質(zhì)量
（1）網(wǎng)站內(nèi)部鏈接結(jié)構(gòu)
（2） 導(dǎo)出鏈接的質(zhì)量和相關(guān)性
（3） 頁(yè)面的年齡
（4） 頁(yè)面內(nèi)容的質(zhì)量
（5） 網(wǎng)站的結(jié)構(gòu)層次
（6） URL中“/”符號(hào)的出現(xiàn)次數(shù)
（7） 拼寫和語(yǔ)法的正確性
（8） HTML代碼是否通過(guò)W3C認(rèn)證
7 針對(duì)百度的SEO優(yōu)化
負(fù)面因素
排名 得分 詳細(xì)說(shuō)明
1、服務(wù)器經(jīng)常無(wú)法響應(yīng)；
2 、與Google已經(jīng)收錄的內(nèi)容高度重復(fù)；
3 、鏈向低質(zhì)量或垃圾站點(diǎn)；
4 、網(wǎng)站大量頁(yè)面存在重復(fù)的META標(biāo)簽；
5 、過(guò)分堆砌關(guān)鍵詞；
6 、參與鏈接工廠或大量出售鏈接；
7 、服務(wù)器響應(yīng)時(shí)間非常慢；
8 、網(wǎng)頁(yè)主要META更改頻率過(guò)高；
9 、非常低的流量，用戶行為反映差；
把頁(yè)分成小組
H1(由主要關(guān)鍵詞組成) 在每頁(yè)唯一使用的一個(gè)H1標(biāo)簽
H2(相似的分題重復(fù)主要關(guān)鍵詞短語(yǔ))段落
H2(另外的一個(gè)次要主題用一些相似或重疊的變種關(guān)鍵詞))段落
H2(有時(shí)一些分標(biāo)題沒(méi)有關(guān)鍵詞，但是大多數(shù)也做成H2的標(biāo)題)段落
STRONG標(biāo)簽用于站長(zhǎng)們文章內(nèi)容的關(guān)鍵詞突出顯示
通常副標(biāo)題將會(huì)把重心集中在一個(gè)些較長(zhǎng)的關(guān)鍵詞短語(yǔ)，特別要超過(guò)主標(biāo)題,但是也將會(huì)包含一些與主標(biāo)題相同的詞組。另外描寫的副標(biāo)題也要改進(jìn)站長(zhǎng)們的網(wǎng)站的瀏覽效率和可用性。
建議每頁(yè)使用一個(gè)H1標(biāo)簽，用其他的字組文本輔助關(guān)鍵詞構(gòu)成那標(biāo)題標(biāo)簽中的信息。
大部分的網(wǎng)站以HTML格式存在，對(duì)于索引來(lái)說(shuō)，只需要處理文本信息。因此需要把網(wǎng)頁(yè)中內(nèi)容提取出來(lái)，再過(guò)濾一些腳本如JS等以廣告形式存在的內(nèi)容，同時(shí)記錄文本的版面格式信息，網(wǎng)頁(yè)處理主要包括4個(gè)方面：關(guān)鍵詞的提取，重復(fù)，轉(zhuǎn)載的消除，鏈接分析，和網(wǎng)頁(yè)重要度計(jì)算，關(guān)鍵詞是怎么提取的，由于HTML 網(wǎng)頁(yè)來(lái)源多樣性，內(nèi)容比較隨意，新人SEO且不講究規(guī)范，工整，包含了許多無(wú)關(guān)的信息，中文網(wǎng)頁(yè)用到了詞典和切詞軟件，不應(yīng)該在文本中出等詞，稱為停用詞，有效詞語(yǔ)要保證在200左右。
1.標(biāo)題標(biāo)簽中第一個(gè)字或者詞使用關(guān)鍵詞
2.域名中含有關(guān)鍵詞
3.H 1標(biāo)簽使用了關(guān)鍵詞
4.頁(yè)面上導(dǎo)出內(nèi)部鏈接錨文字中使用了關(guān)鍵詞
5.頁(yè)面上導(dǎo)出外部鏈接錨文字中使用了關(guān)鍵詞
6.頁(yè)面前50-100個(gè)可見(jiàn)文字中使用了關(guān)鍵詞
7.子域名中包含關(guān)鍵詞
8.目錄名中還有關(guān)鍵詞
9.其他正文標(biāo)題（H2、H3）中使用了關(guān)鍵詞
常見(jiàn)術(shù)語(yǔ)
鏈接場(chǎng)（Link Farm）
在 SEO 術(shù)語(yǔ)中，鏈接場(chǎng)是指一個(gè)充滿鏈接的頁(yè)面，這些鏈接其實(shí)沒(méi)有實(shí)際作用，它們只作為鏈接存在，而沒(méi)有任何實(shí)際的上下文。那些采用運(yùn)用黑帽 SEO 方法的人利用鏈接場(chǎng)，在一個(gè)頁(yè)面中增加大量鏈接，希望能通過(guò)這種方式使 Google 誤認(rèn)為這個(gè)頁(yè)面很有鏈接的價(jià)值。
交互鏈接（Reciprocal Link）
也稱作雙向鏈接，是對(duì)一個(gè)網(wǎng)頁(yè)不光有超文本鏈接，同時(shí)對(duì)應(yīng)有和原始網(wǎng)頁(yè)的鏈接。
有機(jī)列表（Organic Listing）
有機(jī)列表是 SERP 中的免費(fèi)列表。有機(jī)列表的 SEO 通常涉及改進(jìn) Web 站點(diǎn)的實(shí)際內(nèi)容，這往往是在頁(yè)面或基礎(chǔ)架構(gòu)級(jí)別進(jìn)行的。
PageRank
PageRank是迷戀Google的人們用來(lái)測(cè)試其站點(diǎn)在 Google 中的排名的一種度量標(biāo)準(zhǔn)。SEO 和搜索引擎營(yíng)銷（SEM）專家也使用這個(gè)術(shù)語(yǔ)描述網(wǎng)頁(yè)在 SERP 中的排名以及 Google 根據(jù)排名算法給予站點(diǎn)的分?jǐn)?shù)。無(wú)論如何定義，PageRank 都是 SEO 的重要部分。
付費(fèi)列表（Paid Listing）
顧名思義，付費(fèi)列表就是只有在付費(fèi)后才能列入搜索引擎的服務(wù)。根據(jù)搜索引擎的不同，付費(fèi)列表可能意味著：為包含于索引之中、每次點(diǎn)擊（PPC）、贊助商鏈接（Sponsored Link）或者在搜索目標(biāo)關(guān)鍵詞和短語(yǔ)時(shí)讓站點(diǎn)出 SERP 中的其他方式而付費(fèi)。
永久重定向（Permanent Redirect）
也被稱為301 重定向，是一條對(duì)網(wǎng)站瀏覽器的指令來(lái)顯示瀏覽器被要求顯示的不同的URL，當(dāng)一個(gè)網(wǎng)頁(yè)經(jīng)歷過(guò)其URL 的最后一次變化以后時(shí)使用。一個(gè)永久定向是一種服務(wù)器端的重定向，能夠被搜索引擎蜘蛛適當(dāng)?shù)靥幚怼?/p>
排名（Ranking）
排名是頁(yè)面在目標(biāo)關(guān)鍵詞的SERP中列出的位置。SEO 的目標(biāo)是提高 Web 頁(yè)面針對(duì)目標(biāo)關(guān)鍵詞的排名。
排名算法（Ranking Algorithm）
排名算法是搜索引擎用來(lái)對(duì)其索引中的列表進(jìn)行評(píng)估和排名的規(guī)則。排名算法決定哪些結(jié)果是與特定查詢相關(guān)的。
搜索引擎營(yíng)銷（Search Engine Marketing，SEM）
SEM 這個(gè)術(shù)語(yǔ)可以與 SEO 互換使用，但 SEM 常常是指通過(guò)付費(fèi)和廣告向搜索引擎推銷 Web 站點(diǎn)，同時(shí)應(yīng)用 SEO 技術(shù)。
搜索引擎優(yōu)化（Search Engine Optimization，SEO）
SEO 就是根據(jù)對(duì)搜索引擎的吸引力和可見(jiàn)性來(lái)優(yōu)化內(nèi)容，從而使 Web 頁(yè)面能夠被搜索引擎選中。SEO 主要用來(lái)提高有機(jī)列表的排名。
搜索引擎結(jié)果頁(yè)面（Search Engine Results Page，SERP）
SERP 是為特定搜索顯示的列表或結(jié)果。SERP 有時(shí)候定義為搜索引擎結(jié)果的安排（placement）。根據(jù)本系列的目的，我將其稱為頁(yè)面而不是安排。在SEO領(lǐng)域中，在SERP中取得良好的表現(xiàn)就是一切。
垃圾技術(shù)（Spamming）
垃圾技術(shù)是一種欺詐性的SEO手段，它嘗試欺騙爬行器（Spider），并利用排名算法中的漏洞來(lái)影響針對(duì)目標(biāo)關(guān)鍵詞的排名。垃圾技術(shù)可以表現(xiàn)為多種形式，但是 “垃圾技術(shù)” 最簡(jiǎn)單的定義是 Web 站點(diǎn)用來(lái)偽裝自己并影響排名的任何技術(shù)。
關(guān)鍵字隱密字 （Hidden Text With Keyword Stuffing）
是另外一欺騙搜索引擎的做法。通常是指設(shè)置關(guān)鍵字的顏色和網(wǎng)頁(yè)背景顏色一樣，或通過(guò) CSS Hidden Attribute （隱密特性） 來(lái)達(dá)到優(yōu)化效果。這種做法一旦被Google發(fā)現(xiàn)，遭遇也會(huì)是該站點(diǎn)從Google的數(shù)據(jù)庫(kù)中除名。
爬行器（Spider）
爬行器在 Web 上漫游，尋找要添加進(jìn)搜索引擎索引中的列表。爬行器有時(shí)也稱為 Web 爬行榜（Webcrawler）或機(jī)器人。針對(duì)有機(jī)列表優(yōu)化頁(yè)面也就是為了吸引爬行器的注意。
在SEO中過(guò)多使用flash和Ajax技術(shù)，會(huì)給搜索引擎帶來(lái)很多麻煩,搜索引擎還不能很好地索引由flash、ajax表現(xiàn)的網(wǎng)頁(yè),原因就是搜索引擎只索引頁(yè)面,而不會(huì)索引應(yīng)用程序。
還有即使搜索引擎做到了完全解釋Flash文件或者ajax應(yīng)用程序，并能分析和索引它們的相關(guān)內(nèi)容，也還是沒(méi)有任何辦法使用url導(dǎo)航應(yīng)用程序，對(duì)排名沒(méi)有一點(diǎn)幫助。搜索引擎的主要目標(biāo)的是將搜索結(jié)果提交給用戶，但當(dāng)處理這些媒體信息時(shí)，搜索引擎將無(wú)法排列這些信息的順序。總之，F(xiàn)lash和Ajax將會(huì)帶來(lái)更多有創(chuàng)意的設(shè)計(jì)，也會(huì)帶來(lái)更難偵測(cè)的垃圾網(wǎng)站形式。
谷歌索引的Flash，給的建議就是，網(wǎng)站設(shè)計(jì)者應(yīng)該僅在需要使用Flash和 Ajax的地方使用它，應(yīng)該主要還是多使用HTML語(yǔ)言設(shè)計(jì)網(wǎng)站，而將Flash和Ajax作為輔助技術(shù)，為用戶提供切實(shí)的好處。通常，HTML和 JavaScript的混合也基本可以達(dá)到使用這些技術(shù)的效果。也就是說(shuō)，在使用Flash和Ajax時(shí)應(yīng)把它們當(dāng)成頁(yè)面上的單元，而不是頁(yè)面本身。
Link Popularity 網(wǎng)站的鏈接廣泛度。
在搜索引擎排名中的作用已得到廣泛的認(rèn)同和重視。實(shí)際上，即使站長(zhǎng)們沒(méi)有在GOOGLE上提交站長(zhǎng)們的站點(diǎn)，但與其它網(wǎng)站作了鏈接，Google也可能收錄站長(zhǎng)們的網(wǎng)站。搜索引擎還可能完全依據(jù)站長(zhǎng)們的鏈接廣泛度決定站長(zhǎng)們的網(wǎng)站排名。
External Links外部鏈接：本網(wǎng)站外部的鏈接，一般是指其他網(wǎng)站連到本網(wǎng)站的鏈接
Backward Links或Incoming/Inbound Links反向/導(dǎo)入鏈接：意義與“外部鏈接”接近，指其他網(wǎng)站連到本網(wǎng)站的鏈接
Search Engine Positioning 搜索引擎定位
Search Engine Ranking 搜索引擎排名
External Files外部文件存儲(chǔ)
把JavaScript文件和CSS文件分別放在JS和CSS外部文件中。這樣做的好處是把重要的頁(yè)面內(nèi)容放到頁(yè)面頂部，同時(shí)能縮小文件大小。有利于搜索引擎快速準(zhǔn)確地抓取頁(yè)面重要內(nèi)容。
ROBOTS 搜索機(jī)器人
Affiliate Marketing 聯(lián)屬網(wǎng)絡(luò)營(yíng)銷（會(huì)員制營(yíng)銷、網(wǎng)站聯(lián)盟等）
聯(lián)屬網(wǎng)絡(luò)營(yíng)銷 指的是一種網(wǎng)站A為網(wǎng)站B放置廣告按鈕，然后從為網(wǎng)站B帶來(lái)的銷售額中獲得回傭的一種廣告系統(tǒng)。某些廣告主通過(guò)這種方式獲得市場(chǎng)信息而不是現(xiàn)金銷售。這種方式被營(yíng)銷費(fèi)用比較緊張的新網(wǎng)站采用得比較普遍。
聯(lián)屬網(wǎng)絡(luò)營(yíng)銷管理系統(tǒng)記錄每個(gè)客人在聯(lián)屬會(huì)員網(wǎng)站上點(diǎn)擊到商家網(wǎng)站的文字的或者圖片的鏈接（或者Email鏈接）次數(shù)，商家（Merchant）按每個(gè)點(diǎn)擊多少錢的方式支付廣告費(fèi)。
Cost-Per-Lead （簡(jiǎn)稱CPL）或Cost-Per-Acquisition （簡(jiǎn)稱CPA）
按引導(dǎo)數(shù)付費(fèi)或訪問(wèn)者通過(guò)聯(lián)屬會(huì)員的鏈接進(jìn)入商家網(wǎng)站后，如果填寫并提交了某個(gè)表單，管理系統(tǒng)就會(huì)產(chǎn)生一個(gè)對(duì)應(yīng)給這個(gè)聯(lián)屬會(huì)員的引導(dǎo)（Lead）記錄，商家按引導(dǎo)記錄數(shù)給會(huì)員付費(fèi)。
商家只在聯(lián)屬會(huì)員的鏈接介紹的客人在商家網(wǎng)站上產(chǎn)生了實(shí)際的購(gòu)買行為后（大多數(shù)是在線支付）才給聯(lián)屬會(huì)員付費(fèi)，一般是設(shè)定一個(gè)傭金比例（銷售額的10%到50%不等）。
Pay For Performance （按效果付費(fèi)）
聯(lián)屬營(yíng)銷按效果付費(fèi)的營(yíng)銷方式無(wú)論對(duì)于商家還是聯(lián)屬會(huì)員都是比較容易接受的。由于網(wǎng)站的自動(dòng)化流程越來(lái)越完善，在線支付系統(tǒng)也越來(lái)越成熟，越來(lái)越多的聯(lián)屬網(wǎng)絡(luò)營(yíng)銷系統(tǒng)采用按銷售額付費(fèi)的方法。由于這種方法對(duì)商家來(lái)說(shuō)是一種零風(fēng)險(xiǎn)的廣告分銷方式，商家也愿意設(shè)定比較高的傭金比例，這樣就使得這種方式的營(yíng)銷系統(tǒng)被越來(lái)越多地采用。
Full Text Search Engine 全文搜索引擎
Search Index/Directory 目錄索引類搜索引擎
META Search Engine 元搜索引擎
Spider 俗稱“蜘蛛”
Free For All Links （簡(jiǎn)稱FFA）免費(fèi)鏈接列表
Stop Words/Filter Words 停用詞/過(guò)濾詞
這兩者意義一樣，都是指一些太常用以至沒(méi)有任何檢索價(jià)值的單詞，搜索引擎碰到這些詞時(shí)一般都會(huì)過(guò)濾掉。因此為節(jié)省空間，應(yīng)盡量避免使用這一類的詞，尤其是在對(duì)文字?jǐn)?shù)量有嚴(yán)格限制的地方。
Frame Sets 框架結(jié)構(gòu)
有些搜索引擎（如FAST）是不支持框架結(jié)構(gòu)的，他們的“蜘蛛”程序無(wú)法閱讀這樣的網(wǎng)頁(yè)。
當(dāng)“蜘蛛”程序遇到這種結(jié)構(gòu)時(shí)，往往會(huì)感到茫然不知所措。因此盡量不要設(shè)置Image Map鏈接。
通過(guò)程序和數(shù)據(jù)庫(kù)連接制作的網(wǎng)頁(yè)，任何地址中帶“？”號(hào)、“&”號(hào)（及其他類似符號(hào)）的網(wǎng)頁(yè)都會(huì)把“蜘蛛”程序擋在門外。
意欲在不影響網(wǎng)站美觀的前提下通過(guò)包含大量關(guān)鍵詞的網(wǎng)頁(yè)提高關(guān)鍵詞相關(guān)性得分，從而達(dá)到改善搜索引擎排名的目的。
意欲在不影響網(wǎng)站美觀的前提下通過(guò)在其它頁(yè)面添加指向目標(biāo)優(yōu)化頁(yè)的隱形鏈接，通過(guò)提升鏈接得分而改善搜索引擎排名。
在頁(yè)面中使用與該網(wǎng)頁(yè)毫不相干的誤導(dǎo)性關(guān)鍵詞來(lái)吸引查詢?cè)撝黝}的訪問(wèn)者訪問(wèn)網(wǎng)站。這種做法嚴(yán)重影響了搜索引擎所提供結(jié)果的相關(guān)性和客觀性，為搜索引擎所深惡痛絕。
這種作弊技術(shù)也被稱為“關(guān)鍵詞堆砌欺騙(Keyword Stuffing)”，
它利用搜索引擎對(duì)網(wǎng)頁(yè)正文和標(biāo)題中出現(xiàn)的關(guān)鍵詞的高度關(guān)注來(lái)對(duì)關(guān)鍵詞進(jìn)行不合理的(過(guò)度)重復(fù)。類似的其它做法還包括在HTML元標(biāo)識(shí)中大量堆砌關(guān)鍵字或使用多個(gè)關(guān)鍵字元標(biāo)識(shí)來(lái)提高關(guān)鍵詞的相關(guān)性。這種技術(shù)很容易被搜索引擎察覺(jué)并受到相應(yīng)懲罰。
Cloaked Page 隱形頁(yè)面
對(duì)實(shí)際訪問(wèn)者或搜索引擎任一方隱藏真實(shí)網(wǎng)站內(nèi)容，以向搜索引擎提供非真實(shí)的搜索引擎友好的內(nèi)容提升排名。
指把用戶訪問(wèn)的第一個(gè)頁(yè)面(著陸頁(yè))迅速重定向至一個(gè)內(nèi)容完全不同的頁(yè)面。
這是最常見(jiàn)的欺騙性重定向技術(shù)，通過(guò)欺騙性重定向使用戶訪問(wèn)另外一個(gè)網(wǎng)站或頁(yè)面。
Doorway Page 門頁(yè)
也叫“Bridge/Portal/Jump/Entry Page”。是為某些關(guān)鍵字特別制作的頁(yè)面，專為搜索引擎設(shè)計(jì)，目的是提高特定關(guān)鍵詞在搜索引擎中的排名所設(shè)計(jì)的富含目標(biāo)關(guān)鍵詞的域名，且重定向至另一域名的真實(shí)網(wǎng)站。搜索引擎的Spiders往往忽略對(duì)那些自動(dòng)重定向到其它頁(yè)的頁(yè)面的檢索。
通過(guò)復(fù)制網(wǎng)站或網(wǎng)頁(yè)的內(nèi)容并分配以不同域名和服務(wù)器，以此欺騙搜索引擎對(duì)同一站點(diǎn)或同一頁(yè)面進(jìn)行多次索引。大多數(shù)搜索引擎都提供有能夠檢測(cè)鏡象站點(diǎn)的適當(dāng)?shù)倪^(guò)濾系統(tǒng)，一旦發(fā)覺(jué)鏡象站點(diǎn)，則源站點(diǎn)和鏡象站點(diǎn)都會(huì)被從索引數(shù)據(jù)庫(kù)中刪除。
Bulk Link Exchange Programs大宗鏈接交換程序
Cross Link交叉鏈接
Doorway Domain 門域
專為提高特定關(guān)鍵詞在搜索引擎中的排名所設(shè)計(jì)的富含目標(biāo)關(guān)鍵詞的域名，然后重定向至其它域名的主頁(yè)。由于搜索引擎一般忽略自動(dòng)重定向至其它頁(yè)的頁(yè)面的檢索，所以不提倡使用這種技術(shù)。
一、如何正確識(shí)別Baiduspider移動(dòng)ua
新版移動(dòng)ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +)
之前通過(guò)“+”進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意!您需要修改識(shí)別方式，新的正確的識(shí)別Baiduspider移動(dòng)ua的方法如下：
1. 通過(guò)關(guān)鍵詞“Android”或者“Mobile”來(lái)進(jìn)行識(shí)別，判斷為移動(dòng)訪問(wèn)或者抓取。
2. 通過(guò)關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。
另外需要強(qiáng)調(diào)的是，對(duì)于robots封禁，如果封禁的agent是Baiduspider，會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即，無(wú)論是PC還是移動(dòng)Baiduspider，都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)(同一個(gè)url，PC ua打開的時(shí)候是PC頁(yè)，移動(dòng)ua打開的時(shí)候是移動(dòng)頁(yè))，想通過(guò)設(shè)置robots的agent封禁達(dá)到只讓移動(dòng)Baiduspider抓取的目的，但由于PC和移動(dòng)Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。
百度蜘蛛對(duì)于站長(zhǎng)來(lái)說(shuō)可謂上賓，可是我們?cè)?jīng)遇到站長(zhǎng)這樣提問(wèn)：我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的?其實(shí)站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：
1、在linux平臺(tái)下，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
2、在windows平臺(tái)或者IBM OS/2平臺(tái)下，您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
3、 在mac os平臺(tái)下，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
即便很多站長(zhǎng)知道了如何判斷百度蜘蛛，仍然會(huì)不斷地問(wèn)“百度蜘蛛IP是多少”。我們理解站長(zhǎng)的意思，是想將百度蜘蛛所在IP加入白名單，只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取，避免被采集等行為。
但我們不建議站長(zhǎng)這樣做。雖然百度蜘蛛的確有一個(gè)IP池，真實(shí)IP在這個(gè)IP池內(nèi)切換，但是我們無(wú)法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以，我們建議站長(zhǎng)勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。
同時(shí)，我們?cè)俅螐?qiáng)調(diào)，通過(guò)IP來(lái)分辨百度蜘蛛的屬性是非常可笑的事情，所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來(lái)都不存在的。
就是搜索引擎代碼，爬行網(wǎng)站，抓取頁(yè)面內(nèi)容的一種程序。
官方微信
TOP
