您的位置:首頁 > 經(jīng)營范圍
經(jīng)營范圍

深圳市新麗五金塑膠模具有限公司噴油模具網(wǎng)深圳噴油模具噴油銅模噴漆銅模噴油模廠家銅模廠家東莞噴油模玩具噴油夾?；葜輫娪湍娪湍＞邍娪豌~夾模玩具噴油模孩之寶玩具噴油模廣州市噴油模深圳噴油模美泰玩具噴油模力高玩具噴油模德林玩具噴油模順德噴油模五金噴油模杭州市噴油模汕頭玩具噴油模鑄造廣東省深圳噴油模廣州市噴油模佛山市噴油模順德噴油模上海噴油模東莞市噴油模南京市噴油模中山市噴油模青島噴油模惠州市噴油模河源市噴油模清遠市噴油模珠海噴油模羅定噴油

2016-10-04 13:28:00作者:無名來源：admin0次閱讀

一、什么是 robots ？
?
robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
?
二、robots 格式定義
?
User-agent：用于描述搜索引擎robot的名字。
?
Disallow：用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴。
?
Allow：用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴。
?
三、特殊通配符
?
"*" ? ?匹配0或多個任意字符
"$" ? 匹配行結束符。
"?" ? 匹配動態(tài)路徑
?
四、使用方法
?
?在本地建立一個 robots.txt 文本文件，把需要設置的 robot 協(xié)議寫進文本中，然后再把此 robots.txt 文本文件上傳至網(wǎng)站空間根目錄下。
?
五、常用設置蛛蛛
?
?百度蜘蛛：Baiduspider
谷歌機器人： ?Googlebot
?360好搜： 360spider
?SOSO蜘蛛：Sosospider
有道蜘蛛：YoudaoBot
必應蜘蛛：bingbot
?
六、robots的用法舉例
?
1.屏蔽所有搜索引擎
?
User-agent: *?
?Disallow: /
?
注意：英文冒號后面緊接著必須是一個英文格式的“空格”。
?
2.屏蔽百度蛛蛛，允許其它蛛蛛
?
User-agent: Baiduspider
Disallow: / ?
?
User-agent: *
?
3.屏蔽一個文件夾
?
User-agent: *
Disallow: /data/
?
4.屏蔽一個文件夾，但允許訪問此文件夾中的某個文件
?
User-agent: *
Disallow: /data/
Allow: /data/abc.php
?
5.屏蔽文件夾時后面帶 "/" 與不帶 "/" 的區(qū)別
?
例如 "Disallow:/data" ?是禁止robot訪問/data.html、/dataxxx.html、/data/xxx.html，
而 "Disallow:/data/"則禁止robot訪問/data/xxx.html、/data/xxx/ ，而允許訪問/data.html、/dataxxx.html文件。
PS：Allow 是一樣的道理。
?
6.屏蔽動態(tài)路徑
?
User-agent: *
Disallow: /*?*
?
7.指定蛛蛛爬取路徑以 .html 結尾，后面所有路徑都不再抓取
?
User-agent: *
Disallow: /*.html$
?
8.分別定義百度蛛蛛，和谷歌蛛蛛
?
User-agent: Baiduspider
Disallow: ?/data/
?
User-agent: Googlebot
Disallow: /template/
?
如我網(wǎng)站的 robots 協(xié)議：

聲明: 本文由( admin )原創(chuàng)編譯，轉載請保留鏈接: 做工廠代加工優(yōu)化必知robots協(xié)議規(guī)則大全

相關文章

網(wǎng)友評論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛好互聯(lián)網(wǎng)，寫自傳、現(xiàn)代詩詞等。
公司專注電子商務、公司介紹優(yōu)化、公司介紹服務、公司介紹顧問、微營銷、淘寶運營、網(wǎng)站運營、網(wǎng)絡營銷、網(wǎng)絡推廣、微信公眾號、營銷系統(tǒng)研發(fā)和培訓；公司致力于幫助草根網(wǎng)絡創(chuàng)業(yè)者打造最好的網(wǎng)絡營銷系統(tǒng)！ 用思維改變命運！

歡迎大家咨詢。公司介紹
咨詢飛機； yizhilaoshu

最新文章

圖文聚集

熱門排行