| 但若你來,我必用心  (全國分站
TEL
137-7742-8432

robots.txt協議的寫法

 二維碼 382
發表時間:2018-08-08 14:43作者:丹若科技

   robots.txt協議的寫法

   txt是純文本的意思,而robots是機器人的意思,robots.txt文件是給機器人看的,也就是給我們搜索引擎蜘蛛看的;robots.txt遵循的一個規范文本,它告訴搜索引擎(Google、百度、360、搜狗等)哪些網頁可以抓取,那些網頁不可以抓取。蜘蛛spider(Googlebot/Baiduspider)來抓取你的網站頁面的時候,會首先訪問你的網站/robots.txt路徑看是否存在,如果沒有則全站抓取,否則按照設置規則進行抓取和索引。

     在SEO優化中,robots.txt協議是蜘蛛抓取的規則,做優化這個協議是經常會被用到的,特別是大型的商城網站及平臺型網站,那么robots.txt要怎么寫呢?

   我們先來看下robots.txt協議要用到的規則語句:  

   (1)User-agent:指定對哪些爬蟲生效(Google的spider是“Googlebot”,百度是“Baiduspider”);

     (2)Disallow:指定要屏蔽的網址  

     Allow:指明允許spider訪問和索引的目錄;

   通配符:*匹配任意個字符;

   /要攔截的網頁(例如Disallow/要屏蔽整個網站的意思);

   $匹配url結束

   robots.txt協議寫好了,我們在放下哪里呢?

   創建好robots.txt直接上傳到網站根目錄下面,放于其他目錄均為無效;因為一個robots.txt只能控制相同協議,相同端口,相同站點的網頁抓取策略。

    robots.txt協議是SEO優化必須要也會的語言。不了解可以留言,小編將會詳細答復。

客服中心
 
 
 
 
 工作時間
周一至周五 :8:30-17:30
 聯系方式
郵箱:sales@zjdanruo.com
客服熱線:13777428432
<蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>