• 蘇州同乾文化傳媒有限公司為您的企業賦予能量,一站式企業服務!
  • 打開微信掃一掃,
    您還可以在這里找到我們喲

    關注我們

  • robots是什么及robots.txt文件的格式與用法書寫標準

    閱讀:1844 2019-08-13 09:18:16 來源:http://www.srodqprf.cn 作者:同乾傳媒

    robots是什么及robots.txt文件的格式與用法書寫標準

    robots.txt

    robots文件其實就是一個網站的權限清單,一般只針對網站做SEO優化。你可以在robots文件里面寫上哪些網站目錄和鏈接允許被搜索引擎抓取,哪些被不允許抓取收錄。


    robots文件常用寫法:


    User-agent: * 

    Disallow:/

    robots協議放哪里?

    不想讓搜索引擎收錄,可以通過上面的代碼來屏蔽搜索引擎。


    把文件重命名為robots.txt,再把robots.txt通過FTP等方式放到網站根目錄下。


    robots協議如何屏蔽所有搜索引擎?


    User-agent: *

    Disallow:/


    robots.txt的寫法規則

    User-agent: * 符號*為通配符 代表所有的搜索引擎種類。


    Disallow禁止收錄

    代碼Disallow: 表示禁止搜索引擎爬取及收錄 用法如下

    Disallow: /admin/ 比如禁止爬尋admin(admin一般為網站管理后臺)的目錄

    Disallow: /ABC/ 舉例abc目錄 禁止任何搜索引擎爬取收錄網站里為ABC的目錄及其子目錄

    Disallow: *.htm 禁止訪問目錄下的所有以".htm"為后綴的URL(包含子目錄)。

    Disallow: /*?* 禁止訪問網站中所有的動態頁面

    Disallow: /jpg$ 禁止抓取網頁所有的.jpg格式的圖片

    Disallow:/abc/abc.html 禁止爬去abc文件夾下面的abc.html文件。

    Allow允許收錄

    代碼Allow: 表示允許搜索引擎爬取及收錄 用法如下

    允許爬取及收錄

    Allow: /abc/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

    Allow: * 這里定義是允許爬全站任何文件及目錄

    Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

    Allow: .gif$ 允許抓取網頁和gif格式圖片

    robots代碼參考大全:

    robots代碼


    還有一種允許搜索引擎抓取網站全部內容的方式就是robots.txt為空或者不創建robots.txt文件


    以上就是蘇州網站建設公司同乾傳媒為大家做的網站robots.txt文件用法舉例,robots.txt對網站SEO優化和排名極其重要,熟悉了解后再使用請勿隨意使用不然會引起不必要的錯誤狀況。




    分享到:
    相關文章 你可能感興趣
    棋牌游戏牛牛