分類  >  WEB開發 >

robots.txt 設置有關問題

tags:    時間:2013-12-09 22:06:13
robots.txt 設置問題
例如在robots.text設置如下:
User-agent: *
Allow: /new/
Allow: /channel/
Allow: /default.jsp
Allow: /list/
Disallow: /old/

網站根還有幾個目錄。
如:
/bbs/
/time/
/site/
那這三個目錄會被百度,google收錄訪問么?
還有跟目錄下的網頁會被收錄訪問么?
robots.txt

------解決方案--------------------
你只Disallow: /old/了old目錄,沒有Disallow的應該都可以訪問到,
robots.txt的規則可以看
http://baike.baidu.com/view/9274458.htm
http://www.baidu.com/search/robots.html

推薦閱讀文章

Bookmark the permalink ,來源:互聯網