分類  >  WEB開發 >

robots.txt 設置有關問題

tags：    時間：2013-12-09 22:06:13
robots.txt 設置問題
例如在robots.text設置如下：
User-agent: *
Allow: /new/
Allow: /channel/
Allow: /default.jsp
Allow: /list/
Disallow: /old/

網站根還有幾個目錄。
如：
/bbs/
/time/
/site/
那這三個目錄會被百度，google收錄訪問么？
還有跟目錄下的網頁會被收錄訪問么？
robots.txt

------解決方案--------------------
你只Disallow: /old/了old目錄，沒有Disallow的應該都可以訪問到，
robots.txt的規則可以看
http://baike.baidu.com/view/9274458.htm
http://www.baidu.com/search/robots.html

推薦閱讀文章

Bookmark the permalink ，來源：互聯網