歡迎您光臨本站
首頁
首頁
Web
移動
前端
編程
資料庫
伺服器
互聯網
操作系統
分類
>
WEB開發
>
robots.txt 設置有關問題
tags: 時間:2013-12-09 22:06:13
robots.txt 設置問題
例如在robots.text設置如下:
User-agent: *
Allow: /new/
Allow: /channel/
Allow: /default.jsp
Allow: /list/
Disallow: /old/
網站根還有幾個目錄。
如:
/bbs/
/time/
/site/
那這三個目錄會被百度,google收錄訪問么?
還有跟目錄下的網頁會被收錄訪問么?
robots.txt
------解決方案--------------------
你只Disallow: /old/了old目錄,沒有Disallow的應該都可以訪問到,
robots.txt的規則可以看
http://baike.baidu.com/view/9274458.htm
http://www.baidu.com/search/robots.html
推薦閱讀文章
struts2上傳.doc,docx,pdf有關問題
有關left函數的一個有關問題
CAS 配置多條SQL語句來返回登錄成功后的數據有關問題
cookie的幾個小問題
大家都來說說有關中文亂碼的解決辦法吧
大家好,別人給開發的網站為何在百度中搜索不到相應的關鍵字,是php的有關問題嗎
做個有關 地圖方面的網站 (數據已有) 公司報價 大概在多少?解決方法
一個不屬於這裡的有關問題
有關web開發的有關問題
asp網頁excel導出,如何設置為下載方式
做個有關 map方面的網站 (數據已有) 公司報價 大概在多少
懂偽靜態或是robots.txt的進來吧,想禁止百度收錄,該怎麼處理
odbc數據源管理器內沒有驅動Microsoft Text Driver (*txt; *csv)
在內網(區域網)中,為何不設置「默認網關」計算機也能互相通訊
懂偽靜態或是robots.txt的進去吧,想禁止百度收錄
(帝國cms)怎的設置一個默認的顯示內容
怎麼根據選擇單選按鈕的不同來設置不同的查詢條件
robots.txt 設置有關問題
robots.txt 資料的用途
輸入自動提醒搜索提示功能(使用說明:sugggestion.txt)
網頁腦袋<meta name="Robots" 用法 <meta系列用法
Bookmark the
permalink
,來源:互聯網
為你推薦
新人學習JAVA WEB的步驟和方法
SQL吧|企業網站源碼下載,請友人關照一下小弟
JDBC連接資料庫報錯就教
站內信,該如何解決
百度分享,該如何解決
下部這段python代碼,是client端給server發文件的,data是client接受server的指令,想改一下,一直報錯
各位,有空幫忙填下http://www.wenjuan.com/s/NzQ3Mf ,有分贈送,多謝
新公司叫小弟我做網站推廣?有些疑問
關於原型圖這種線是如何畫出來的 用什麼工具畫出來的
關於資料庫連接池有關問題
在哪裡系統學習java啊該怎麼處理
怎麼做好一個網站:談網站的定位
後盾返回數據前台顯示<br>
jsp中日期類型轉換,該怎麼解決
java 核心技術 卷一和卷二 應該怎麼學習?
最新文章
圖形變換的邏輯題,很有意思
找尋實分析與複分析(rudin)第九章答案
信息系統項目管理師資料分享解決方案
信息系統項目管理師資料分享,該如何解決
php這幾年發展的怎麼
實在不行了,諮詢大家一個有關問題:想報java培訓,有沒有什麼比較穩妥的培訓機構推薦
求教,關於Delphi中Treeview組件的有關問題
delphi 是不是可以控制 android手機以及裡面的應用
一百分求解.可累加.對某個線程池的不解以及到失望.
delphi xe 串口通訊解決方法
藥品電子監管碼上傳有關問題
delphi讀取mysql資料庫怎麼只顯示內容,不顯示錶頭
無法顯示資料庫內容,該怎麼解決
恭賀新禧,水到渠成
當前的Delphi還會偷偷發內容給官網嗎?