如何對網站的robots.txt進行設置來做seo優化

    什么是robots.txt?這是一個文本文件，是搜索引擎爬行網頁要查看的第一個文件，你可以告訴搜索引擎哪些文件可以被查看，哪些禁止。當搜索機器人訪問一個站點時，它首先會檢查根目錄是否存在robots.txt，如果有就確定抓取范圍，沒有就按鏈接順序抓取。

　robots.txt有什么用？為何需要用robots.txt這個文件來告訴搜索機器人不要爬行我們的部分網頁，比如：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。說到底了，這些頁面或文件被搜索引擎收錄了，用戶也看不了，多數需要口令才能進入或是數據文件。既然這樣，又讓搜索機器人爬行的話，就浪費了服務器資源，增加了服務器的壓力，因此我們可以用robots.txt告訴機器人集中注意力去收錄我們的文章頁面。增強用戶體驗。

　　1、用robots屏蔽網站重復頁

　　很多網站一個內容提供多種瀏覽版本，雖然很方便用戶卻對蜘蛛造成了困難，因為它分不清那個是主，那個是次，一旦讓它認為你在惡意重復，你就慘了

　　User-agent： *

　　Disallow： /sitemap/ 《禁止蜘蛛抓取 文本網頁》

　　2、用robots保護網站安全

　　很多人納悶了，robots怎么還和網站安全有關系了?其實關系還很大，不少低級黑客就是通過搜索默認后臺登陸，以達到入侵網站的目標

　　User-agent： *

　　Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有文件》

　　3、防止盜鏈

　　一般盜鏈也就幾個人，可是一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，如果你做的不是圖片網站，又不想被搜索引擎“盜鏈”你的網站圖片

　　User-agent： *

　　Disallow： .jpg$

　　4、提交網站地圖

　　現在做優化的都知道做網站地圖了，可是卻沒幾個會提交的，絕大多數人是干脆在網頁上加個鏈接，其實robots是支持這個功能的

　　Sitemap： http:-www-***-com/sitemaps/sitemaps.xml

　　5、禁止某二級域名的抓取

　　一些網站會對VIP會員提供一些特殊服務，卻又不想這個服務被搜索引擎檢索到

　　User-agent： *

　　Disallow： /

　　以上五招robots足以讓你對搜索引擎蜘蛛掌控能力提升不少，就像百度說的：我們和搜索引擎應該是朋友，增加一些溝通，才能消除一些隔膜。

　　robots.txt基本語法：

　　1、robots.txt的幾個關鍵語法：

　　a、User-agent: 應用下文規則的漫游器，比如Googlebot,Baiduspider等。

　　b、Disallow: 要攔截的網址,不允許機器人訪問。

　　c、Allow: 允許訪問的網址

　　d、”*” : 通配符—匹配0或多個任意字符。

　　e、”$” : 匹配行結束符。

　　f、”#” : 注釋—說明性的文字,不寫也可。

　　g、Googlebot: 谷歌搜索機器人(也叫搜索蜘蛛)。

　　h、Baiduspider: 百度搜索機器人(也叫搜索蜘蛛)。

　　i、目錄、網址的寫法:都以以正斜線 (/) 開頭。

　　如

　　Disallow:/

　　Disallow:/images/

　　Disallow:/admin/

　　Disallow:/css/

　　2、列舉一些robots.txt 具體用法：

　　(1)允許所有的robot訪問

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　或者建一個空文件”robots.txt”即可。

　　(2)僅禁止某個機器人訪問您的網站，如Baiduspider。

　　User-agent: Baiduspider

　　Disallow: /

　　3、僅允許某個機器人訪問您的網站，如Baiduspider。

　　User-agent: Baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　4、禁止訪問特定目錄

　　User-agent: *

　　Disallow: /admin/

　　Disallow: /css/

　　Disallow:

　　要攔截對所有包含問號 (?) 的網址的訪問(具體地說，這種網址以您的域名開頭、后接任意字符串，然后接問號，而后又接任意字符串)，請使用以下內容：

　　User-agent: Googlebot

　　Disallow: /*?

　　要指定與某個網址的結尾字符相匹配，請使用 $。例如，要攔截以 .xls 結尾的所有網址，請使用以下內容： User-agent: Googlebot

　　Disallow: /*.xls$

　　您可將此模式匹配與 Allow 指令配合使用。例如，如果 ? 代表一個會話 ID，那么您可能希望排除包含 ? 的所有網址，以確保 Googlebot 不會抓取重復網頁。但是以 ? 結尾的網址可能是您希望包含在內的網頁的版本。在此情況下，您可以對您的 robots.txt 文件進行如下設置：

　　User-agent: *

　　Allow: /*?$

　　Disallow: /*?

　　Disallow: /*? 指令會阻止包含 ? 的所有網址(具體地說，它將攔截所有以您的域名開頭、后接任意字符串，然后接問號，而后又接任意字符串的網址)。

　　Allow: /*?$ 指令將允許以 ? 結尾的任何網址(具體地說，它將允許所有以您的域名開頭、后接任意字符串，然后接 ?，? 之后不接任何字符的網址)。

　　以上介紹多數都是Google的http:-www-google-com/support/we … cn&answer=40360，百度的大同小異具體可以看http:-www-baidu-com/search/robots.html

　　一般網站查看robots.txt文件的方法是主頁后面加robots.txt就可以，比如淘寶網的就是http:-www-taobao-com/robots.txt請注意，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。

　　網站Robots.txt協議，你懂多少?

    網站Robots.txt文件，是網站與搜索引擎交流的通用協議，通過Robots協議的設置告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取：一方面可以做網站安全的防護，更重要的是用來做優化，減少無效頁面的收錄，提升站點的排名效果。..

    但是在實際的操作中，絕大多數的網站，在其撰寫上都存在或多或少的欠缺，甚至由于技術性的錯誤撰寫，還會導致網站降權、不收錄、被K等一系列問題的出現。對于這一點，A5營銷，包括我，在對客戶的SEO診斷過程中，會經常遇到，可以算是很多站點的通病。今天寫出這篇文章，就是來做一個分享：關于robots.txt協議，你寫對了嗎?

    一：設置成Allow全站點抓取

    百度收錄的越多，網站的排名越高?這是絕大多數站長的認為，事實上也是如此。但是也并非絕對成立：低質量的頁面收錄，會降低網站的排名效果，這一點你考慮到了嗎?

    如果你的網站結構不是非常的清晰，以及不存在多余的“功能”頁面，不建議對網站開全站點的抓取，事實上，在A5的SEO診斷中，只遇到極少數的一部分網站，可以真正的做到全站點都允許抓取，而不做屏蔽。隨著功能的豐富，要做到允許全站點抓取，也不太可能。

    二：什么樣的頁面不建議抓取

    對于網站功能上有用的目錄，有用的頁面，在用戶體驗上可以得到更好的提升。但是搜索引擎方面來講，就會造成：服務器負擔，比如：大量的翻頁評論，對優化上則沒有任何的價值。

    除此外還包含如：網站做了偽靜態處理后，那么就要將動態鏈接屏蔽掉，避免搜索引擎抓取。用戶登錄目錄、注冊目錄、無用的軟件下載目錄，如果是靜態類型的站點，還要屏蔽掉動態類型的鏈接Disallow: /*?* 為什么呢?我們舉個例子來看：

    上面是某客戶網站發現的問題，被百度收錄的原因是：有人惡意提交此類型的鏈接，但是網站本身又沒有做好防護。

    三：撰寫上的細節注意事項

    方法上來講，絕大多數的站長都明白，這里就不做多說了，不明白的站長，可以上百度百科看一下。今天這里說一些不常見的，可能是不少站長的疑問。

    1、舉例：Disallow; /a 與Disallow: /a/的區別，很多站長都見過這樣的問題，為什么有的協議后加斜杠，有的不加斜杠呢?筆者今天要說的是：如果不加斜杠，屏蔽的是以a字母開頭的所有目錄和頁面，而后者代表的是屏蔽當前目錄的所有頁面和子目錄的抓取。

    通常來講，我們往往選擇后者更多一些，因為定義范圍越大，容易造成“誤殺”。

    2、JS文件、CSS需要屏蔽嗎?不少網站都做了這個屏蔽，但是筆者要說的是：google站長工具明確的說明：封禁css與js調用，可能會影響頁面質量的判斷，從而影響排名。而對此，我們做了一些了解，百度方面同樣會有一定影響。

    3、已經刪除的目錄屏蔽，很多站長往往刪除一些目錄后，怕出現404問題，而進行了屏蔽，禁止搜索引擎再抓取這樣的鏈接。事實上，這樣做真的好嗎?即使你屏蔽掉了，如果之前的目錄存在問題，那么沒有被蜘蛛從庫中剔除，同樣會影響到網站。

    建議最佳的方式是：將對應的主要錯誤頁面整理出來，做死鏈接提交，以及自定義404頁面的處理，徹底的解決問題，而不是逃避問題。

　　

說明：本文由SEO369團隊編輯整理，有侵犯權益的地方請聯系站長刪除，如果需要了解更過SEO方面的知識請關注SEO369。