作為站長們無人不知 Robots文件，而它的作用具有有那些，很多人只知道它僅是一種協議，而針對于它的真正作用點就僅限于屏蔽錯誤頁面了而已，當然這只是青秦營養軟件中心站長跟一些朋友交流他們得出來的結論。但是，真的是這樣的嘛？
其實，筆者想在這里給大家做一詳細解說，希望 Robots文件它的作用發揮到極致。既然筆者這么說了，很明顯， Robots文件不僅僅局限與屏蔽錯誤頁面這么簡單的作用，它的作用可以說對于我們站長網站來說作用很大，而且在網站優化中起到了不可缺少的一部分。
閑話不多說，在這里筆者就將其真正的作用在這里給大家進行解說。在介紹 Robots文件作用之前，我們先了解一下 Robots的基本概念。 Robots是網站和搜索引擎之間的一個協議。看到“協議”這2個字嘛，它僅只是協議，與命令是有差別的。協議是在搜索引擎抓取網站后一段時間才會生效，而命令則是立馬就生效的。因此要完全區分該2者之間的作用。有的站長常常遇到這樣的情況，當他昨天才做了 Robots，就問為什么我的網站做了Robots搜索引擎還在抓取網站信息，其實就是因為大家做的 Robots還未生效所致。
或許作為初步學習的站長朋友不是很明白，我在這里給大家介紹一下搜索引擎爬蟲的原理。當蜘蛛下載一個網頁;它就會保存一個txt純文本，就是那個快照緩存文本。爬蟲還會提取一些標記和標簽。他把站外的鏈接和內部鏈接進行分開然后再次抓取。就是這樣來連接整個互聯網。這個就是一個爬去原理。這就出現了一個問題，如果我們不想讓爬蟲爬取我們網站的某一個頁面，那怎么辦呢？這時候我們就能運用到Robots協議。這也是Robots協議產生的具體原因。
說了這么多，朋友會問，那么Robots協議到底運用到網站那塊呢？下來我就將我了解的幾點給大家進行整理：
1、屏蔽無內容頁
作為Robots協議第一條就是可以屏蔽無內容頁面。無內容頁面是什么？比如說：我們網站的登陸頁，打印頁，個人信息頁，商城的購物頁、登陸頁等等。為什么要屏蔽無內容頁面？作為站長應該知道無內容頁面會分散網站整體的權重、關鍵詞的排名。
2、屏蔽si鏈接
網站大量的si鏈接對于網站的影響想必站長們都清楚，我就在這里不多說了。而唯一可以解決這些鏈接的方法就是對其進行robots屏蔽。
3、屏蔽重復頁
所謂重復頁面，就是頁面的簡寫版本以及空評論頁，再或者多個路徑可以打開同一頁面，等等重復頁面。重復的頁面對于站內頁面的質量也是會受到非常嚴重的影響的。比如我們的評論頁面。內容毫無意義，對于網站來說反而有很大的影響。
以上是由青秦營養軟件中心站長根據自身的一些觀點進行整理，還望與大家一同交流，有什么好的意見、建議望大家提出來，讓我們的網站發展的越來越好！！！
其實，筆者想在這里給大家做一詳細解說，希望 Robots文件它的作用發揮到極致。既然筆者這么說了，很明顯， Robots文件不僅僅局限與屏蔽錯誤頁面這么簡單的作用，它的作用可以說對于我們站長網站來說作用很大，而且在網站優化中起到了不可缺少的一部分。
閑話不多說，在這里筆者就將其真正的作用在這里給大家進行解說。在介紹 Robots文件作用之前，我們先了解一下 Robots的基本概念。 Robots是網站和搜索引擎之間的一個協議。看到“協議”這2個字嘛，它僅只是協議，與命令是有差別的。協議是在搜索引擎抓取網站后一段時間才會生效，而命令則是立馬就生效的。因此要完全區分該2者之間的作用。有的站長常常遇到這樣的情況，當他昨天才做了 Robots，就問為什么我的網站做了Robots搜索引擎還在抓取網站信息，其實就是因為大家做的 Robots還未生效所致。
或許作為初步學習的站長朋友不是很明白，我在這里給大家介紹一下搜索引擎爬蟲的原理。當蜘蛛下載一個網頁;它就會保存一個txt純文本，就是那個快照緩存文本。爬蟲還會提取一些標記和標簽。他把站外的鏈接和內部鏈接進行分開然后再次抓取。就是這樣來連接整個互聯網。這個就是一個爬去原理。這就出現了一個問題，如果我們不想讓爬蟲爬取我們網站的某一個頁面，那怎么辦呢？這時候我們就能運用到Robots協議。這也是Robots協議產生的具體原因。
說了這么多，朋友會問，那么Robots協議到底運用到網站那塊呢？下來我就將我了解的幾點給大家進行整理：
1、屏蔽無內容頁
作為Robots協議第一條就是可以屏蔽無內容頁面。無內容頁面是什么？比如說：我們網站的登陸頁，打印頁，個人信息頁，商城的購物頁、登陸頁等等。為什么要屏蔽無內容頁面？作為站長應該知道無內容頁面會分散網站整體的權重、關鍵詞的排名。
2、屏蔽si鏈接
網站大量的si鏈接對于網站的影響想必站長們都清楚，我就在這里不多說了。而唯一可以解決這些鏈接的方法就是對其進行robots屏蔽。
3、屏蔽重復頁
所謂重復頁面，就是頁面的簡寫版本以及空評論頁，再或者多個路徑可以打開同一頁面，等等重復頁面。重復的頁面對于站內頁面的質量也是會受到非常嚴重的影響的。比如我們的評論頁面。內容毫無意義，對于網站來說反而有很大的影響。
以上是由青秦營養軟件中心站長根據自身的一些觀點進行整理，還望與大家一同交流，有什么好的意見、建議望大家提出來，讓我們的網站發展的越來越好！！！
