僅當您的網站里面含有不期望被搜索引擎網站收錄的內部實質意義時，才需求運用robots.txt文件。假如您期望搜索引擎網站收錄網站上全部內部實質意義，請勿樹立robots.txt文件。
查緝該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中開創一個robots.txt，在文件中聲明 該網站中沒想到被搜索引擎網站收錄的局部還是指定搜索引擎網站只收錄特別指定的局部。
例1.嚴禁全部搜索引擎網站過訪網站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準許全部的robot過訪 (還是也可以建一個具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴禁Baiduspider過訪您的網站User-agent:Baiduspider Disallow:/
例4.僅準許Baiduspider過訪您的網站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴禁spider過訪特別指定目次 在這個例子中，該網站有三個目次對搜索引擎網站的過訪做了限止，即robot不會過訪這三個目次。需求注意的是對每一個目次務必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運用"*"限止過訪url 嚴禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運用"$"限止過訪url 僅準許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴禁過訪網站中全部的動態頁面User-agent:* Disallow:/*?*
例11.嚴禁Baiduspider抓取網站上全部圖片 僅準許抓取網頁，嚴禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準許Baiduspider抓取網頁和.gif款式圖片 準許抓取網頁和gif款式圖片，不準許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
查緝該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中開創一個robots.txt，在文件中聲明 該網站中沒想到被搜索引擎網站收錄的局部還是指定搜索引擎網站只收錄特別指定的局部。
例1.嚴禁全部搜索引擎網站過訪網站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準許全部的robot過訪 (還是也可以建一個具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴禁Baiduspider過訪您的網站User-agent:Baiduspider Disallow:/
例4.僅準許Baiduspider過訪您的網站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴禁spider過訪特別指定目次 在這個例子中，該網站有三個目次對搜索引擎網站的過訪做了限止，即robot不會過訪這三個目次。需求注意的是對每一個目次務必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運用"*"限止過訪url 嚴禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運用"$"限止過訪url 僅準許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴禁過訪網站中全部的動態頁面User-agent:* Disallow:/*?*
例11.嚴禁Baiduspider抓取網站上全部圖片 僅準許抓取網頁，嚴禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準許Baiduspider抓取網頁和.gif款式圖片 準許抓取網頁和gif款式圖片，不準許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
