robots.txt文件用法举例

1、禁止所有搜索引擎访问网站的任何部分
user-agent: *
disallow: /
2、允许所有的robot访问(或者也可以建一个空文件 /robots.txt)
第1种写法
user-agent: *
allow: /
第2种写法
user-agent: *
allow:
第3种写法
user-agent: *
disallow:
3、仅禁止baiduspider访问您的网站
user-agent: baiduspider
disallow: /
4、仅允许baiduspider访问您的网站
user-agent: baiduspider
allow: /
5、禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不能写成 disallow: /cgi-bin/ /tmp/。
user-agent: *
disallow: /cgi-bin/
disallow: /tmp/
disallow: /~joe/
6、允许访问特定目录中的部分url
user-agent: *
allow: /cgi-bin/see
allow: /tmp/hi
allow: /~joe/look
7、使用*限制访问url
禁止访问/cgi-bin/目录下的所有以.htm为后缀的url(包含子目录)
user-agent: *
disallow: /cgi-bin/*.htm
8、使用$限制访问url
仅允许访问以.htm为后缀的url。
user-agent: *
allow: / .htm$
9、禁止访问网站中所有的动态页面
user-agent: *
disallow: /*?*
10、禁止baiduspider抓取网站上所有图片，仅允许抓取网页，禁止抓取任何图片。
user-agent: baiduspider
disallow: /*.jpg$
disallow: /* .jpeg$
disallow: /* .gif$
disallow: /* .png$
disallow: /*.bmp$
11、仅允许baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片，不允许抓取其他格式图片
user-agent: baiduspider
allow: .gif$
disallow: /.jpg$
disallow: / .jpeg$
disallow: / .png$
disallow: /.bmp$
12、仅禁止baiduspider抓取，jpg格式图片。
user-agent: /baiduspider
disallow: /.jpg$
附件：百度各个产品使用不同的user-agent
无线搜索 baiduspider-mobile
图片搜索 baiduspider-image
视频搜索 baiduspider-video
新闻搜索 baiduspider-news
百度搜藏 baiduspider-favo
百度联盟 baiduspider-cpro
商务搜索 baiduspider-ads
网页以及其他搜索 baiduspider


北京网站建设好之后都有哪些推广方法？
网站优化切记不可发生的四种情况
个人网站快速发展就那么几大绝招
北京网站开发换位思考对用户是非常重要的创新
网站制作时针对首页设计趋势和建议性分析
网站设计中的细节决定了网站的“用户留存”
加强网站的安全建设
低价网站不可忽视的负面影响