User-agent: Googleboot
Disallow: /

User-agent: Baiduspider
Disallow: /

放置一个

robots.txt 文件里面没有写任何内容与没有放置 robots.txt 文件是一样的，没

有禁止抓取。

以下

2 种写法的区别：

User-agent: Baiduspider
Disallow:                 （语句不成立，等于没有写）

User-agent: Baiduspider
Allow: /                  （定义了百度蜘蛛，允许抓取所有的，与上面的效果是一样的）

以下

2 种写法的区别：运行所有的搜索引擎抓取，两者写法一样。没有写屏蔽某个蜘蛛等于

是默认运行了。
User-agent: Baiduspider
Allow: /

User-agent: Googlebot
Allow: /

又一种写法：禁止所有的搜索引擎抓取以下的目录。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

案 例 ： 允 许 所 有 搜 索 引 擎 抓 取

/cgi-bin/see  ， 只 允 许 所 有 搜 索 引 擎 抓 取 /tmp 下 面 的

hi，只允许所有搜索引擎抓取/~joe/下的 look
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /tmp/
Disallow: /~joe/