User-agent: Googleboot
Disallow: /
User-agent: Baiduspider
Disallow: /
放置一个
robots.txt 文件里面没有写任何内容与没有放置 robots.txt 文件是一样的,没
有禁止抓取。
以下
2 种写法的区别:
User-agent: Baiduspider
Disallow: (语句不成立,等于没有写)
User-agent: Baiduspider
Allow: / (定义了百度蜘蛛,允许抓取所有的,与上面的效果是一样的)
以下
2 种写法的区别:运行所有的搜索引擎抓取,两者写法一样。没有写屏蔽某个蜘蛛等于
是默认运行了。
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
又一种写法:禁止所有的搜索引擎抓取以下的目录。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
案 例 : 允 许 所 有 搜 索 引 擎 抓 取
/cgi-bin/see , 只 允 许 所 有 搜 索 引 擎 抓 取 /tmp 下 面 的
hi,只允许所有搜索引擎抓取/~joe/下的 look
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /tmp/
Disallow: /~joe/