您好,欢迎来到一览文库!找行业资料上一览文库!
一览( 微信公众号:yilanshequ )

一览( 微信公众号:yilanshequ )

打开微信扫一扫,即可直接关注

收藏我们 | 登录 | 注册
当前位置:一览文库> IT/互联网 > 互联网 > 运营管理 > 对于蜘蛛的爬取未必多就好
对于蜘蛛的爬取未必多就好

对于蜘蛛的爬取未必多就好

一览通:免费获取520份薪酬绩效文档

级别:| 积分:0 分 | 浏览:73227 | 大小:12.00KB | 下载:4042 次 | 上传:2013-10-31

简介:

 当然不是!不论什么搜索引擎的爬虫,来抓取你网站的页面的时候,肯定在消耗你的网站资源,例如网站的连接数、网络带宽资源(空间流量)、服务器的负载、甚至还有盗链等。不是所有的搜索引擎蜘蛛都是有用的。另外,搜索引擎的爬虫来抓取你的页面数据后,它也不一定收用数据。只代表它“到此一游”留下痕迹而已,有的搜索引擎室故意过来找它想要的资源,甚至还有很多是开发人员的蜘蛛测试。  (一览行家文档)

[展开]
   

猜你喜欢

收藏 下载此文档 所需积分:0分