据说,互联网上有50%以上的流量都是爬虫创造的。这些爬虫里,有善意的,比如搜索引擎,也有恶意的。比如黄牛。
不管是从业者,还是爱好者,甚至旁观者,都很关心一个问题,爬虫究竟是合法还是违法的?
首先,技术本身确实是没有对错的,但是使用技术的人有。今年国家颁布了《中华人民共和国网络安全法》,很多以前处于灰色地带的业务,现在已经明确不能做了。
虽然技术是无罪的,但如果用在了错误的地方,也将要付出相应的代价。
相对安全的爬虫,应具备以下特点:
遵守Robots协议,但这不代表,你遵守了Robots,就可以随便爬。2014年百度地图因大量引用大众点评的评论被起诉,最后法院的判决也说明,遵守Robots协议,但大量爬取造成的不正当竞争,依然违法。
限制你的爬虫行为,禁止近乎DDOS的请求频率,一旦造成服务器瘫痪,约等于网络攻击。
对于明显反爬,或者正常情况不能到达的页面不能强行突破,否则是Hacker行为。
审视清楚自己爬的内容,以下是绝不能碰的红线(包括但不限于):
a. 爬取用户个人数据非法牟利,包括模拟登录他人账号,如某案中操作账号加粉;
b 爬取商业数据造成不正当竞争,如某案中破解并监控竞品GPS数据;
c. 爬取大量带有知识产权的数据用于商业目的,如某案中爬取大量视频内容;
看到爬虫这么危险,是不是就怕了?
现在打开招聘网站,会发现有非常多爬虫工程师的需求,说明市场还在。心里有根线,别去碰,爬虫我们照样用。
声明:我要去上班所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者泛在科技所有,原文出处。若您的权利被侵害,请联系删除。
本文标题:(爬虫技术违法吗)(爬虫违反国家规定吗)
本文链接:https://www.51qsb.cn/article/m9hmi.html