(爬虫技术违法吗)(爬虫犯法吗)

据说，互联网上有50%以上的流量都是爬虫创造的。这些爬虫里，有善意的，比如搜索引擎，也有恶意的。比如黄牛。

不管是从业者，还是爱好者，甚至旁观者，都很关心一个问题，爬虫究竟是合法还是违法的？

首先，技术本身确实是没有对错的，但是使用技术的人有。今年国家颁布了《中华人民共和国网络安全法》，很多以前处于灰色地带的业务，现在已经明确不能做了。

虽然技术是无罪的，但如果用在了错误的地方，也将要付出相应的代价。

相对安全的爬虫，应具备以下特点：

1. 遵守Robots协议，但这不代表，你遵守了Robots，就可以随便爬。2014年百度地图因大量引用大众点评的评论被起诉，最后法院的判决也说明，遵守Robots协议，但大量爬取造成的不正当竞争，依然违法。

2. 限制你的爬虫行为，禁止近乎DDOS的请求频率，一旦造成服务器瘫痪，约等于网络攻击。

3. 对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是Hacker行为。

4. 审视清楚自己爬的内容，以下是绝不能碰的红线（包括但不限于）：

   a. 爬取用户个人数据非法牟利，包括模拟登录他人账号，如某案中操作账号加粉；

   b 爬取商业数据造成不正当竞争，如某案中破解并监控竞品GPS数据；

   c. 爬取大量带有知识产权的数据用于商业目的，如某案中爬取大量视频内容；

看到爬虫这么危险，是不是就怕了？

现在打开招聘网站，会发现有非常多爬虫工程师的需求，说明市场还在。心里有根线，别去碰，爬虫我们照样用。