(python爬虫有多可怕)(python爬虫有道翻译)

“全国各省市三百多行业数据信息采集”“python爬虫程序数据采集代写软件，专业老手，定制化服务”……南都记者调查发现，数据采集业务“风光无限”的背后，隐藏着一条非法爬取用户数据的黑色产业链——“专业老手”编写爬虫软件、提供软件订制服务，黑产团伙购买软件批量生成“大数据”信息再转手出售，乱象层出不穷。

所谓网络爬虫，指的是一种按照既定规则自动抓取网络信息的程序或脚本，可以视为一种网络机器人。也就是说，网络爬虫可以在信息海洋里代替你的眼睛和手，按照你的需要为你获取数据。本来爬虫是可以大大提升效率的工具，但被不法分子利用，就成了新型犯罪的工具。

大数据时代，数据信息的价值堪称新时代石油，是非常重要的资源，也和每个人的个人隐私和生活紧密相连。正因如此，收集各种平台上的数据，才有了变为生意的市场和可能。在某二手交易平台上，有不少提供所谓“大数据”采集信息服务的商家，声称可进行“专业爬虫”“各大网站数据采集、数据处理、数据分析”，还有商家叫卖数据信息采集器，购买软件无限量导数据还帮忙介绍客户。有爬虫卖家称可抓取的信息覆盖全国300多个行业，每个行业只需要49元；智联招聘的上万份简历被打包出售，每份只要一块五；各种网站、公众号、赶集和58等同城平台、链家等房产中介平台，以及饿了么等外卖平台，信息都有得卖，信息采集费用按难度从100元到300元不等。

花两杯奶茶的钱就能买到一个行业的信息，花10杯奶茶的钱高级的信息都能到手，而你花了多少年的积累用了多少天的精力甚至出了几百块找人排版的简历只需要一块五。价格之低，获取之便利，令人咋舌。

这种新型犯罪导致的伤害深度广度都是传统犯罪所不能比的。传统的偷盗，被盗的物品价值多少损失就是多少。而大数据尤其是用户行为数据是一个平台的核心资源，对于平台价值和往后策略都可能有着关键性的影响。平台的大数据被盗，整个平台的产品设计、价值定位都可能受到影响，而如果平台用户信息泄露严重，平台的信誉也会随之降低，对前景的影响难以估量。企业之间因为相互爬取数据已经引发了许多不正当竞争案件，很多公司也已经开启了反爬虫策略。而需要注意的是，即使通过爬虫非法获取的是公开数据，没获得平台授权也可能构成侵权甚至违法犯罪。

网络爬虫类新型犯罪，影响的不只是被爬取数据的平台和网站，更是上面的每一个用户和被牵连的人。二手平台网络爬虫卖家售卖的内容包括著名招聘网站的简历尤其是中高端简历、法院的判决书、淘宝的买家和商家信息、小区业主信息甚至网贷实时申请数据。当这些数据被随意售卖，隐私荡然无存，你在不法分子面前就是一个透明人，可以轻易地被掌控。而且，这样的数据抓取不是针对个人的报复，而是覆盖所有人的广泛收集，即使你再小心都不可避免会在网络上留下个人信息，那么，信息被爬取之后，等待你的很可能是财产被盗、电信诈骗、敲诈勒索甚至人身威胁，而这一切你可能毫不知情也难以防范。

网络爬虫新型犯罪危及每一个公民的权益和安全，但依靠个人几乎防不胜防。目前，这一类新型犯罪已经有一部分被侦破，如号称最大的简历大数据公司被查。但在网络爬虫犯罪如此普遍且猖獗的当下，不仅需要侦破个案，而是由各个包括企业在内社会关节共同组成的一个有序的常态化防护网，才能给公民最基本的信息安全保障。