(python爬虫有多可怕)(python. 爬虫)

PS：先简单介绍一下Scrapy

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

小猿在前几天安装Scrapy的时候遇到很多的问题，可以说入了大坑... 安装了好半天才安装成功，下面是我遇到的问题：

首先用管理员身份启动CMD，输入 pip install scrapy,出现下面问题

你是否也遇到了呢? 如果遇到类似的情况，那么请耐心阅读下面的步骤吧~

下面介绍一下详细的安装过程，防止大家在安装过程中遇到同样或者类似的问题，希望给大家带来帮助~

步骤一：条件具备

首先在Windows环境下安装好python，小猿用的是3.6版本，并配置好环境变量。如图：

步骤二：安装Twisted库

1通过下载对应版本的.whl文件（小猿是64位），安装twisted库，下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

小猿下载到的是D盘的根目录下

2安装twisted 打开命令提示符窗口，输入命令：pip install D:\Twisted-17.1.0-cp36-cp36m-win_amd64.whl(下载好的twisted模块的whl文件路径）

应该很顺利~

步骤三：安装scrapy

twisted库安装成功后，安装scrapy就简单了，在命令提示符窗口直接输入命令： pip install scrapy 回车，就OK啦！

步骤四：

安装关联模块pypiwin32，在命令提示符窗口直接输入命令： pip install pypiwin32 回车

下面，你就可以检查自己的Scrapy到底安装成功不成功了，打开CMD，输入：scrapy -h ,回车

如果出现下面的你就成功了：

安装成功

但是小猿安装的道路十分坎坷，幸运女神总是不眷顾我，大哭.....出现下面问题：（你呢？）

显示的错误是没有‘zope’这一个模块，缺啥咱就补啥呗。。。这是个错误的方法

正确安装zope：

还是和步骤二安装twisted库一样，先在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载zope.interface

然后在CMD下输入 pip install D:/zope.interface-4.3.3-cp36-cp36m-win_amd64.whl

安装成功后在进行 scrapy -h

.......

这我就很崩溃了。。。喝口水，接着干！

进入Python，import zope

错误代码：

Exception:

Traceback (most recent call last):

File "e:\python3.6\lib\site-packages\pip\compat\__init__.py", line 73, in console_to_str

return s.decode(sys.__stdout__.encoding)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 3: invalid start byte

During handling of the above exception, another exception occurred:

于是将错误代码进行了搜索，找到了解决方法：是cmd的编码问题。。。。

找到对应的文档，更改，在进行测试。。。终于成功~~~！！！

此时，小猿的心情是无比激动的。。。终于成功了，要进行下一阶段的学习了，哈哈

有的时候，在安装一些软件或者插件时，会遇到各种各样的问题，也许别人很容易成功，怎么自己这么倒霉呢~不要怕，这是每个程序员必经之路，同时也在磨炼你的意志。也许你会因为各种失败内心受到一万点伤害，但是，不要放弃，相信小猿，你终究会迎来柳暗花明的。利用好百度，谷歌，必应等各种搜索工具，总有一个答案适合你！当你成功的那一刻，你会像小猿一样，收获满满的成就感！~

最后，希望大家成功安装好Scrapy。

（这是小猿的第一篇文章，可能会有些许不足，请大家多多指出，发表建议。希望大家多多关注小猿，小猿会在接下来的日子里发送更多的文章，大家一起加油吧！~）