Python3安装Scrapy的⽅法步骤
本⽂介绍了Python3安装Scrapy的⽅法步骤，分享给⼤家，具体如下：
1. 运⾏平台：Windows
2. Python版本：Python
3.x
3. IDE：Sublime text3
⼀、Scrapy简介
Scrapy是⼀个为了爬取⽹站数据提取结构性数据⽽编写的应⽤框架，可以应⽤于数据挖掘，信息处理或存储历史数据等⼀些列的程序中。Scrapy最初就是为了⽹络爬取⽽设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。
为什么学习Scrapy呢？它能我们更好的完成爬⾍任务，⾃⼰写Python爬⾍程序好⽐孤军奋战，⽽使⽤了Scrapy就好⽐⼿底下有了千军万马。Scrapy可以起到事半功倍(甚⾄好⼏倍*.*)的效果。所以，学习Scrapy也就显得很有必要了。
⼆、Scrapy安装
1.直接使⽤指令pip3 install scrapy，发现有诸多错误。
1. Failed building wheel for lxml
2. Microsoft Visual C++ 10.0 is required
3. Failed building twisted
4. Unable to find vcvarsall.bat
遇到的错误，如下图所⽰：
2.解决办法
(1)在cmd中输⼊指令python，查看python的版本，如下：
从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。
(3)在cmd中输⼊DOS指令，进⼊下载好的whl⽂件夹下，例如我的三个whl⽂件放在了Scrapy⽂件夹下：
(4)依次执⾏如下命令：
a.pip3 install wheel
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl
这样Scrapy的安装就完成了，请忽略最后两⾏让我升级pip的信息。*.*
(5)Srapy已经安装成功，还要下载pywin32，到对应版本下载，⼀路下⼀步安装即可。安装完成后，就可以正常使⽤Scrapy了。
⾄此，⼤功告成，我们可以愉快的使⽤Scrapy了。
常见错误
1、pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))
six包版本过低，six包是⼀个提供兼容Python2和Python3的库，升级six包即可。
sudo pip3 install -U six
2、c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory
缺少Libffi这个库。什么是libffi？“FFI” 的全名是 Foreign Function Interface，通常指的是允许以⼀种语⾔编写的代码调⽤另⼀种语⾔的代码。⽽Libffi库只提供了最底层的、与架构相关的、完整的”FFI”。
安装相应的库即可。
Ubuntu、Debian：
sudo apt-get install build-essential libssl-dev libffi-dev python3-dev
CentOS、RedHat:
sudo yum install gcc libffi-devel python-devel openssl-devel
sublime text3安装教程3、ImportError: No module named 'cryptography'
这是缺少加密的相关组件，利⽤pip安装即可。
sudo pip3 install cryptography
4、ImportError: No module named 'packaging'
缺少packaging这个包，它提供了Python包的核⼼功能，利⽤pip安装即可。
sudo pip3 install packaging
5、ImportError: No module named 'appdirs'
缺少appdirs这个包，它⽤来确定⽂件⽬录，利⽤pip单独安装即可。
sudo pip3 install appdirs
以上就是本⽂的全部内容，希望对⼤家的学习有所帮助，也希望⼤家多多⽀持。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。