python爬虫框架

admin管理员组

文章数量:1794759

python爬虫框架

首先说明一下，我这里讲的是Windows64/32位操作系统下的安装教程。其他linux、Ubuntu环境下的安装暂时还未整理。请自行寻找教程。

安装Scrapy主要分为一下九个步骤： 1. 安装python。（相信大家都已经安装好了） 2. 配置python环境变量。（怕大家没有配置，所以这里啰嗦一下） 3. 下载安装pywin32。 4. 下载安装pip和setuptools。（为方便后续使用pip安装scrapy） 5. 安装Twisted。 6. 安装Zope.Interface和pyOpenSSL。 7. 安装lxml。 8. 下载 Microsoft Visual C++库：VCForPython27.msi。 9. 安装scrapy.

接下来我们就来详细讲解每一步。

1.安装python。

• 官网上选择你想要下载的python版本。
• 官网地址：www.python/downloads/
• 或者我这里有python2.7版本的安装包： download.csdn/download/mtbaby/9898753直接下载即可。
• 下载后直接双击进行安装，建议安装到系统目录下，其余默认。
• 比如我安装到C盘，那我安装完后会在C盘下看到C:\\python27.

2.配置环境变量

• 将python的安装目录复制到环境变量。右击“我的电脑”-“属性”-“高级系统设置”-“高级”-“环境变量”，找到“系统变量”里的path，然后将 C:\\Python27\\;C:\\Python27\\Scripts;这两个路径添加到后面。
• 验证python是否安装成功。打开cmd，输入python， 若没有报错，则安装成功。
• 报错则说明你的环境变量加错了。请重新检查。

3.安装pywin32。

• 下载地址 sourceforge/projects/pywin32/files/pywin32/
• 官网上不好找，我这里下载了python2.7的版本的， download.csdn/detail/mtbaby/9898883
• 你可以直接下载。

• 下载后直接双击安装即可，安装完毕之后验证：

  在python命令行下输入import win32com

  如果没有提示错误，则证明安装成功

4.安装pip和setuptools。

• pypi.python/pypi/pip#downloads
• 或者download.csdn/detail/mtbaby/9898910直接下载；

• 选择pip-9.0.1.tar.gz，下载后解压，用cmd控制台进入解压目录，输入：

  python setup.py install

验证安装成功：

• pip是依赖于setuptools的，安装pip时会自动安装setuptools，所以这里就不赘述了。

5.安装Twisted。

注意：这里Twisted要安装对应版本，Twisted-13.1.0 进入python目录，输入命令

pip install twisted==13.1.0

6.安装Zope.Interface和pyOpenSSL

1.Zope.Interface下载地址： pypi.python/pypi/zope.interface#downloads 2.pyOpenSSL下载地址： pypi.python/pypi/pyOpenSSL#downloads

选择对应python版本的.egg包进行下载。如果你的Python版本和我的一样是2.7的，那这里有我下载好的两个包，直接去拿：

download.csdn/detail/mtbaby/9898934

3.这时候把这两个.egg文件拷贝进入python根目录下的scripts目录，同easy_installs等文件一个目录位置。然后进入cmd模式，在cmd模式下进入这个script目录，执行easy_install.py egg文件名，执行安装这个egg文件。

如图：

安装完以后进行验证：

没有报错说明安装成功。

7.安装lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML

直接执行如下命令

pip install lxml

就可完成安装，如果提示 Microsoft Visual C++库没安装，则看步骤8.

8.下载 Microsoft Visual C++库：VCForPython27.msi

下载地址：www.microsoft/en-us/download/details.aspx?id=44266

下载后双击运行即可。

9.安装Scrapy

最后就是激动人心的时刻啦，上面的铺垫做好了，我们终于可以享受到胜利的果实啦！

进入python下的lib目录，执行如下命令

pip install Scrapy

安装完后验证：

如果提示如下命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。

安装报错

别看我文章写的安装那么顺利，其实在安装的时候踩了不少坑，下面我就来说说：

1.步骤5，在安装Twisted的时候，我是下载Twisted的版本是Twisted 11.1，结果下载后安装完，进行步骤9的时候，提示

…… Requirement already satisfied: Twisted>=13.1.0 in /usr/lib64/python2.7/site-packages (from Scrapy) …… TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError: ‘module’ object has no attribute ‘OP_NO_TLSv1_1’

网上查了一下，结果是Twisted 的版本不对，需要下载13.1版本的， 这里附上地址twistedmatrix/Releases/Twisted/13.1/

真的是，内心一万个***在奔腾。好吧，就就用命令下载

pip install twisted==13.1.0

这样就好了。

2.其他的报错我没记住啊，大家遇到了以后要和我分享啊。

本文标签： 爬虫框架Python