刮板安装的前提条件:
Python 2.7或更高版本3.3
pip和setuptools Python软件包。
xml文件
OpenSSL。
您可以使用pip安装Scrapy。要使用piprun安装:
pip install Scrapy
平台特定的安装
水蟒
这是安装Scrapy的推荐方法。
如果您已经安装了Anaconda或Miniconda,Scrapinghub公司将维护适用于Linux,Windows和OS X的官方conda软件包。
要使用conda安装Scrapy,请运行:
conda install -c scrapinghub scrapy
Ubuntu 9.10或更高版本
使用官方的Ubuntu软件包,该软件包已经为您解决了所有依赖性,并且会不断更新最新的错误修复程序。
如果您希望在本地构建python依赖项而不是依赖系统软件包,则需要先安装其所需的非python依赖项:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
pip之后,您可以安装Scrapy :
pip install Scrapy
Archlinux
您可以按照一般说明进行操作,也可以从AUR Scrapy软件包中安装Scrapy:
yaourt -S scrapy
视窗
Windows尚不支持Scrapy with Python 3。
请按照以下步骤在Windows上安装scrapy:
安装Python 2.7
调整PATH环境变量以包含Python可执行文件和其他脚本的路径。需要将以下路径添加到PATH:
C:\ Python27; C:\ Python27 \ Scripts;
从这里安装pywin32
让我们安装Scrapy:
pip install Scrapy
Mac OS X
构建Scrapy的依赖项需要C编译器和开发标头的存在。在OS X上,这通常由Apple的Xcode开发工具提供。要安装Xcode命令行工具,请打开一个终端窗口并运行:
xcode-select --install
存在一个已知问题,无法pip更新系统软件包。必须解决此问题才能成功安装Scrapy及其依赖项。以下是一些建议的解决方案:
(推荐)不要使用系统python,安装新的更新版本,该版本应与系统的其余部分不冲突。使用自制程序包管理器的方法如下:
按照http://brew.sh/中的说明安装自制软件
更新PATH变量以声明应在系统软件包之前使用自制软件软件包(如果将zsh用作默认外壳,请更改.bashrc为.zshrc一致):
echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
重新加载.bashrc以确保已进行更改:
source ~/.bashrc
安装python:
brew install python
最新版本的python已pip捆绑在一起,因此您无需单独安装。如果不是这种情况,请升级python:
brew update; brew upgrade python
(可选)在隔离的python环境中安装Scrapy。
此方法是上述OS X问题的解决方法,但它是管理依赖项的总体良好做法,可以补充第一种方法。
virtualenv是可用于在python中创建虚拟环境的工具。我们建议您阅读http://docs.python-guide.org/en/latest/dev/virtualenvs/之类的教程作为入门。
这些解决方法中的任何一种之后,您都应该能够安装Scrapy:
pip install Scrapy