爬虫进阶之Scrapy(一) scrapy框架安装(Windows端,Centos和Ubantu)-张柏沛IT博客

正文内容

爬虫进阶之Scrapy(一) scrapy框架安装(Windows端,Centos和Ubantu)

栏目:Python 发布时间:2019-12-04 17:52 浏览量:464

什么是Scrapy

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。


本节先介绍如何安装Scrapy


一、 在Windows系统安装scrapy

1. pip3 install wheel


2.到下面网址下载Twisted
    a. 进入到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted , 下载:Twisted-17.9.0-cp36-cp36m-win_amd64.whl(请注意,根据你的python版本和Windows系统来选择对应的whl文件;其中cp36表示python 3.6版本,amd64表示64位系统)
    b. 进入文件所在目录
    c. pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl


3.python -m pip install pypiwin32


4.pip3 install scrapy


在windows系统上直接pip install scrapy 是会报错的,报错是和twisted有关,所以在Windows端要手动安装twisted


如何判断scrapy是否安装成功:

只需进入cmd命令行 

python    #进入python命令行

import scrapy 

如果没有报错说明安装成功


二、在Linux系统Ubantu安装scrapy

在Ubantu上也要手动安装Twisted:


# 安装相应的依赖

apt-get install python-dev
apt-get install libevent-dev
apt-get install libssl-dev

apt-get install libpython3.6-dev    # 如果你的python是3.6版本的话,其他版本则对应版本安装


# 下载twisted
wget https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2
tar -xjvf Twisted-18.7.0.tar.bz2


# 安装twisted
cd  ./Twisted-18.7.0.tar.bz2

python3.6 setup.py build
python3.6 setup.py install


# 安装scrapy
pip install scrapy


三、在Linux系统Centos安装scrapy

在Centos中(我的是Centos 7),安装scrapy很简单,直接一句

pip install scrapy 

即可


如果您需要转载,可以点击下方按钮可以进行复制粘贴;本站博客文章为原创,请转载时注明以下信息

张柏沛IT技术博客 > 爬虫进阶之Scrapy(一) scrapy框架安装(Windows端,Centos和Ubantu)

热门推荐
推荐新闻