Ubuntu 16.04 安装pyspider

by Web全栈工程师 on 2016 年 10 月 13 日

Pyspider 爬虫框架：https://github.com/binux/pyspider

升级Ubuntu:

1
sudo apt-get update

安装支持类库：

1
2
3
sudo apt-get install python python-dev python-distribute python-pip \
libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \
libssl-dev zlib1g-d -y

安装phantomjs:

1
sudo apt-get install phantomjs

安装gcc编译器：

1
sudo apt-get install libpcap-dev libpq-dev

安装pyspider:

1
pip install pyspider

其他问题

tornado 5.0不向下兼容,API不支持io_loop， 所以需要降级到tornado 4.5.2版本

1
2
3
4
5
6
pip uninstall tornado
wget https://pypi.python.org/packages/fa/14/52e2072197dd0e63589e875ebf5984c91a027121262aa08f71a49b958359/tornado-4.5.2.tar.gz#md5=ab41f6765d58089f30ba51e8ec084a7b
tar xvf tornado-4.5.2.tar.gz
cd tornado-4.5.2
sudo python setup.py build
sudo python setup.py install

Tagged as: python

Comments on this entry are closed.

Previous post:

Next post: