ubuntu安装gnutls_在ubuntu中安装pyspider(注意事项)

news/2024/7/4 8:01:53

最近生病,经历了半个月,总算是活过来了。

既然没死,那学习就永无止境吧。

今天讲讲在ubuntu中安装pyspider的注意事项吧。

PySpider 是非常方便并且功能强大的爬虫框架,支持多线程爬取、JS动态解析,提供了可操作界面、出错重试、定时爬取等的功能,使用非常人性化,选择在ubuntu中安装也是为了更好的管理和应用。

在安装PySpider之前,需要安装pip,这里使用的是Python3.6,因此安装pip3

64b4197937b3b76020346200137e3a84.png
在终端输入以下命令,并输入密码就可以开始进行pip安装:sudo apt install python3-pip

其次,还需要安装相关依赖包:

python-dev

python-distribute

libcurl4-openssl-dev

libxml2-dev

libxslt1-dev

pythonlxml

另外,还需要安装pycurl,而pycurl的依赖包有:

libcurl4-gnutls-dev

libghc-gnutls-dev

直接使用apt进行安装即可,如:

7e12fa5842ea9083c0a57f581aa9e2a9.png

安装python-dev包

然后安装pycurl,还有phantomjs

安装pycurl命令如下:

pip install pycurl
6068a0747dfda1726c48f61ea240df49.png

安装phantomjs命令如下:

sudo apt install phantomjs
6e2556dc4fff698fe583dbde1a1a142c.png

将依赖包都安装完成后,开始安装pyspider:

3f22529530ad10d6799aa087a8bae89d.png

安装完成了,就可以直接运行Pyspider:

b564ac03e200ca8df868bfdebab80992.png

然后打开浏览器,输入:127.0.0.1:5000,就可以打开pyspider界面:

40b75f5bf859d7b6c18ddb785b0f22fe.png

接下来就可以使用pyspider进行爬取数据了,下次我们讲pyspider的使用,谢谢。


http://www.niftyadmin.cn/n/2308416.html

相关文章

合肥天鹅湖万达广场机器人_2021年元旦淮南万达广场非常热闹,商家打折促销,生意非常好...

今天是2021年的元旦,新年的第1天!全省万达广场非常多,淮南万达开业已经接近两年,也是全省万达广场之一。今天我到淮南万达广场逛一逛,看一看。来到淮南万达广场,商家正忙的不亦乐乎,非常热闹&am…

后氧传感器正常数据_最简单实用的传感器检测方法(氧传感器、凸轮轴位置传感器等)...

1. 凸轮轴位置传感器(安装在凸轮轴上的凸轮轴位置传感器)01接插件的检测检查凸轮轴位置传感器的插接件接触是否良好,检测传感器插接件三个端脚之间是否有短路或严重漏电现象存在。02供电检测检测凸轮轴位置传感器端脚A所对应的插头与搭铁之间的5V供电电压是否正常&a…

aⅴgo安装包下载_【Windows系统】基于vscode搭建go语言开发环境

点蓝色字关注“CurryCoder的程序人生”微信公众号:CurryCoder的程序人生 怕什么真理无穷,进一寸有一寸的欢喜1.golang安装包下载与安装关于vscode的下载,请参见历史文章Ubuntu16.04下搭建vscode的C开发环境,本文就不再赘述啦~下面…

symbian 进度条 processbar

进度条(Progressbar)控件用于显示某个持续时间比较长的操作进度,例如邮件接受进度和文件下载进度大牛股。本节的ProgressBar示例程序显示了一个简单的进度条,进度随着事件增长,ProgressBar示例程序的运行界面如下如所示…

amd为什么还用针脚_英特尔CPU早就取消针脚了,AMD为什么还不取消?

英特尔和AMD竞争了这么多年,AMD唯一改变最小的恐怕就是接口了,到现在仍然坚持使用“老旧”的针脚式接口,而英特尔早在十多年以前就早早抛弃了针脚,使用了LGA触点式接口,当时人们还觉得AMD处理器不久后也将跟随英特尔全…

干活的不如写ppt的吗_吃相太难看:咱基层干活的不如写PPT的!

藏蓝观察社当下警事 警察心声 2018年8月27日晚,江苏省发生了著名的“昆山反杀案”,此案引发了全国热议,“正当防卫”的话题再次被摆到了桌面上。六哥一直在最基层工作,当然知道出了这样的“命案”一线警察将会又是多少的灯火通明的…

symbian在Series60中创建自定义列表(LISTBOX)

适用版本: S60 2nd Edition FP3, S60 3rd Edition 1.为什么要自定义 列表是在S60开发中经常用到的一个控件,在SDK中S60已经很周到的为我们提供了许多预定义的列表类型,其中包括 CAknSingleGraphicStyleListBox、CAknDoubleStyl…

16进制 es6_ES6数字操作

// 二进制声明let binary 0B010101console.log(binary) //21// 八进制声明let octal 0O666console.log(octal) //438//判断是否是数字let a 11console.log(Number.isFinite(a)) //true//判断是否是整数let b 11console.log(Number.isInteger(b)) //true//判断是否是浮点数l…