【置顶】快速实现《活着》评论词云

余华的《活着》这本书,看完给我很大的震撼,看了一些豆瓣和掌阅的评论都非常棒,于是决定用爬虫爬了掌阅9000+条的评论,通过分词后简易做了一个75个高频词的词云。

requestsAPI
Scrapy

requestsAPI

ming.zhong 1102 1

requests 模板,可以使用Python来进行模拟浏览器自动发送请求,你不需要手动为 URL 添加查询字串,也不需要对 POST 数据进行表单编码,以此进行一些自动化动作。

路飞学城-PYTHON爬虫实战密训-第3章
Scrapy

路飞学城-PYTHON爬虫实战密训-第3章

ming.zhong 1060 1

Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。用途十分广泛,可用于如数据挖掘、监测和自动化测试,爬虫等领域.

路飞学城-PYTHON爬虫实战密训-第2章
Scrapy

路飞学城-PYTHON爬虫实战密训-第2章

ming.zhong 2454 1

通过chrome浏览器的控制台,观察使用web微信从获取二维码,扫码登入,获取联系人列表,发送消息,获取消息的请求流程。利用request模块携带相应的请求数据伪造浏览器向指定的url发送请求,从而flask后台收取的url服务端返回的消息。

路飞学城-PYTHON爬虫实战密训-第1章
Scrapy

路飞学城-PYTHON爬虫实战密训-第1章

ming.zhong 1323 0

Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是使用起来稍微麻烦,requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,