【爬虫GUI】YouTube评论采集软件,突破反爬,可无限爬取!
2023-08-28 07:53:02来源:哔哩哔哩
一、背景介绍
你好,我是@马哥python说 ,一名10年程序猿。
最近我用python开发了一个GUI桌面软件,作用是爬取YouTube指定视频的评论,6个关键字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数。
(资料图片)
软件说明
几点重要说明:
运行之前,先打开魔法
Windows用户可直接双击打开使用,无需Python运行环境
可爬取指定数量评论,或者全部评论(不存在反爬问题)
排序方式支持:按日期排序/按热门排序
可爬取6个字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数
其中,评论时间含绝对时间(年月日时分秒的格式)
效果演示
演示视频:
运行截图1:
运行截图2:
二、科普知识
关于视频id
油管视频id号,比如,/watch?v=9lc6D6nPd38,这个视频链接的视频id就是9lc6D6nPd38。YouTube的每个视频都是如此。
关于评论时间
YouTube网页上是看不到绝对时间(年月日时分秒格式)的,只能看到相对时间(几个月前、几天前之类),此软件支持爬取绝对时间。
三、爬虫代码
界面模块
软件界面采用tkinter开发。
主窗口部分:
按钮控件部分:
爬虫模块
通过请求YouTube评论的ajax接口实现,详见文末完整代码。
日志模块
好的日志功能,方便软件运行出问题后快速定位原因,修复bug。
核心代码:
日志截图:
四、获取源码及软件
爱学习的小伙伴,本次分析过程的完整python源码及结果数据,我已打包好,并上传至我的微信公众号"老男孩的平凡之路",后台回复"爬油管评论软件"即可获取!
推荐阅读:【GUI开发】用python爬YouTube博主信息,并开发成exe软件!
我是@马哥python说,一名10年程序猿,持续分享python干货中!
关键词: