首页综合 > 正文

【爬虫GUI】YouTube评论采集软件,突破反爬,可无限爬取!

2023-08-28 07:53:02来源:哔哩哔哩

一、背景介绍

你好,我是@马哥python说 ,一名10年程序猿。

最近我用python开发了一个GUI桌面软件,作用是爬取YouTube指定视频的评论,6个关键字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数。


(资料图片)

软件说明

几点重要说明:

运行之前,先打开魔法

Windows用户可直接双击打开使用,无需Python运行环境

可爬取指定数量评论,或者全部评论(不存在反爬问题)

排序方式支持:按日期排序/按热门排序

可爬取6个字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数

其中,评论时间含绝对时间(年月日时分秒的格式)

效果演示

演示视频:

运行截图1:

运行截图2:

二、科普知识

关于视频id

油管视频id号,比如,/watch?v=9lc6D6nPd38,这个视频链接的视频id就是9lc6D6nPd38。YouTube的每个视频都是如此。

关于评论时间

YouTube网页上是看不到绝对时间(年月日时分秒格式)的,只能看到相对时间(几个月前、几天前之类),此软件支持爬取绝对时间。

三、爬虫代码

界面模块

软件界面采用tkinter开发。

主窗口部分:

按钮控件部分:

爬虫模块

通过请求YouTube评论的ajax接口实现,详见文末完整代码。

日志模块

好的日志功能,方便软件运行出问题后快速定位原因,修复bug。

核心代码:

日志截图:

四、获取源码及软件

爱学习的小伙伴,本次分析过程的完整python源码及结果数据,我已打包好,并上传至我的微信公众号"老男孩的平凡之路",后台回复"爬油管评论软件"即可获取! 

推荐阅读:【GUI开发】用python爬YouTube博主信息,并开发成exe软件!

我是@马哥python说,一名10年程序猿,持续分享python干货中!

关键词:

便民

点击加载更多

频道推荐

  • 服饰
  • 时尚
  • 物流
  • 灯饰
  • 养老