【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

这篇具有很好参考价值的文章主要介绍了【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录
  • 一、背景说明
    • 1.1 效果演示
    • 1.2 演示视频
    • 1.3 软件说明
  • 二、代码讲解
    • 2.1 爬虫采集模块
    • 2.2 软件界面模块
    • 2.3 日志模块
  • 三、获取源码及软件

一、背景说明

1.1 效果演示

您好!我是@马哥python说,一名10年程序猿。

我用python开发了一个爬虫采集软件,可自动抓取抖音评论数据,并且含二级评论!

为什么有了源码还开发界面软件呢?方便不懂编程代码的小白用户使用,无需安装python、无需懂代码,双击打开即用!

软件界面截图:【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

爬取结果截图:【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

以上。

1.2 演示视频

软件运行演示:【软件演示】抖音评论采集工具,可爬取上万条,含二级评论!

1.3 软件说明

几点重要说明:

1. Windows用户可直接双击打开使用,无需Python运行环境,非常方便
2. 需要填入cookie和爬取目标视频链接
3. 支持同时爬多个视频的评论
4. 可爬取10个关键字段,含:视频链接,页码,评论者昵称,评论者id(个人抖音号),评论者主>页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。
5. 评论中包含二级评论及二级展开评论。

二、代码讲解

2.1 爬虫采集模块

首先,定义接口地址作为请求地址:

# 请求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

定义一个请求头,用于伪造浏览器:

# 请求头
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': '换成自己的cookie值',
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

其中,cookie是个关键参数,需要填写到软件界面里。cookie获取方法如下:【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

加上请求参数,告诉程序你的爬取条件是什么:

# 请求参数
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # 视频id
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

下面就是发送请求和接收数据:

# 请求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# 发送请求
r = requests.get(url, headers=h1, params=params)
# 转json格式
json_data = r.json()

定义一些空列表,用于存放解析后字段数据:

ip_list = []  # ip属地
text_list = []  # 评论内容
create_time_list = []  # 评论时间
user_name_list = []  # 评论者昵称
user_url_list = []  # 评论者主页链接
user_unique_id_list = []  # 评论者抖音号
like_count_list = []  # 点赞数
cmt_level_list = []  # 评论级别

循环解析字段数据,以"评论内容"为例:

# 循环解析
for comment in comment_list:
	# 评论内容
	text = comment['text']
	text_list.append(text)

其他字段同理,不再赘述。

最后,是把数据保存到csv文件:

# 保存数据到DF
df = pd.DataFrame(
	{
		'目标链接': 'https://www.douyin.com/video/' + str(video_id),
		'页码': page,
		'评论者昵称': user_name_list,
		'评论者id': user_unique_id_list,
		'评论者主页链接': user_url_list,
		'评论时间': create_time_list,
		'评论IP属地': ip_list,
		'评论点赞数': like_count_list,
		'评论级别': cmt_level_list,
		'评论内容': text_list,
	}
)
# 保存到csv文件
if os.path.exists(result_file):  # 如果文件存在,不再设置表头
	header = False
else:  # 否则,设置csv文件表头
	header = True
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代码中,还含有:判断循环结束条件、时间戳转换、二级评论及二级展开评论的采集等关键实现逻辑,详见文末。

2.2 软件界面模块

软件界面采用tkinter开发。
主窗口部分:

# 创建日志目录
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# 创建主窗口
root = tk.Tk()
root.title('抖音评论采集软件 | 马哥python说')
# 设置窗口大小
root.minsize(width=850, height=650)

填写cookie控件:

# 【填入Cookie】
tk.Label(root, justify='left', font=('微软', 14), text='个人Cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # 摆放位置

填写视频链接控件:

# 【视频链接】
tk.Label(root, justify='left', font=('微软', 14), text='视频链接:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # 摆放位置

底部软件版权说明:

# 版权信息
copyright = tk.Label(root, text='@马哥python说 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日志模块

好的日志功能,方便软件运行出问题后快速定位原因,修复bug。

核心代码:

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日志格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日志级别
	self.logger.setLevel(logging.DEBUG)
	# 控制台日志
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日志文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日志文件截图:【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!

三、获取源码及软件

完整python源码及exe软件,微信公众号"老男孩的平凡之路"后台回复"爬抖音评论软件"即可获取。点击直达


我是@马哥python说,一名10年程序猿,持续分享python干货中!文章来源地址https://www.toymoban.com/news/detail-776858.html

到了这里,关于【GUI界面软件】抖音评论采集:自动采集10000多条,含二级评论、展开评论!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【GUI软件】抖音搜索结果批量采集,支持多个关键词、排序方式、发布时间筛选等!

    目录 一、背景介绍 1.1 爬取目标 1.2 演示视频 1.3 软件说明 二、代码讲解 2.1 爬虫采集模块 2.2 软件界面模块 2.3 日志模块 三、获取源码及软件 您好!我是@马哥python说,一名10年程序猿。 我用python开发了一个爬虫采集软件,可自动按抓取抖音视频数据。 为什么有了源码

    2024年02月02日
    浏览(90)
  • 大众点评评论采集软件使用教程

    导出字段: 店铺ID 评论ID 发布时间 人均消费 评分 详情链接 点赞数 浏览数 评论数 最后更新时间 发布平台 推荐 评论详情 原始评论 图片数 图片链接 用户等级 用户名称 用户头像 VIP 私

    2024年01月16日
    浏览(45)
  • 在抖音中使用语聚AI,实现自动回复用户视频评论、私信问答

    您可以通过集简云数据流程,将语聚AI助手集成到抖音视频评论、抖音私信,实现自动回复用户视频评论、私信问答,大大提升账号互动与运营效率。 ● 抖音普通号评论对接语聚AI(点击可一键使用) ● 抖音企业号私信对接语聚AI(点击可一键使用) 以抖音企业号私信接入

    2024年02月10日
    浏览(66)
  • Flutter 通过BottomSheetDialog实现抖音打开评论区,内容自动上推、缩放效果

    一、先来看下实现的效果 实现上面的效果需要解决俩个问题 当列表进行向下滑动到顶部的时候,继续滑动可以让弹窗向下收起来 弹出上下拖动的时候,视图内容跟着上下移动、缩放大小 二、实现弹窗上下滑动的时候,动态改变内容区的位置和大小 通过 showModalBottomSheet 显示

    2024年02月09日
    浏览(112)
  • 抖音无水印视频采集软件|视频批量提取工具

    轻松获取抖音无水印视频,一键提取,快速下载! 正文: 想要获取抖音上的精彩视频,但又苦于找不到无水印的版本?现在,有了我们的抖音无水印视频采集软件,Q:290615413您可以轻松实现批量提取和单独视频提取,一键下载,让您尽情畅享精彩内容! 主要功能:

    2024年04月10日
    浏览(46)
  • 抖音无需API开发连接Stable Diffusion,实现自动根据评论区的指令生成图像并返回

    抖音用户使用场景: 随着AI绘图的热度不断升高,许多抖音达人通过录制视频介绍不同的AI工具,包括产品背景、使用方法以及价格等,以吸引更多的用户。其中,Stable Diffusion这款产品受到了许多博主达人的青睐。在介绍这款产品后,他们通常会鼓励用户进行立即体验,因为

    2024年02月09日
    浏览(51)
  • 【GUI软件】小红书搜索结果批量采集,支持多个关键词同时抓取!

    目录 一、背景介绍 1.1 爬取目标 1.2 演示视频 1.3 软件说明 二、代码讲解 2.1 爬虫采集模块 2.2 软件界面模块 2.3 日志模块 三、获取源码及软件 您好!我是@马哥python说 ,一名10年程序猿。 我用python开发了一个爬虫采集软件,可自动按抓取小红书笔记数据。 为什么有了源

    2024年02月04日
    浏览(58)
  • Matlab:利用Matlab软件进行GUI界面设计实现图像的基本操作

    📌数模之路+Matlab 专栏正在持续更新中,案例的原理图解析、各种模块分析💖这里都有哦,同时也欢迎大家订阅专栏,获取更多详细信息哦✊✊✊ ✨个人主页:零小唬的博客主页 🥂欢迎大家 👍点赞 📨评论 🔔收藏 ✨作者简介:20级计算机专业学生一枚,来自宁夏,可能会

    2024年02月06日
    浏览(40)
  • 用 Python 制作可视化 GUI 界面,一键实现自动分类管理文件!

    经常杂乱无章的文件夹会让我们找不到所想要的文件,因此小编特意制作了一个 可视化GUI界面 ,通过输入路径一键点击实现文件分门别类的归档。 不同的文件后缀归类为不同的类别 我们先罗列一下大致有几类文件,根据文件的后缀来设定,大致如下 上面所罗列出来的文件

    2024年01月19日
    浏览(46)
  • 【xhs爬虫软件】把小红书博主发布笔记API接口user_posted接口封装成GUI采集工具!

    用Python开发的爬虫采集软件,可自动抓取小红书博主的已发布笔记。 小红书的已发布笔记接口URL: 开发者模式分析过程: 进而封装成GUI界面软件,如下: 软件效果: 采集结果: 演示视频: https://www.bilibili.com/video/BV1Zy421z74a 详细讲解文章: 【GUI软件】小红书指定博主批量采

    2024年04月27日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包