教你用Python爬取手机App数据!居然有人说爬不了APP

这篇具有很好参考价值的文章主要介绍了教你用Python爬取手机App数据!居然有人说爬不了APP。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)!

本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据!

2、配置抓包工具
1.安装软件
本文选择的抓包工具:Fiddler

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

2.配置Fiddler
安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!)

配置Connections
打开Fiddler后,点击Tools->Options

教你用Python爬取手机App数据!居然有人说爬不了APP

 文章来源地址https://www.toymoban.com/news/detail-432055.html

点击Connections

教你用Python爬取手机App数据!居然有人说爬不了APP

 

勾选上对应的选项

配置HTTPS

教你用Python爬取手机App数据!居然有人说爬不了APP
由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

 

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler!重启Fiddler!重启Fiddler!不然可能不生效

3、配置手机代理
1.设置代理
准备工作
 首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网)

查看ip命令

教你用Python爬取手机App数据!居然有人说爬不了APP

 

window:ipconfig复制代码


开始配置
目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

教你用Python爬取手机App数据!居然有人说爬不了APP

 

2.安装证书
 在浏览器输入:

http://192.168.31.195:8888 复制代码

教你用Python爬取手机App数据!居然有人说爬不了APP

 

点击下载证书后,下面就开始安装(看图操作)

教你用Python爬取手机App数据!居然有人说爬不了APP教你用Python爬取手机App数据!居然有人说爬不了APP

教你用Python爬取手机App数据!居然有人说爬不了APP

 

 

ok,这样手机端就配置完成,下面开始抓取数据!!!

4、抓取数据
1.打开某乎app

教你用Python爬取手机App数据!居然有人说爬不了APP

 


2.查看数据包列表
打开app之后,Fiddler就已经抓取到数据了

教你用Python爬取手机App数据!居然有人说爬不了APP

 

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

教你用Python爬取手机App数据!居然有人说爬不了APP

 

这样我们获取的数据包列表就都是过滤条件内的目标网址

教你用Python爬取手机App数据!居然有人说爬不了APP

 

3.查找数据包
比如点击热榜

教你用Python爬取手机App数据!居然有人说爬不了APP

 

对应的https加密数据包如下:

教你用Python爬取手机App数据!居然有人说爬不了APP

 

数据包中的数据如下:

教你用Python爬取手机App数据!居然有人说爬不了APP

 

提取出url链接

教你用Python爬取手机App数据!居然有人说爬不了APP
https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

 

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序
# -*- coding: utf-8 -*-

教你用Python爬取手机App数据!居然有人说爬不了APP
ok这样就可以将数据获取下来! 5、总结 1.配置抓包工具Fiddler(重点)。 2.ios苹果手机配置证书和设置代理(安卓手机也类似)。 3.简单使用Fiddler(过滤数据包、查看数据包等)。 4.本文以某户为实战,实现了python爬取手机app数据(详细教程,推荐收藏)。
————————————————
版权声明:本文为CSDN博主「Python是世界上最好的语言」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_52994140/article/details/118249249

 

到了这里,关于教你用Python爬取手机App数据!居然有人说爬不了APP的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 教你用322行Python代码编写贪吃蛇

    安装和导入  规则 初始化 设定Surface,变量和显示数字的坐标  函数 线程  主要部分 总结 源码下载   贪吃蛇是一个很常见的小游戏,我们如何用Python去实现呢。 通过命令提示符安装所需模块。(以上非Python代码) 这个程序用到了pygame作为显示模块,keyboard捕获键盘操,

    2023年04月09日
    浏览(48)
  • “提效”|教你用ChatGPT玩数据

    上文给简单聊了一下为什么ChatGPT不能取代数据分析师,本文我们来深入感受一下如何让GPT帮助数据分析师“提效”。 场景一:SQL取数 背景:多数数据分析师都要用SQL语言从数据库中提取数据,SQL虽然简单,但是写几百行取数代码也是很头疼的一个操作,这个时候不妨交给

    2023年04月22日
    浏览(46)
  • 300行代码,教你用Python写个飞机大战

     闲赋在家,甚是无聊,便萌发了研究经典小游戏:飞机大战的念头,想必大家可能玩过微信的这款小游戏,给我的感觉是这款游戏怎么可以做得这么好呢,操作简单,容易上手,简直是“老少皆宜”啊~ 既然这款游戏这么棒,能否自己动手用 Python 来实现呢?事实证明是可以

    2024年02月04日
    浏览(39)
  • 可视化 | 教你用Python实现热力图(一)

    本文正在参与新星计划Python学习方向,详情请看:(93条消息) lifein的博客_CSDN博客-SQL SERVER,计算机三级——数据库领域博主 目录 一、导引 二、内容 (一)地图热力图:(动态地图) 1、环境搭建: 2、地图代码:(原始)         在可视化中,热力图可以使用颜色深浅

    2024年02月05日
    浏览(43)
  • python数据采集课设-京东手机评论爬取与分析

    1.手机评论采集,数据信息(评论,评分,用户,评论发布时间) 爬取不同的手机评论,需要设置不同的id  如上图红圈处即为手机vivo S12的id 结果展示: 2.去除停用词以及词云图展示: 本节代码对多款手机的评论进行循环处理 此代码需要使用的stopwords.txt文件以上传至资源

    2024年02月15日
    浏览(43)
  • 手把手教你用Python编写邮箱脚本引擎

    版权声明:原创不易,本文禁止抄袭、转载需附上链接,侵权必究! 邮箱是传输信息方式之一,个人,企业等都在使用,朋友之间发消息,注册/登录信息验证,订阅邮箱,企业招聘,向客户发送消息等都是邮箱的使用场景;邮箱有两个较重要的协议:SMTP和POP3,均位于OSI7层

    2024年02月06日
    浏览(59)
  • 手把手教你用Python实现2048小游戏

    感觉好久没有写小游戏玩了,今天恰巧有空.这次我来用Python做个2048小游戏吧.废话不多说,文中有非常详细的代码示例,需要的朋友可以参考下 目录 一、开发环境 二、环境搭建 三、原理介绍 四、效果图 Python版本:3.6.4 相关模块: pygame模块; 以及一些Python自带的模块。 安装

    2024年04月28日
    浏览(75)
  • 保姆级教你用Python制作超级玛丽游戏(文末赠书)

    名字:阿玥的小东东 学习:Python、C/C++ 主页链接:阿玥的小东东的博客_CSDN博客-pythonc++高级知识,过年必备,C/C++知识讲解领域博主 目录 贪吃蛇游戏 弹珠游戏 超级玛丽(爷青回~)

    2024年02月09日
    浏览(44)
  • 手把手教你用Python编写配置脚本引擎(福利篇)

    版权声明:原创不易,本文禁止抄袭、转载需附上链接,侵权必究! 配置信息初始化 定义配置引擎类和初始化方法,其中有两个属性,配置实例对象及配置文件路径: 将配置信息写入到配置文件中,该方法有三个形参,category(配置信息类别),name(配置字段名称),value(配置字

    2024年02月06日
    浏览(74)
  • Python 一步一步教你用pyglet制作汉诺塔游戏

    目录 汉诺塔游戏 1. 抓取颜色 2. 绘制圆盘 3. 九层汉塔 4. 绘制塔架 5. 叠加圆盘 6. 游戏框架   汉诺塔(Tower of Hanoi),是一个源于印度古老传说的益智玩具。这个传说讲述了大梵天创造世界的时候,他做了三根金刚石柱子,并在其中一根柱子上从下往上按照大小顺序摞着64片黄

    2024年03月12日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包