python抖⾳⽂案提取_⼀篇⽂章教会你⽤Python抓取抖⾳app
fifo结构热点数据!
arm系列嵌入式设备简介今天给⼤家分享⼀篇简单的安卓app数据分析及抓取⽅法。以抖⾳为例,我们想要抓取抖⾳的热点榜数据。
要知道,这个数据是没有⽹页版的,只能从⼿机端下⼿。
安装完成后要设置代理,依次点击代理——代理设置。input标签跳转页面
然后在⼿机端设置代理,如下图所⽰:
抖音python入门教程>interruption翻译在保证⼿机和电脑在同⼀局域⽹的情况下,代理服务器主机名设为电脑的ip地址,端⼝设为8888。
最后在电脑端和⼿机端分别安装证书。
电脑端安装⽅法:依次点击帮助——ssl代理——安装charles root证书 ,按下图进⾏安装。
⼿机端安装⽅式:帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。
删除表的sql语句是什么再在模拟器浏览器中输⼊chls.pro/ssl,会⾃动下载⼿机端证书
最后再⼿机端依次点击设置——安全——从SD卡安装。
为证书命名,点击确认就安装成功了。
打开charles,然后打开抖⾳app的热点榜界⾯,在charles很容易就到了数据接⼝,⼀次就返回了50条数据,如下图所⽰。
它的url信息如下图所⽰。
此接⼝只能返回这⼀时刻的热点数据,要想返回新的数据,就要变换参数信息,但是App端的数据接⼝参数都⽐较复杂,这⾥我们不再深⼊分析。
为了解决这⼀问题,我们可以⽤appium定时模拟操控⼿机,然后⽤mitmproxy把数据拦截下来(关于appium、mitmproxy的简介与安装⽹上有很多教程,这⾥不再赘述)
Appium脚本如下图所⽰:
这个⾃动化测试脚本⽐较简单,主要是重复获取热点最新信息。
Mitmproxy脚本如图:
有4点需要注意的地⽅:
1.⽤mitmproxy抓包前,先把⼿机代理ip端⼝设置为8080,设置⽅法同上;
2.要想在此脚本运⾏外置函数,必须加上前两⾏,要不然会出错;
3.脚本中if url quest.url为数据流判断条件,如果url在该数据流的url请求数据中,则判断该数据为抖⾳app热点数据;
4.最后在脚本所在路径运⾏以下程序:
最后再运⾏appium⾃动化测试脚本,就⼤功告成了。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论