Fiddler抓包(浏览器⽹页抓包、⼿机端App抓包、PC客户端
(CS)抓包)
开篇:要想实现写爬⾍,抓取到数据,⾸先我们应该分析客户端和服务器的请求/响应,前提就是我们能监控到客户端是如何与服务器交互的,下⾯来记录下常见的三种情况下的抓包⽅法
1.PC端浏览器⽹页抓包
⽹页板抓包是最简单和常见的,⽐如Google/Firfox/IE等浏览器⾃带的开发者调试⼯具(F12)就可以满⾜⼀部分需求,如果在请求前和响应后最些处理,⽐如修改浏览器发出的请求数据和修改服务器相应的数据,⽤F12开发这⼯具,就不能满⾜我们的需求,这⾥我们引⼊Fiddler 抓包⼯具,可以理解为本地的代理服务器,实现转发客户端和服务器的请求和响应
设置Fiddler:
php简单开发框架
打开Fiddler,在菜单栏,打开Tools --Options,前三个选项卡设置下,OK,默认的代理设置:127.0.0.1:8888
自增自减运算符的规则然后在浏览器端设置代理:127.0.0.1:8888,可抓取到⽹页请求/响应,后续可以按需要在Fiddler端实现需求,⽐如:设置断点,过滤请求,修改请求数据,修改响应数据,截获JS等
2.⼿机端App抓包
⼿机端App抓包⽤Fiddler同样很简单,和上⾯PC浏览器抓包⽅式差不多,⼿机端要和PC在同⼀个局域⽹,⼿机Wifi设置代理,IP是PC机器的IP地址,⽐如:64.35.86.12,端⼝号是FIddler设置的端⼝号,⼀般都是8888,这样⼿机端的所有⽹络/响应请求都要经过FIddler抓发,这样我们就可以针对某些链接做分析
3.PC客户端(C/S)抓包
C/S程序抓包需要借助Proxifer
爬虫软件 appProxifier是⼀款功能⾮常强⼤的socks5客户端,可以让不⽀持通过代理服务器⼯作的⽹络程序能通过HTTPS或SOCKS代理或代理链。
由于⼀般的C/S客户端不能设置代理,所以我们FIddler检测不到数据,我们可以通过Proxifer来实现把所有的请求抓发给Fiddler,这样我们就可以在Fiddler分析客户端请求。
Proxifer设置:
设置很简单,下图所⽰,两步就OK
a).设置代理服务器和Fiddler代理设置匹配
b).设置代理规则
默认的Default,我们可以不管变量类型 python
点击添加
名称:asp站点
是否有效:是
ruby教程txt选择Fiddler的应⽤程序⽂件⽬录,选择后,确认
⽬标主机:我们本地的Fiddler设置的代理,可以任意
⽬标端⼝:任意
动作:Direct
到这⾥就设置完毕了,我们可以打开腾讯视频视频客户端,在Fiddler和Proxifer看下数据
4.电脑上所有的C/S客户端都可以抓到包
这时候Proxifer打开的时候浏览器会链接不了⽹络,可以通过设置Fiddler⽅式,连接⽹络,添加⾕歌浏览器执⾏程序⽂件,确认后,可以上⽹

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。