数据爬取js分析（⼀）：Python爬⾍分析⽹页js加密解密
在前⼏天学习 Python 模拟登录知乎实例，其中关于涉及到了 fromdata 的加密处理，再学习的过程中，发现利⽤ chrome devtool调试分析⽹页还是有很多技巧需要学习，因此⾃⼰了⼀个简单的实例⽤来学习 js 加密。
⼀、实例⽹站
本实例的⽹站是，学习利⽤ chome 浏览器的 devtool ⼯具对 fromdata 进⾏加密处理。
⼆、分析页⾯逻辑
1.抓包分析
⽤ chrome 打开该⽹页，然后按 F12 打开开发者⼯具 devtool，点击切换到“network”标签页。为了⽅便查看，先清除之前的请求过程，然后在⽹页上切换城市，即可看到新的 xhr 请求。
可以看到模拟登录 POST 的链接，我们最终的⽬标是构建 POST 请求所需的 headers 和 Form data 这两部分内容。
继续看 Requests Headers 信息，经过对不同城市的查询结果⽐对，发现 Headers 并未有什么独特的特征，因此我们仅先保留⼀部分必要信息。
接着，我们就需要考虑如何构建 Form data 数据。
2.调试分析
3.加密分析
知道位置后，我们可以直接把这个加密的 js ⽅法都扣出来，放在⼀个 html ⽂件内执⾏就好。
var getParam = (function () {
function ObjectSort(obj) {
var newObject = {};
Object.keys(obj).sort().map(function (key) {
newObject[key] = obj[key]
});
return newObject
}
return function (method, obj) {
var appId = '1a45f75b824b2dc628d5955356b5ef18';
var clienttype = 'WEB';
var timestamp = new Date().getTime();
var param = {
appId: appId,
method: method,
timestamp: timestamp,
clienttype: clienttype,
object: obj,
secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj)))
};
param = pt(JSON.stringify(param));
pt(param, aes_client_key, aes_client_iv)
}
})();
将该⽅法中涉及到的 js ⽅法⼀起提取出来，除了 jqury-1.8.0.min.js?v=1.2 ⽂件中的必需⽅法之外，我们还需要将 city_detail.html 中的getAQIData ⽅法提取出来，将所有的 JavaScript 放⼊到⼀个 html ⽂件，放在 script 标签内即可。
js代码加密软件记得将查询条件数据放⼊到⽅法中。
在 js 中执⾏ document.write(getAQIData())，页⾯输出正确。
三、Python 实现加密
使⽤ python 的 execjs 来执⾏ JavaScript 代码，除了需要安装 execjs 包，还要安装 node 环境。具体安装可以参考⽹上教程。
def encrypt(self, form_data):
'''
对查询条件栏的数据，进⾏加密
:param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等
:return：加密后的字符串
'''
with open('encrypt.js',encoding='utf-8') as f:
js = ad())
return js.call('getAQIData',form_data)
在测试的过程中，如果遇到 execjs._exceptions.ProgramError: ReferenceError: localStorage is not defined 错误，localStorage 是浏览器端数据存储的⽅式之⼀，将 js 中相关代码注释掉，继续测试。
//加密
function getServerData(method, object, callback, period) {
const key = hex_md5(method + JSON.stringify(object));
// const data = getDataFromLocalStorage(key, period);
// if (!data) {
var param = getParam(method, object);
return param
// } else {
// callback(data)
// }
}
成功输出结果。
四、Python 爬取⽹页
得到加密后的字符串后，需要将该内容通过 POST 请求提交到服务器，不过在实现的过程中，发现返回的内容与与前台返回的不⼀致。经过⼀番查询，
发现获取到的加密字符串内容只是与“view decoded”显⽰内容⼀致，我们尝试对数据进⾏ URL 编码，再进⾏ POST 请求。最终成功获得返回值。
接下来我们对返回的字符串进⾏解密，在分析 getServerData ⽅法分析中发现 decodeData ⽅法与解密有关。
def decrypt(self, resp_text):
'''
对服务器请求成功后返回的数据，进⾏解密
:param resp_text: 返回的数据
:
return：解密后的字符串，json格式
'''
with open('encrypt.js',encoding='utf-8') as f:
js = ad())
return js.call('decodeData',resp_text)
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论