防爬虫应对策略
1. 使用访问时间限制：系统可以设置间隔时间，ex：在每30秒内，只在一个IP下允许一次请求，以此来把握爬虫的行为，限制爬虫访问资源的频率。
2.登录明文验证码：在用户登录时，在登录表单中增加一个明文验证码，用户登录后必须输入这个明文验证码，爬虫行为如果没有进行输入，则认为是爬虫，就可以及时阻止爬虫的行为。
3.增加反爬虫的相关头部：有时候，爬虫会伪造浏览器头部，来骗过系统，因此，增加相关的头部，那么可以过滤掉一部分爬虫。
4.识别客户端的频繁访问：比如识别出客户端频繁访问，如果识别出是爬虫程序，可以做一些简单的阻止措施，让它获取到的是错误信息。
cookie阻止好还是不阻止好
5. 增加爬虫被发现的可能性：比如，对于所有的请求，记录IP地址，user-agent等信息，通过日志定期分析，以确定有没有可疑的爬虫行为，如果确定有爬虫，可以采取一些措施。
6. 增加Cookie验证：可以在客户端使用浏览器cookie来记录登陆信息，爬虫行为如果没有正确携带cookie，就可以被系统识别出来，从而有效阻止爬虫。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。