百度文库xpath定位八爪鱼采集过程中常出现的问题以及解决方法
本教程主要讲的是如果你在使用八爪鱼采集时遇到一些问题,如何快速出错误、解决错误或者如何了解错误、更好的和客服沟通的方法。
八爪鱼采集器主要通过技术将用户浏览网页的操作进行定位和模拟来收集数据,用户不需要明白网页架构、数据采集原理等技能,通过八爪鱼采集器就可以构成八爪鱼可以看懂的、可以循环工作的采集流程。
如果存在采集模式不满足需求的情况,排错后面有更加详细的教程。
采集过程中出现的错误可以归类为五个方面,分别是网页问题、规则问题、定位模拟问题、采集器问题、以及云端问题。当采集出现异常时,请先按照如下流程进行错误排查,寻问题类型:
1、手动执行一遍规则:打开界面右上角的流程图,用鼠标点击流程图内规则,从上至下,每次点击下一步都有相应反应,没有发生反应的步骤则是问题出现步骤。
注意点:
1)循环内的点击以及提取元素要手动选择循环中除第一个以外的内容,防止循环失效,只点击提取循环内第一个元素
2)所有规则每一步执行完才执行下一步,网页未加载完全,即浏览器上圆圈等待图标未消失时,观察网页内容是否加载完全,如果加载完全可以自行取消加载,再配置规则。
2、进行单机采集,查看采集结果中未采集到数据的项目。
注意点:规则中最好加入当前网址,这样出现未采集到数据的项目,可以复制网址在浏览器中打开查看原因,确定错误。
下面分别将可能出现问题的现象叙述如下,供你参考:
1、手动执行步骤无反应
可能现象有两种:
1)未正常执行步骤
原因:规则问题、采集器问题、定位模拟问题
解决方法:
可进行排查,删除该步骤,重新添加一遍,如果还是无法执行,则排除了规则问题,你可以:
将该网页在浏览器打开进行操作,如果一些滚动翻页或点击翻页在浏览器可以执行而采集器中不能执行,则是采集器问题,原因是采集器内镶浏览器为火狐浏览器,可能是内镶的浏览器版本在随后的版本发生了变化,导致在浏览器可以实现的功能,在采集器内镶浏览器中无法执行,该类网页中的数据,智能采集翻页或滚动之前的数据。
排除了采集器问题及规则问题后,你可以尝试在与制作规则时同样布局的页面上进行重新添加步骤,如果在这样的页面可以执行而只在部分页面无法执行,则是定位模拟问题,该问题往往存在于时间跨度较大的网站,原因是网站布局发生变化,导致采集器定位所需的XPath发生变化,请参考XPath章节修改规则或,建议向客服说明网站网址和错误原因,方便客服给出解决方案。
八爪鱼采集器排错-图1
2)循环内的点击或采集只发生于第一条内容,点击第二条内容依然采集到第一条内容时
原因:规则问题,定位模拟问题
解决方法:
查看循环当中的第一项是否勾选点击当前循环中设置的元素这一项如果勾选了依然不可以,你可以:
如果循环内有其他循环,先参考上问题1的动图将里面的内容移出去,删除有问题的循环,重新设置一次,如果移出去的规则没有自动复位需要手动复位,如果循环可以使用则排除规则问题,如果不可以,则是定位模拟问题,你可以:
查看循环中提取数据的自定义数据字段,查看自定义定位元素方式,看里面是否存在相对Xpath路径,如果不存在,则删除字段,勾选外层高级选项中的使用循环,并重新添加,再次尝试如果有反应,则问题得到解决,如果依然不行,你可以:
参考Xpath章节对网页Xpath进行修改或,建议向客服说明网站网址和错误原因,方便客服给出解决方案。
八爪鱼采集器排错-图2
2、单机采集采不到数据
可能原因有4种:
1)单机运行规则,数据还没采完便显示采集完成
此种现象分为3种情况
① 打开网页后直接显示采集完成
原因:网页问题,第一个网页加载过慢,八爪鱼会等待一段时间,超出一定时间还在加载八爪鱼就会跳过了这个步骤,后续步骤以为内容未加载出来采不到数据,八爪鱼就结束了任务,造成采集不到数据。
解决方法:将网页的超时时间加长,或者在下一个步骤设置执行前等待,让网页有足够长的时间加载。
八爪鱼采集器排错-图3
八爪鱼采集器排错-图4
② 网页一直处于加载状态
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论