数据采集及采集⼯具⼋⽖鱼的使⽤
数据采集及采集⼯具⼋⽖鱼的使⽤
⼀个数据的⾛势是由多个维度影响的，因此我们需要通过多源的数据采集，尽可能收集到更多的数据维度，公司保证数据质量，才能得到⾼质量的数据挖掘结果。
数据源分类：
1. 开放数据源：政府、企业、⾼校等
2. 爬⾍获取：⽹页、APP等
3. ⽇志收集：前端采集、后端脚本等
4. 传感器：图像、测速、热敏等
开放数据源：
可以从两个维度来考虑，⼀个是单位的维度，⽐如政府、企业、⾼校；⼀个就是⾏业维度，⽐如交通、⾦融、能源等领域。
爬⾍获取：
Python爬⾍三个过程：
1. 使⽤requests爬取内容，可以⽤其来抓取⽹页信息。
2. 使⽤xpath解析内容。XPath是⼀种⽤来确定 XML ⽂档中某部分位置的语⾔，在开发中经常⽤来当作⼩型查询语⾔。XPath
可以通过元素和属性进⾏位置索引。
3. 使⽤ Pandas 保存数据。pandas可以保存爬取的数据写⼊到xls或MySQL等数据库中。
常⽤⽹页信息抓取⼯具：
1. [⽕车采集器]
2. [⼋⽖鱼]
3. [集搜客]
⽇志采集：
⽇志采集最⼤的作⽤，就是通过分析⽤户访问情况，提升系统的性能，从⽽提⾼系统承载量。及时发现系统承载瓶颈，也可以⽅便技术⼈员基于⽤户实际的访问情况进⾏优化。
⽇志采集可分为两种形式：
python请求并解析json数据1. 通过web服务器采集
2. ⾃定义采集⽤户⾏为
埋点是⽇志采集的关键步骤，其是在有需要的位置采集相应的信息进⾏上报。
在需要统计数据的地⽅植⼊统计代码。
有助于了解⽤户的操作数据，适⽤于运维监控、安全审计、业务数据分析等场景。
⼀般web服务器⾃带⽇志功能，也可以使⽤flume从不同服务器集中采集、汇总和传输⼤容量的⽇志数据。
采集⽤具⼋⽖鱼的使⽤：
⼋⽖鱼采集分为三步：
1. 输⼊⽹页
2. 设计流程
3. 启动采集
流程步骤可分为基本步骤和⾼级步骤
基本步骤分别是打开⽹页、点击元素、循环翻页、提取数据
c语言do while语句格式
安卓手机游戏平台1. 打开⽹页：所有的采集默认第⼀项都是打开⽹页，在新建任务并输⼊⽹址后，⼋⽖鱼会⾃动建⽴⼀个打开⽹页流程。
2. 点击元素：这⾥元素的定义⽐较⼴泛，它可以是某个按钮，或者某个链接，也或者是某个图⽚或⽂字。使⽤这个步骤是你在
搜索或者提交某个请求。当你点击元素后，⼋⽖鱼会提⽰你想要达到的⽬的：点击该按钮、采集该元素⽂本、还是⿏标移到
该链接上。然后再选择“点击该按钮”进⾏确认即可。如果我们点击某个元素的⽬的是循环翻页，或者提取数据，那么在点
击之后，⼋⽖鱼会确认你的⽬的，你只要点击相关的按钮即可。
3. 循环翻页：很多数据都存在翻页的情况，通常你需要到翻页的位置，⽐如⽹页底部的“下⼀页”按钮，点击它，会提⽰
你“循环点击下⼀页”、“采集该链接⽂本”还是“点击该链接”。你需要确认这⾥是进⾏的“循环点击下⼀页”。
4. 提取数据：在⽹页上选择你想要提取的页⾯范围，⿏标移动到页⾯上会呈现蓝⾊的阴影⾯积，它表明了你想提取的数据范
围。然后点击⿏标后，在右侧选择“采集数据”即可。
⾼级步骤包括输⼊⽂字、验证码识别、下拉选项、判断条件、移动⿏标到元素上、结束循环、结束流程
Python爬⾍流程：打开⽹页、提取数据和保存数据。
打开⽹页：可以使⽤Requests 访问页⾯，得到服务器返回数据，包括HTML及json。
提取数据：对于HTML，可使⽤xpath进⾏元素定位提取数据。
对于json，可使⽤json进⾏解析。
保存数据：可使⽤pandas保存数据并导出csv⽂件。
Requests访问页⾯：
Requests是Python HTTP的客户端库，有两种访问⽅式：Get和Post。Get把参数包含在url中，Post通过request body来传递参数。
Get访问
中文转换器r = ('www.douban')es和solr区别
r为get请求后的访问结果，通过r.text或r.content可获取HTML正⽂。
Post表单传递
r = requests.post('xxx', data ={'key':'value'})
xpath定位：
cicd持续集成方案其可通过元素和属性来定位位置。
常⽤路径表达⽅式：
表达式含义
node选node节点的所有⼦节点
/从根节点选取
//选取所有的当前节点，不考虑位置
.当前节点
…⽗节点
@属性选择
|或，两个节点的合计text()当前路径下的⽂本内容定位HTML所有列表项⽬：
from lxml import etree
html = etree.HTML(html)
result = html.xpath('//li')
json对象：
利⽤JSON库可以完成Python对象与json对象之间的转换。
json.dumps() 将Python对象转换成json对象
json.loads() 将json对象转换成Python对象

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。