大数据etl工具有哪些审计大数据处理方法及系统
一、背景技术
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。但是，传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。因此，亟需一种新的审计大数据处理方法。
通过上述分析，现有技术存在的问题及缺陷为：传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。
二、技术方案
提供了一种审计大数据处理方法及系统。审计大数据处理方法包括以下步骤：
步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据；
步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换；
步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器；
根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一个以上第一数据与一个以上第二数据的序列标识的对应关系；
对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上第二服务器，作为该第二服务器的存储标识范围；
步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各个模块的正常运行；
步骤五，通过审计数据预处理模块利用审计数据预处理程序利用ETL技术对结构化转换后
的审计数据进行预处理，得到预处理后的审计数据；
步骤六，通过特征提取模块利用特征提取程序对预处理后的审计数据特征进行提取；
步骤七，通过审计数据分析处理模块利用审计数据分析处理程序利用提取的审计数据特征对审计数据进行分析处理；
步骤八，通过审计数据输出模块利用数据输出程序将分析处理后的审计数据进行输出；
步骤九，通过数据更新显示模块利用审计数据更新程序将所述审计大数据处理系统数据进行更新，并通过高清LED显示器进行显示。
进一步，步骤一中，所述通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据，具体包括：
(1)开始；
(2)骨干节点B判断骨干节点B的网络前缀是否等于骨干节点B的网路前缀，如果是，则执行步骤(4)，否则执行步骤(3)；
(3)如果骨干节点B的网络前缀大于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的网络前缀小于骨干节点B的网络前缀，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；
(4)骨干节点B判断骨干节点B的节点ID是否等于骨干节点B的节点ID，如果是，则执行步骤(6)，否则执行步骤(5)；
(5)如果骨干节点B的节点ID大于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的节点ID小于骨干节点B的节点ID，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤(7)；
(6)如果骨干节点B广播的地址创建消息中的随机数大于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级大于骨干节点B，如果骨干节点B广播的地址创建消息中的随机数小于骨干节点B广播的地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级小于骨干节点B；
(7)结束。
进一步，步骤二中，所述通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换的方法为：
将获取的原始审计数据转化为可检索的二维表；在形成所述二维表过程中，跳过对空行的提取。
进一步，步骤五中，所述通过预处理程序利用ETL技术对结构化转换后的审计数据进行预处理的方法，包括：
(I)将审计数据中的每一条记录封装成数据流类型的对象，将数据流类型的对象插入到缓存队列中，等待下一步操作；
(II)利用ETL技术匹配数据流类型的对象的特征，对审计数据进行预处理，得到匹配后的数据；
(III)将匹配后的数据发送至云数据库服务器。
进一步，步骤(II)中，所述利用ETL技术匹配数据流类型的对象的特征，对审计数据进行预处理的方法，包括：
1)配置数据流类型的对象的匹配模板，设置匹配规则；
2)生成相应的匹配器，将所述匹配模板加入到匹配器中；
3)用匹配器依次读取数据流类型的对象，依次匹配数据流类型对象的特征。
进一步，步骤七中，所述通过数据分析处理模块利用分析处理程序利用提取的审计数据特征对审计数据进行分析处理的方法，包括：
通过数据清洗、数据转换、数据整合及数据加载中一种或者多种操作将所述基础数据转换为符合会计准则的规范化数据的所述第一数据；
通过分析处理程序基于审计师知识图谱的智能审计模型和/或大数据相关性审计方法模型利用提取的审计数据特征得到所述第二数据。
本发明的另一目的在于提供一种审计大数据处理系统，所述审计大数据处理系统包括：
审计数据获取模块、结构化处理模块、审计数据存储模块、中央处理模块、审计数据预处理模块、特征提取模块、审计数据分析处理模块、审计数据输出模块、审计数据更新显示
模块；
审计数据获取模块，与中央处理模块连接，用于通过审计数据获取设备获取待处理的原始审计数据；
结构化处理模块，与中央处理模块连接，用于通过结构化处理程序将获取的原始审计数据进行结构化转换；
审计数据存储模块，与中央处理模块连接，用于通过存储程序将结构化转换后的审计数据以文件扩展名的形式存储至云数据库服务器；
中央处理模块，与审计数据获取模块、结构化处理模块、审计数据存储模块、审计数据预处理模块、特征提取模块、审计数据分析处理模块、审计数据输出模块、审计数据更新显示模块连接，用于通过中央处理器控制所述审计大数据处理系统各个模块的正常运行；

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。