专利名称：一种基于python脚本的分布式大数据清洗方法专利类型：发明专利
发明人：鲁红军
申请号：CN202010938368.8
申请日：20200909
公开号：CN112115127A
公开日：
python trunc函数
20201222
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于python脚本的分布式大数据清洗方法，该方法包括如下步骤，首先对待清洗的数据的加载，再对加载后的待清洗的数据进行分片操作，对待清洗的数据进行分布式调度以及执行操作，对待清洗的数据进行请求以及对清洗结果进行回填，其中，步骤一具体分为如下步骤，数据加载，首先从HBase列存数据库加载所需要进行清洗的数据，制定清洗策略，设置数据清洗策略。本发明基于大数据技术，基于HBase列存储数据库做数据清洗，解决了海量数据清洗问题，采用python引擎及脚本做数据清洗，解决了传统SQL清洗规则少的问题和jar包清洗静态编码的问题，基于Spark的分布式计算引擎，并行执行脚本，解决了大数据清洗算力不足的问题。
申请人：陕西云基华海信息技术有限公司
地址：710000 陕西省西安市高新区高新三路2号海佳云顶商住楼10603室
国籍：CN
代理机构：北京市浩东律师事务所
代理人：李雁
更多信息请下载全文后查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。