专利名称：MapReduce计算框架下的可迭代式数据处理方法专利类型：发明专利
发明人：邹瑜斌，张帆，须成忠
申请号：CN201310686716.7
申请日：20131212
公开号：CN103699442A
公开日：
20140402
专利内容由知识产权出版社提供
摘要：本发明提出一种MapReduce计算框架下的可迭代式数据处理方法，包括以下步骤：S10、读取原始数据，将原始数据解析成独立数据项；S20、采用Shuffle Grouping机制将所述输入数据分发至各线程或进程进行处理；S30、对数据进行哈希重组、排序，并采用Fields Grouping机制将排序后数据分发至各线程或进程；S40、各线程或进程实时对缓冲池中数据进行排序、分组；S50、将数据发送至线程或进程进行处理；S60、将返回的计算结果解析成独立数据项，重复步骤S20至S50，直至发出表示停止迭代的数据项。本发明可保持MapReduce的计算性能不因迭代而受到影响，也降低了虚拟机的创建和销毁的开销。
申请人：深圳先进技术研究院springboot 原理解析
地址：518055 广东省深圳市南山区西丽大学城学苑大道1068号
国籍：CN
代理机构：深圳市科进知识产权代理事务所(普通合伙)
更多信息请下载全文后查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。