专利名称：MapReduce计算框架中的高性能排序方法专利类型：发明专利
发明人：蒋达晟，陈薇，王腾蛟
申请号：CN201410145069.3
申请日：20140410
公开号：CN103995827A
公开日：
20140820
springboot原理图解
专利内容由知识产权出版社提供
摘要：本发明涉及一种MapReduce计算框架中的高性能排序方法。该方法在Map阶段按照partition分别构建缓冲链，移除partition本身进行排序的需要，并且对于每一个partition数据将按照块进行组织，降低了数据在内存中的拷贝以及文件IO方面的代价；在Map阶段不执行排序操作，在Reduce阶段以一个较大的缓冲池作为一次排序的基本单位，使得在排序的归并阶段总的归并路数是一个用户可调优的值。本发明通过一种混合的内存排序算法，优化了MapReduce框架中排序的两个阶段，基本消除了排序对于计算框架的性能影响，进而提升了计算框架的资源有效性，降低了集的整体资源消耗。
申请人：北京大学
地址：100871 北京市海淀区颐和园路5号北京大学
国籍：CN
代理机构：北京君尚知识产权代理事务所(普通合伙)
代理人：冯艺东
更多信息请下载全文后查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。