专利名称：一种海量短文本自适应分桶的反向去重方法专利类型：发明专利
发明人：杨祎聪，金霞，杨红飞
申请号：CN202011500654.2
申请日：20201217
公开号：CN112487177A
公开日：
20210312
专利内容由知识产权出版社提供字段字符串去重复
摘要：本发明公开了一种海量短文本自适应分桶的反向去重方法，该方法包括以下步骤：首先对全量数据进行自适应分桶；然后对每个桶内的数据进行排序，去重时将排序靠后的数据去重，对排序后的数据进行两两比较，根据相似度判断两个数据之间是高度相似、相似还是不相似，不相似的数据不被去重，相似的数据直接被去重，高度相似的数据比较特征子串，将特征子串一样的去重。最后合并各个桶被去重的数据，从全量数据中剔除被去重的数据得到去重的全量数据。本发明可以在保证尽可能将相似的数据分到一个桶的情况下有效避免数据倾斜，解决了同一个桶内本应该被去重的数据遗漏的问题。
申请人：杭州火石数智科技有限公司
地址：310051 浙江省杭州市滨江区江南大道3880号华荣时代大厦1310室
国籍：CN
代理机构：杭州求是专利事务所有限公司
代理人：刘静
更多信息请下载全文后查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。