(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113901845 A
(43)申请公布日 2022.01.07
(21)申请号 CN202111078629.4
(22)申请日 2021.09.15
(71)申请人 昆明理工大学
    地址 650093 云南省昆明市五华区学府路253号
(72)发明人 赖华 李治瑾 文永华 高盛祥 余正涛
(74)专利代理机构 53204 昆明人从众知识产权代理有限公司
    代理人 何娇
(51)Int.CI
正则化解决什么问题      G06F40/58(20200101)
      G06F40/49(20200101)
      G06F40/289(20200101)
      G06F40/205(20200101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      基于双向依存自注意力机制的低资源神经机器翻译方法
(57)摘要
      本发明涉及基于双向依存自注意力机制的低资源神经机器翻译方法，属于自然语言处理技术领域。本发明首先从互联网上获取平行语料，并对获取的数据进行清洗，之后对源语言进行分词及依存解析，再将处理好的平行数据和依存标记数据作为输入，输入到具有双向依存自注意力机制的Transformer模型中，最终得到翻译结果。本发明提出的基于双向依存自注意力机制的低资源神经机器翻译方法，在汉语‑泰语、汉语‑英语和英语‑德语上的双向翻译上取得了很好的效果。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-01-25
实质审查的生效
实质审查的生效
2022-01-07
公开
公开

权 利 要 求 说 明 书


1.基于双向依存自注意力机制的低资源机器翻译方法,其特征在于,所述方法的具体步骤如下:

Step1、爬取互译的平行语料,通过人工筛选并对齐得到平行句对;

Step2、对处理好的平行语料进行分词、依存解析和BPE,其中对双语数据进行分词和BPE,但只对源语言端进行依存解析,解析后得到源语言的依存标记;

Step3、在Step2的基础上,将双向依存信息融合到Transformer模型中,得到具有双向依存自注意力机制的Transformer模型,再对处理好的平行语料进行训练,得到训练好的具有双向依存自注意力机制的Transformer模型;

Step4、在Step3的基础上,利用训练好的具有双向依存自注意力机制的Transformer模型在测试集上进行翻译,得到翻译结果后利用BLUE值作为评价指标对翻译质量进行评估。



2.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法,其特征在于:所述Step1中通过互联网爬取互译的汉泰平行语料,人工筛选出106万个平行句对,并为所有的
翻译任务中构建1.6万的BPE词典。



3.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法,其特征在于:所述Step2中对处理好的平行语料进行分词和依存解析,解析后得到源语言句子中子词到父词位置信息,构建父词位置向量,再利用父词位置信息即可得到父词到子词方向遍历的全部子词依存信息且无需利用外部依存解析工具,从而构建子词权重矩阵,得到双向依存信息。



4.根据权利要求1所述的基于双向依存自注意力机制的低资源神经机器翻译方法,其特征在于:所述Step3将子词到父词方向和父词到子词方向的双向依存信息融合到Transformer多头注意力机制中,对多头注意力机制进行更改,通过融合父词位置向量和子词权重矩阵,构建双向依存自注意力机制,利用双向依存信息为模型提供更全面的结构信息。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。