(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113033220 A
(43)申请公布日 2021.06.25
(21)申请号 CN202110407920.5
(22)申请日 2021.04.15
(71)申请人 沈阳雅译网络技术有限公司
    地址 110004 辽宁省沈阳市和平区三好街78号东软电脑城C座11层
(72)发明人 杜权
(74)专利代理机构 21117 沈阳新科知识产权代理事务所(特殊普通合伙)
    代理人 李晓光
(51)Int.CI
      G06F40/58(20200101)
      G06F40/205(20200101)
      G06F40/284(20200101)正则匹配快代理
      G06F40/289(20200101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种基于莱文斯坦比的文言文-现代文翻译系统构建方法
(57)摘要
      本发明公开一种基于莱文斯坦比的文言文‑现代文翻译系统构建方法，步骤为：通过互联网获取文言文‑现代文双语数据；对双语数据进行数据清洗得到预处理后的双语数据；对预处理后的双语数据使用基于莱文斯坦比的句对齐方法构建文言文‑现代文双语平行语料库；使用构建好的双语平行语料库基于Tensor2Tensor开源系统训练文言文‑现代文神经机器翻译模型；将训练完成的文言文‑现代文神经机器翻译模型进行封装，部署到线上，完成文言文‑现代文神经机器翻译系统的搭建。本发明在文言文‑现代文双语平行语料库空缺的情况下实现性能较好的文言文‑现代文神经翻译系统，文言文‑现代文双语平行语料库对于其他研究者将提供极大便利。
法律状态
法律状态公告日
法律状态信息
法律状态
2021-06-25
公开
公开
权 利 要 求 说 明 书
1.一种基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于包括以下步骤:
1)通过互联网获取文言文-现代文双语数据;
2)对双语数据进行数据清洗得到预处理后的双语数据;
3)对预处理后的双语数据使用基于莱文斯坦比的句对齐方法构建文言文-现代文双语平行语料库;
4)使用构建好的双语平行语料库训练文言文-现代文神经机器翻译模型;
5)将训练完成的文言文-现代文神经机器翻译模型进行封装,部署到线上,完成文言文-现代文神经机器翻译系统的搭建。
2.按权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于:步骤1)中获取文言文-现代文双语数据,步骤为:
101)使用搜索引擎得到含有文言文-现代文双语语料资源的网站作为数据来源;
102)对于文言文-现代文双语语料资源网站使用Requests库得到HTML网页;
103)对于得到的HTML网页使用Beautiful Soup库进行解析,得到文本内容;
104)对于文本内容利用正则表达式提取文言文-现代文双语数据。
3.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于:步骤2)中对双语数据进行数据清洗,包括去除HTML标签方法、过滤双语数据中乱码方法、过滤双语数据中括号内容不对应方法以及过滤双语数据词数过多方法,之后得到预处理后的双语数据。
4.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于:步骤3)中对权利要
求3中经过预处理后的双语数据,使用基于莱文斯坦比的句对齐方法构建文言文-现代文双语平行语料库,步骤为:
301)将预处理后的双语数据进行分句处理;
302)取N句文言文和M句现代文(N>=1,M>=1)进行匹配,从文言文中取1句(N=1)或依次取1~(N-1)句(N>1)与现代文的1句计算莱文斯坦比,保存比值最高的结果,将对应的文言文和现代文从初始集合中去除;
303)循环执行步骤302),直到文言文句对匹配结束或者现代文句对匹配结束;
304)对于步骤303)中得到的匹配后的双语句对,去除莱文斯坦比得分低于第一阈值或长度比大于第二阈值的句对,完成文言文-现代文双语平行语料库的构建。
5.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于:步骤4)使用构建好的双语平行语料库基于Tensor2Tensor开源系统训练文言文-现代文神经机器翻译模型,步骤为:
401)对文言文-现代文双语平行语料库数据进行分词预处理;
402)对于预处理后的数据提取校验集、训练集和测试集;
403)对于步骤402)中的训练集数据生成BPE词表,并做BPE切分生成Tensor2Tensor输入数据流;
404)对于Tensor2Tensor输入数据流进行模型训练,得到文言文-现代文神经机器翻译模型。
6.按照权利要求1所述的基于莱文斯坦比的文言文-现代文翻译系统构建方法,其特征在于:步骤5)将训练完成的文言文-现代文神经机器翻译模型进行封装,部署到线上,完成文言文-现代文神经机器翻译系统的搭建,步骤为:
501)将训练好的文言文-现代文神经机器翻译模型通过Flask部署到服务器端;
502)通过socket建立端口与网页的连接,完成文言文-现代文神经机器翻译系统的搭建。
说  明  书
<p>技术领域
本发明涉及一种翻译系统的构建方法,具体为一种基于莱文斯坦比的文言文-现代文翻译系统构建方法。
背景技术
自文化强国战略提出以来,我国经济、政治、文化的全球化发展,国与国之间的关系发展越来越密切,各国间的交流也越来越频繁。而中华上下五千年优秀传统文化的载体正是流传至今的古代文集和诗词古籍。但是由于古代汉语和现代汉语的差别较大,不仅阻碍了传统文化向国外的传播,连我们普通百姓阅读古籍都十分困难。
从国内来讲,目前古文翻译的受众体主要是中学生、对古文有着浓厚兴趣的组和专门从事古文研究的专业人士。对于他们而言,虽然有一定的古文翻译基础,但个别生僻词汇和短语仍然需要去查翻译。而纸质资料查阅起来十分麻烦,在线的古文翻译系统像百度的文言文翻译,对古文的翻译依旧存在许多错误。这将对人们理解古文,了解优秀古代传统文化造成了极大的不便利。从国外来讲,外国友人所使用的在线翻译系统仅仅支持本国语言到中文的翻译,而中文到文言文的翻译却是一片空白,这将极大阻碍传统文化的全球化推广。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。