中英文翻译搜索引擎
项目报告
一、 项目背景：
随着Internet的迅速发展，搜索引擎在网络中扮演着越来越重要的角，天网、百渡和google 的使用者达到数百万。搜索引擎预先从网络上抓取网页，在本地建立副本或者索引，对用户的查询作出快速响应。就目前的搜索引擎而言，存在的问题还有很多，比如：如何提高搜索的精确度和结果的有效性，如何提高搜索引擎的效率和性能，如何构建具有智能代理的信息过滤和个性化服务，如何适应交叉语言在搜索中的使用等等。因此，搜索引擎已经成为了一个新的研究、开发领域，由于对它的研究需要涉及到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以极具综合性和挑战性。
通过研究搜索引擎的发展趋势，我们把注意力集中在开发具有翻译功能的搜索引擎上（具体项目计划可以参看《多语言翻译搜索引擎商业计划》）。由于时间和技术限制，本次课程实习只实现了中英文翻译的搜索引擎原型。
二、 目的和意义
使用搜索引擎，我们只需要输入少量的关键字，就可以在数秒时间内得到所需的信息结果集，从而大大提高我们的工作效率。中英文搜索引擎中，用户只需要中文关键词，就可以自动翻译成英文关键词进行查询。可以同时返回中文查询结果和英文查询结果，当然，该搜索引擎也支持通常的单语言的查询。
三、 中英文搜索引擎的实现方法
A. 基本实现方法
中英文搜索引擎的执行流程如下：
1． 输入中文关键词
2． 中文关键词到英文关键词的翻译
考虑到语料库实现的复杂性，该翻译功能由金山词霸在线翻译系统完成。根据金山词霸返回的结果页面，提取较为合理的单词，作为英文关键词。根据输入的中文短语，金山词霸的返回可能为单个英文单词或者英文短句，在提取英文关键字的时候，必须对两种情况分别处理。通过分析返回页面，出统一标志域，然后提取该标志域对应的文本信息。提取出可能作为关键词的英文单词或者英文语句。比如金山词霸返回的翻译结果页面为result.htm，单词和短语的处理规则如下：
单词
结果页面result.htm中单词选取时，由于没有语义信息，主要是根据每个词的权值进行选择，权值的大小和词在翻译结果网页中位置，以及其在翻译结果网页中的词频有关。我们认为词频越大，正确地概率越大。
短语
对于短语的查询，返回的是包含短语的句子。通过对句子求最大公共子句，出翻译的结果短语。同样，对于不同的翻译结果，我们也根据频率选择作为查询关键字。
3． 网页的抓取
根据中英文关键词，搜索相关页面。
4． 查询结果的返回
返回最为匹配的前10条结果。
B. 完整的中英文搜索引擎流程
中文关键词到英文关键词的转化是该搜索引擎的关键部分，为了提高搜索引擎的速率和准确性，建立转化词表，用户输入某个查询词时，先在词表中是否已经有对应的词条，如果没有，则到金山词霸实现在线翻译，并将翻译的结果加入词表中。这样，完整的中英文搜索引擎流程可以用下图表示：
四、 性能评测
中英文翻译搜索引擎的开发已经基本完成，我们选取了部分查询词进行测试，测试集包括计算机，医学，经济，人名，地名等常用词汇。
测试结果：
类别
测试词数
正确结果数
准确率
计算机
18
15
83％
医学
26
21
80％
人名
20
10
50％
地名
57
40
70％
经济
21
15
71％
其他
25
23
92％
测试中可以发现，受金山词霸的影响，人名、地名等翻译支持的不是很好，我们在查询中维护查询记录，可以在词典中增加常用查询词的翻译。我们的中英文翻译搜索引擎在金山词霸可以正确翻译的情况下，基本上可以正确的获取查询结果。可以通过更强大的翻译支持，或者本地词典，增加搜索引擎的性能。
五、 项目总结
  从该搜索引擎项目的提出到开发完成，历时一个月左右，小组内成员分工如下：
调研阶段：施澍 网络连接与网页抓取
          刘姝 网页中单词和短语的提取
          黄嘉露 网页查询返回结果的选取
          赵雅  测试集或者词典的选取
开发阶段：施澍、刘姝  基本平台的构建，网页中单词短语的提取
测试阶段：赵雅    计算机和人名
          黄嘉露  地名和其他常用词汇
          刘姝    经济和医学
          施澍    根据测试中发现的不足修改程序
文档：  黄嘉露、刘姝  商业计划
        刘姝      项目开发报告
        施澍      PPT及报告
六、 附录
测试原始数据
关键字
翻译结果
中文有效页面
英文有效页面
异常情况
爱滋病
AIDS
10
很好
非典
SARS
癌症
cancer
10
很好
cholera
7(另外3个相关)
酵母
yeast
7（另外3个相关）
干燥病
xerosis
8
2
冠心病
Coronary heart disease
10
很好
冠周炎
pericoronits
9
1
肝炎
Hepatitis
10
很好
白血病
leucocythemia
6
百日咳
Whooping cough
10
很好
哮喘
Asthma and dyspnea
6
结核病
tuberculosis
10
痛风
gout
10
病
anthracnose
无
糖尿病
Diabetes mellitus
10
很好
红斑性肢痛病
erythromelalgia
10
很好
肝硬化
hepatocirrhosis
10
很好
支气管炎
bronchitis
10
很好
类风湿性关节炎
0
无
骨质疏松症
osteoporosis
10
很好
精神分类症
schizophrenia
10
很好
血吸虫病
schistosomiasis
10
很好
咽炎
pharyngitis
10
很好
寄生虫病
Parasitic disease
7
3
资本主义经济
Capitalist economy
10
很好
混合经济
Mixed economy
10
很好
固定资产
Fixed assets
10
很好
浮动汇率
Floating rate
10
很好
证券公司
stockjobber
9
证券交易所
Stock exchange
7
利息
interest
7
短期贷款
无
估税标准
无
税制
Tax system
7
国际商会
无
万国邮政联盟
Universal postal union
10
联合国贸易与发展理事会
United nations trade and development board
3
欧洲自由贸易区
无
中国银行
Bank of china
2
3
世界银行
World bank
9
大通银行
The chase bank
8
国际开发协会
IDA
7
国际结算银行
BIS
9
1
控股公司
Holding company
4
6
尔菲尔铁塔
无
10
0
无英文
凯旋门
Triumphal arch
8
10
金字塔
Pyramid
5
比萨斜塔
Leaning Tower
7
10
迪斯尼乐园
Disneyland
10
9
莱茵河
Rhine
10
多瑙河
Danube
5
5
天坛
无
3
中国国家图书馆
无
10
清华大学
Qinghua University
10
7
关公庙
无
大雄宝殿
无
东方明珠
无
莫斯科红场
西湖
金soft软件king山
错误！
太湖
kikngXsoft
3
错误！
唐人街
无
雅鲁藏布江
Brahmaputra
5
喜马拉雅山
错误！
错误！
珠穆朗玛峰
Everest
10
狮身人面像
Sphinx
10
三峡
错误！
神农架
无
泰山
Taishan Mountain
10
下载翻译器英文翻中文
九寨沟
未知
只有一个网站
加勒比海
Caribbean Sea
10
富士山
Fuji
1
变成富士了
好莱坞
Hollywood
8
洞庭湖
错误！
圆明园
无
长江
Yangtse Rive
3
苏伊士运河
Suez Canal
10
安第斯山
ANDES
10
黄河
Yellow River
10
长城
Great Wall
10
亚马逊雨林
无
地中海
Mediterranean Sea.
10
死海
THE DEAD SEA
10
曼彻斯特
Manchester
7
北海道
Hokkaido
8
冲绳
Okinawa
9
玛雅
Mayan
3
伊斯坦布尔
Istanbul
5，其他非英语
阿根廷
Argentina
3，除去非英语
布拉格
Prague
9
夏威夷
Hawaii
7
旧金山
San Francisco
6
马赛
Marseilles
5
开罗
Cairo
7
盐湖城
Salt Lake City
5
威尼斯
Venice
5
柏林
Berlin
3
好望角
kingXsoft
错误！
马六甲
Malacca
10
尼日利亚
Nigeria
10
莫斯科
Moscow
8
马尔代夫
Maldive
10
杯子
CUP
10
显示器
Display Unit
10
书籍
Liber
10
打字机
typewriter
10
公寓
Rooming House
10
手套
Gloves
10
狮子
LION
10
日光灯
Fluorescent Lamp
10
演讲
Make a Speech
10
女孩
RAGAZZA
10
星座
Constellation
10
雪花
Snowflake
10
报警器
Annunciator
10
自信
Self-Trust
10
绅士
Signior
10
走廊
Corridor
10
无中文结果
乌贼
SEPIA
都是英文网站
但是其他意思
神化
Mythos
10
宙斯
Zeus
10
耳机
Earphone
10
豆腐
Bean Curd
10
水母
jellyfish
10
缓存
Buffer memory
10
10
无
高速缓存
Cache
10
7
无
电路
electrocircuit
10
5
无
芯片
Chip
10
10
无
键盘
Keyboard
10
10
无
电源
Power
10
10
无
主板
Mainborad
10
8
无
只读存储器
Read-only memory/rom
10
Rom :2;Read-only memory : 8
无
声卡
Sound card
10
8
无
选择器
Selector
10
10
无
界面
Interface
10
10
无
模板
Template
10
10
无
漫游
Vagabondize
10
10
无
口令
Password
10
10
无
协议
Protocol
10
8
无
防火墙
无
10
无
没有英文结果
搜索引擎
无
10
无
没有英文结果
多媒体
Multimedia
10
9
无
克林顿
Bushmeetsclinton
10
4
无
布什
N
10
0
无
大仲马
Dumas
10
10
雨果
无
10
无
列夫.托尔斯泰
Leo Tolstoy
10
10
马克·吐温
10
没有英文结果
左拉
Zola
10
10
乔伊斯
10
没有英文结果
乔治.华盛顿
Washington
10
10
林肯
Lincoln
10
10
富兰克林
franklin
10
10
卡特
10
没有英文结果
莎士比亚
Shakespeare
10
10
泰戈尔
Tagore
10
10
威廉
William
8
6
朱立叶
10
没有英文结果
杰克·伦敦
10
没有英文结果
简·奥斯汀
10
没有英文结果
小仲马
10
没有英文结果
狄更斯
10
没有英文结果
大海
ocean
10
9
草原
veldt
10
8
旅游
Tour
10
8

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。