面向大数据的Deep Web数据系统关键技术研究
摘要：由于数据产生成本的急速下降，人类社会产生的数据不仅以指数级别增长，而且数据的结构变得日趋复杂，使得传统的数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘，从中提取有价值的知识用于决策，已经成为产业界和学术界的广泛关注问题，在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题，总结了“deep web”课题的一些先期成果，为开发大数据管理、分析和挖掘系统提供一些参考依据。
web技术的三个关键技术
关键词：大数据；deep web；系统；技术研究
中图分类号：tj768.4文献标识码：a 文章编号：
引言
在全球经济的很多领域，大数据在以很多方式创造价值。随着各个经济领域不断挖掘大数据的潜力，我们正处在一个巨大浪潮的尖峰，这个浪潮，就是大数据驱动的创新、生产效率提高、经济增长以及新的竞争形式和新的价值的产生。
1.大数据
指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
1.1大数据的特点，业界通常用4个“v” —volume，variety，value，velocity。或者说特点有四个层面：第一，数据体量巨大。从tb级别，跃升到pb级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。
1.1.1数据体量巨大。从tb跃升到pb至eb级别。要知道目前的数据量有
多大，我们先来看看一组公式。1024gb=1tb;1024tb=1pb;1024pb=1eb;1024 eb=1zb;1024zb=yb。到目前为止，人类生产的所有印刷材料的数据量是200pb，而历史上全人类说过的所有的话的数据量大约是5eb。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。