大数据发展概述及关键技术
随着信息技术和人类生产生活交汇融合，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。近年来，我国政府、企业、科研机构都投入了大量的精力开展大数据相关的研究工作，大数据在政策、技术、 产业、 应用等方面均获得了长足发展。
1、大数据概述
大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。近年来大数据在政策、技术、产业、应用等多个层面都取得了显著进展。
在政策层面，大数据的重要性进一步得到巩固。党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合”，深刻分析了我国大数据发展的现状和趋势，对我国实施国家大数据战略提出了更高的要求。
在技术层面，以分析类技术、事务处理技术和流通类技术为代表的大数据技术得到了快速的
发展。以开源为主导、多种技术和架构并存的大数据技术架构体系已经初步形成。大数据技术的计算性能进一步提升，处理时延不断降低，硬件能力得到充分挖掘，与各种数据库的融合能力继续增强。
在产业层面，我国大数据产业继续保持高速发展。权威咨询机构Wikibon 的预测表示，大数据在2018 年将深入渗透到各行各业。
在应用层面，大数据在各行业的融合应用继续深化。大数据企业正在尝到与实体经济融合发展带来的“甜头”。利用大数据可以对实体经济行业进行市场需求分析、生产流程优化、供应链与物流管理、能源管理、提供智能客户服务等，这不但大大拓展了大数据企业的目标市场，更成为众多大数据企业技术进步的重要推动力。随着融合深度的增强和市场潜力不断被挖掘，融合发展给大数据企业带来的益处和价值正在日益显现。
在利用大数据提升政府治理能力方面，我国在 2017 年出台了《政务信息系统整合共享实施方案》、《政务信息资源目录编制指南（试行）》等多项政策文件推进政府数据汇聚、共享、开放，取得了诸多进展。各地纷纷将大数据作为提升政府治理能力的重要手段，通过高效采集、有效整合、深化应用政府数据和社会数据，提升政府决策和风险防范水平，
提高社会治理的精准性和有效性。
在地方大数据发展实践方面，截至2018年2 月底，我国各地方政府对外公布了超过110份大数据相关政策文件，覆盖全国 31个省级行政区划。总体来看，我国大数据产业目前仍处于蓬勃发展阶段，各地更加注重结合当地发展特和优势进行大数据产业发展，区域协调的发展局面正在形成。
在大数据的发展过程中，无论是政府还是企业，近年来都愈发关注数据治理和数据资产管理的重要性。2018年3月，银监会出台《银行业金融机构数据治理指引》，要求银行金融机构建立自上而下、协调一致的数据治理体系。政府和企业的数据资产管理也正在从理论走向实践，为大数据应用打下坚实的基础。为应对大数据发展带来的各种问题和需求，各国政府在立法方面也动作频频，在政府数据开放、个人信息保护和数据跨境流动方面都有了一些进展。无论是政策还是立法，都旨在实现数据价值的安全释放，提升数据管理的科学化水平。
2、大数据政策环境
2014 年，大数据首次写入政府工作报告，而这一年也成为实际意义上的“中国大数据政策元年”。从这一年起， “大数据”逐渐成为各级政府关注的热点，政府数据开放共享、数据流通与交易、利用大数据保障和改善民生等概念逐渐深入人心。
2015 年 8 月 31 日，国务院正式印发了《促进大数据发展的行动纲要》（以下简称“《行动纲要》 ”），成为我国发展大数据产业的战略性指导文件。《行动纲要》作为我国推进大数据发展的战略性、指导性文件，充分体现了国家层面对大数据发展的顶层设计和统筹布局，为我国大数据应用、产业和技术的发展提供了行动指南。
2016 年，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》（以下简称“《十三五规划纲要》 ”）正式公布。 “十三五规划纲要”的第二十七章题目为“实施国家大数据战略”。这也是“国家大数据战略”首次被公开提出。《十三五规划纲要》对“国家大数据战略”的阐释，成为各级政府在制订大数据发展规划和配套措施时的重要指导，对我国大数据的发展具有深远意义。
2016 年底，工业和信息化部正式发布《大数据产业发展规划（2016-2020 年）》。《大数据产业发展规划》以大数据产业发展中的关键问题为出发点和落脚点，明确了“十三五”时期
大数据产业发展的指导思想、发展目标、重点任务、重点工程及保障措施等内容，成为大数据产业发展的行动纲领。农业林业、 环境保护、国土资源、水利、交通运输、医疗健康、能源等主管部门纷纷出台了各自行业的大数据相关发展规划， 大数据的政策布局逐渐得以完善。
在党的十九大报告“贯彻新发展理念，建设现代化经济体系”一章中，专门提到“推动互联网、大数据、人工智能和实体经济深度融合”，高屋建瓴地指出了我国大数据发展重点方向。 2017 年12月8日，十九届中共中央政治局就实施国家大数据战略进行了集体学习，深刻分析了我国大数据发展的现状和趋势，对我国实施国家大数据战略提出了五个方面的要求。
常见mpp数据库在2019年10月召开的十九届四中全会上，提出要“建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则”，“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制。” 这意味着互联网、大数据、人工智能等新一代信息技术，将成为国家治理体系和治理能力现代化的核心推动力，而技术赋也将助推把制度优势转变为治理效能。
3、大数据关键技术
如今，大数据技术体系纷繁复杂，但其中有诸多技术格外受到关注。随着社交网络的流行导致大量非结构化数据出现，传统处理方法难以应对，数据处理系统和分析技术开始不断发展。从 2005 年Hadoop的诞生开始，形成了数据分析技术体系这一热点。伴随着数据量的急剧增长和核心系统对吞吐量以及时效性的要求提升，传统数据库需要向分布式转型，形成了事务处理技术体系这一热点。然而，时代的发展使得单个组织、甚至单个行业的数据都难以满足要求，数据融合的价值更加显现，形成了数据流通技术体系这一热点。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。