大数据平台
详细设计说明书
文档版本号：文档编号：
文档密级：归属部门/项目：编写人：生效日期：
文档修订记录
版本号修订日期修订人
修订说
明
修订
状态
审核日期审核人批准人
修订状态：A--增加，M--修改，D--删除日期格式：YYYY-MM-DD
1概述
1.1编写目的
以项目概要设计和数据库设计为依据，对项目中各个模块进行具体实现方案的涉及，说明项目各个层次中的每一个模块的具体信息，此说明书包括：
模块的关系图。
各程序的详细设计细节包括：模块描述、功能、性能、输入项、输出项、算法、流程逻辑、接口、储存分配、注释设计、限制条件、测试计划、尚未解决的问题。
该说明书目的是明确开发者的具体思路，并为测试者提供一定的测试依据。
1.2项目背景
目前，应用系统已经是大数据的重要来源之一，多个部门之间，产生了大量的结构化和非结构化数据，包括的人口、企业、车辆数据，人社的社保、劳动等数据，卫计的卫生、计生数据，审批及工作中产生
数据库设计说明书的目的
的大量文档数据，以及平安城市、执法所产生的海量的视频数据，构成了海量的、对城市的方方面面具有重要影响的数据，海量的数据需要有海量的存储进行支撑。
数据具有公共属性，需要满足多个行业的应用需求，因而需要支撑多个部门的应用及综合类应用，而传统的电子建设方式，各部门各自为政，各地域的数据也不能实现共享和协同，因而急需采用电子大数据处理平台对基础数据资源进行整合和挖掘利用。
1.3定义
Apache：最通用的网络服务器。
PostgreSQL：PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。
同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函
数、操作符、聚集函数、索引方法、过程语言等。
JAVA：Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多
继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。
B/S：基于浏览器服务器的开发环境。
HTML：超文本标记语言。
MySQL：MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
Oracle：它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。
2总体建设思路
2.1总体设计原则
（1）标准性、开放性
系统所采用的相关标准必须与国际、国家、、市级标准相符合，确保系统具有良好的开放性，能够实现与多种技术和软硬件平台的有机集成。
（2）安全性
系统应具有完整、全面的安全体系和良好的安全性，能够提供信息传输保密性、数据完整性、身份识别和数字认证、防抵赖性等安全保障措施，确保信息交换的安全运行。系统设计不影响各部门相关信息系统的安全性。
（3）可扩展性
系统采用可扩展的技术体系架构，以适应信息化建设和应用系统快速发展的
要求。系统必须支持异构数据库之间数据交换和共享，支持主流关系型数据库，支持不同操作系统之间信息交换应用的互联互通。
（4）高可靠性
系统应具有良好的可靠性，建立各种故障的快速恢复机制，确保实现7×24小时地正常运转，确保信息交换工作正常运行。
（5）可管理性
系统应具有良好的可管理性，允许管理人员通过管理工具实现系统全面的监控、管理和配置，并为系统故障的判断、排错和分析提供支撑，可对信息交换流程进行简易、灵活地定制和调整，同时对系统运行情况能够实时的统计分析、报表展示。
（6）实现信息全生命周期管理
所谓全生命周期管理，就是指从人们对信息的需求开始，到信息报废的全部生命历程的管理。实现全生命周期，需要对城市管理部件、企业和公众的信息进行全方位的收集和管理，优化、控制城市部件、企业的生命历程，提升数据融合服务平台的服务能力和的执政能力。
（7）学设计，分步实施
市北区大数据平台作为数据融合、联网应用和服务的重要载体其建设是一个庞大而复杂的系统工程，必须采取强有力的统一规划、统一标准，总体把握、统筹推进，根据发展阶段和现实需要，有计划、有步骤地推进具体项目建设，并能有机融合，形成整体。其中系统的可靠性、高性能、安全性、绿节能和扩展性五项将成为建设设计重点。
（8）信息为基，应用为本
市北区大数据平台建设的目的是打造高效的市北区城市管理、企业服务和公众服务业务系统。因而，市北区大数据平台是业务系统建设的基础，建立完善的应用系统才是建设平台最终目的。只有基于市北区大数据平台建立的业务系统，才能发挥平台的作用。
2.2总体目标
平台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施平台为基础，以信息资源数据的共享、交换、融合、服务为核心，以多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社会管理、城市管理和社会经济管理的信息化体系，并探信息化与体制机制深度融合和互相促进，为未来智慧城市的建设打下良好的基础。
目标可分解为如下的子目标：
（1）实现党委、所有部门及临时设立的机构的数据交换，基础数据集中、清洗、整理，以合理的数据结构进行存储，打破部门信息壁垒，解决信息孤岛问题。
（2）形成一整套数据清洗整理体系，前期采集数据通过采集-清洗-反馈-修改-再次采集数据循环，清洗整理，后期各个部门新生产的数据，都以几个数据主体部门数据为基础，产生数据后，再采集清洗，逐步提升基础数据质量。
（3）形成整套数据共享体系。数据采集清洗整理后，集中到市北区大数据平台，各个部门对已整理的数据提出数据要求，在实现数据安全、保密等多重权限控制情况下，以多种方式提供给部门用户。实现部门之间的数据共享、共用，统一数据环境，减少部门之间数据差异，提高各部门数据质量，方便部门应用。
（4）实现综合应用的建设。在完善的数据采集、清洗、共享体系下，在完整、实时、权威及合理结构化的数据融合服务平台之上，实现区域化整体数据应用，为组织单位、公众体提供完整的数据展现、全面的基础数据服务，以及为领导决策层提供全面的、多层次的、直观的、实时有效的数据分析，解决当前部门应用片面不完整，无法宏观把控的面。2.3总体建设任务
大数据平台通过将各委办及投资公司信息资源梳理和整合，建立基础地理空间库、人口库、法人库、宏观经济库、信用信息库和城市建筑信息库六大基础库，建立信息系统的基底数据，实现城市管理中各要素的全面管理，为应用信息系统建设提供统一的数据服务。通过统一的数据管理平台，提供数据标准化工具，使得数据的收集、清理、整合等更加标准与完善，实现各个系统数据的一致性，保证不同来源的信息能够无缝使用，实现提供数据检查、数据转换、数据入库、数据库性能调优、数据备份与恢复管理、数据权限控制、数据导入导出、数据查询统计等功能，在保证数据高效应用基础上，保证数据的安全性。通过建立数据交

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。