§3.2基础地理信息数据库建设案例
3.2.1背景材料
国家测绘地理信息局某部门负责建立的“×××核心地形要素(DLG)数据库"(以下简称“DLG数据库”)建库技术设计如下。
1.技术概况
随着数据库技术的发展,空间数据库技术逐渐取代了传统的数据文件管理模式,对象-关系数据库管理系统是较为流行的解决方法,它是将复杂的数据类型作为对象放入关系数据库中,并提供索引机制和简单的操作,即在空问数据源之上增加一层软件(空间数据引擎)--空间数据库管理系统(SpatialDatabase Management System,SDBMS),实现对空间数据和属性数据的一体化管理。
目前,市场上已有多种空间数据库中间件,国外的有ESRI公司的空司数据引擎(spatialdatabase engine,SDE)、mapinfo公司的spatialware、intergrah公司的geomedia等;国内的有武汉吉奥信息技术工程公司研发的geosde、超图公司开发出的空间数据引擎supermap sdx等,它们都是把空间数据(矢量数据中的几何数据、拓扑数据,栅格数据)以二进制数据块的形式存储在数据库中,而属性数据则以常用数据类型的形式存储。
同时,某些传统的数据库厂商在它们的数据库产品中也提供了空间数据类型的支持,如oracle公司的OracleSpatial、informix公司的spatial datablade。
ArcSDE空间数据引擎是ESRI公司针对空间数据的存储问题推出的一套空间数据库管理软件,从空间数据管理的角度可以将其看成是一个连续的空间数据模型,借助这一模型,可以将空间数据加入到关系数据库管理系统(RDBMS)中去。ArcSDE融入RDBMS后,提供了对空间、非空间数据进行高效管理的数据库接口,通过ArcSDE用户可以将多种数据产品存储于商用数据库系统中,并获得高效的管理和检索应用服务。
通过分析国内外空间数据库的技术进展,针对DLG数据库集成业务的需求,借鉴已有空间数据库建设的经验,结合现有的软件环境和DLG数据库集成建库技术路线,DLG数据建库建设将采用Oracle+ArcSDE的空间数据管理模式,以满足对DLG数据库海量数据的集成管理。
2目标与任务
DLG数据库的建库目标为:对数据采集生产的成果进行检查和处理,设计DLG数据库组织结构和系统功能,对生产数据进行转换处理,形成规范统一的数据集;基于网络环境开发数据库管理系统,实现对DLG数据的有效管理与分发应用,并与其他数据库进行数据集成.其任务包括:
1)生产数据入库检查
DLG数据入库检查验收是对生产单位汇交上来的数据,按建库要求实施的质量控制过程。入库检查从全局范围把握一些重大的质量问题,注重检查和处理各单位生产的数据之间、不同区域的数据之间、不同图幅数据之间的不完整、不一致等问题,以及要素之间的关系协调等.
2)数据组织结构设计、
DLG数据包含7大类要素(水系数据、居民地数据、交通数据、境界数据、地形地貌数据、定位数据、其他数据等),数据库设计时应将数据进行合理的分类布局,并进行数据存储。
3)数据规范化处理
1:5万数据生产采用的是高斯6°分带投影,建库时需要转换为地理坐标;部分数据层的属性字段项的名称为中文,为统一需要转换为字符串;数据生产过程中,为了区分要素的更新与否,在国标码前增加了一位,数据入库时须将要素的更新信息提取出来放在单独字段中,保持标准国标码的位数不变;把因图幅而分割的重要要素目标进行合并处理。
4)系统结构及功能设计
针对DLG数据库数据管理和数据服务的业务要求,考虑与其他数据库集成,设计并制定符合多源数据集成管理和数据服务的技术架构、符合数据库集成的统一数据库平台,规范D LG数据库的数据组织方式
和管理模式,设计满足业务工作需要的系统功能,为数据库集成奠定基础。
5)开发数据库管理系统
针对数据库的数据集成管理和数据服务的需要,进行DLG数据库集成管理系统的设计、开发和调试工作,以实现对DLG数据库安全管理、数据检索查询、数据输出、数据分析、元数据管理、专题图制作和数据信息服务等业务功能,并编写与开发工作配套的技术设计文档和操作使用手册。
3数据库建设需求分析
1)系统用户分析
DLG数据库主要用于DLG数据的维护、管理、数据服务等业务,以及其他相关业务对数据库的查询浏览。用户类型主要包括以下3类。
(1)数据库维护管理人员:数据库维护管理人员的工作主要包含对DLG数据库日常系统运行的维护管理、数据库的更新、数据库的备份、数据库用户管理、用户权限管理等操作。
(2)数据加工与提供人员:数据加工与提供人员的工作主要是根据数据服务订单对DLG数据库进行数据提取、加工,提供数据服务。
(3)授权用户:其他内部用户是在数据库授权的情况下可以对DLG数据库进行浏览、查询等操作的人员。
2)系统功能需求分析
面对巨大的矢量空间数据集,如何对数据进行有效的管理,并能够及时向用户提供数据查询、数据检索、数据提取、数据加工等服务,这是数据库设计应该考虑的关键所在。
DLG数据很多都属于国家涉密数据,因此数据库的安全性尤为重要,数据库应根据不同的用户设置不同的用户权限,以保证数据的安全使用。数据库系统不仅要提供多种检索方式对数据内容进行实时浏览,从而能够准确迅速地确定所需数据的种类、内容及范围;而且还要提供对数据库中各种数据进行的基本操作,如数据裁切、数据拼接、数据格式转换、专题图制作等功能。
DLG数据库建设的最终目的是向用户提供数据产品和信息服务.随着空间数据的广泛应用,用户对空间地理数据的需求也越来越高.传统的图幅管理及供需方式已经不适应空间地理数据服务需求。近来,用户对数据的需求主要体现在;对空间数据各种内容要素的需求、数据格式的转换需求,以及相应的技术支持。因此,要能够满足用户多种多样的需求,良好的数据库结构是必需的。DLG数据库在数据查询检索、数据产品制作、数据分发服务及数据的应用开发等方面,必须满足用户的需求,才能达到数据库建设的目标。
3)数据库集成需求分析
数据库建设采用的是分散建库的原则。由于多个数据库的建成时间不一致,形成了多个独立的数据库。DLG数据库的建设将按照数据库集成的统一技术框架,建成数据相对独立的数据库,同时预留与其他数据库集成的接口。
本次DLG数据建库只包含核心数据,计划将来在合适的时候增加其他非核心要素。因此,DLG数据库的设计不仅要把核心要素存储好、管理好,更要为以后增加非核心要素提供可扩展的存储余地.同时,也要为DLG数据库与同比例尺的其他空间数据库,以及其他比例尺数据库集成提供开放的数据接口。
DLG数据库系统结构示意图如下图所示。
dlg数据库系统结构示意图
在DLG数据库系统结构中,系统c/s结构部分主要是核心业务模块,包括数据入库检查、安全管理、视图管理、查询检索、元数据管理、数据输出、数据分析、专题图制作、数据库维护等模块。
系统b/s结构部分主要是系统的数据服务模块,用户可以通过浏览器浏览数据的一些基本情况,如数据类型、数据范围、元数据信息等,确定数据订单,并通过中心内网传递到数据库,产生数据服务请求信息;同时,用户可以通过浏览器查询到订单的状态,如正在处理,已经处理完毕等。
应用服务层主要是解译应用层发出的请求,通过空间数据引擎ArcSDE对数据库进行相应的操作,并将结果通过中间件ArcGIS Engine Run Time或ArcIMS反馈到应用端。应用层主要指系统的应用模块,包括浏览查询、数据服务、数据库安全管理等业务应用.
4数据库建库流程
DLG数据建库流程如下图所示。数据建库实施流程一般包括入库前的数据整理、数据预入库、数据处理与修改、元数据整理、数据正式入库及数据库功能开发几个步骤。
1)入库前检查、修改
由于不同格式的矢量数据存在差异性,且表达方式和GIS系统所要求的数据描述方式之间存在很大的差异。因此,数据入库之前需要做大量的准备工作,主要包括实体元素的错误纠正、多边形封闭性检测、重复地形要素的清理、道路和河流等某些特殊地形要素的处理、地形要素扩展属性的设置等。对矢量数据的加工与处理主要是为了使输出的地理数据更加符合GIS软件要求,以便能充分利用GIS软件的各种功能。
数据入库检查是在数据生产质量检查的基础上进行,采取两级流程实施,即抽样详查和全数概查相结合的方式.抽样详查是对上交的一批产品进行抽样(10%)检查和质量评定,结果为批质量的合格与不合格;如批质量合格(不合格单位产品少于5%),则进行全数概查。即对合格批次的全部产品根据质量标准逐件进行检验,以判断每一件产品是否合格,如果不合格品数累计超过5%,同样判为不合格批次,全部退回生产单位重新处理,直到合格为止。
对于DLG产品,主要检验完整性与结构一致性,图形精度,属性精度,接边精度,数据更新,要素关系一致性等。比如:
(1)数学基础、分层、编码、属性表结构正确性.
(2)线型与图元的检查:规范性,点线面错误,综合取舍,数字化方向,拓扑关系.
(3)要素遗漏、重复,更新的现势性。
(4)要素之间关系的正确性。
(5)各图元注记必须是一个整体,如单位名称.如果是逐字注记,在导入时将生成多个点要素。
(6)不同生产单位、不同地区、不同图幅之间的完整性与一致性。
2)入库数据整理
由数据生产单位提交的1:5万矢量数据是6°高斯分带投影数据,入库时需要将数据投影转换到地理坐标.另外。生产数据中部分层中属性项的名称为中文,为了统一,入库前需要将中文名称更改为英文名称.
3)数据预入库
按照数据库整体结构的设计,按百万图幅范围将生产数据按照数据的存储要求入库到相应的数据层。
4)数据接边与修改
由于在产生临时数据库时矢量数据是按照图幅为单元存放的,在临时数据库中虽然同一类要素存放在同一个数据集中,但是在图幅接边处可能会存在要素目标的断线,因此,在这个过程中,对于线要素要将要素在图幅分割处进行连接使其连续;对于面要素要将由于图幅分割而生成的多个目标进行合并生成一个目标。另外,对于公路网、铁路网、行政区划等,要将对应的原始数据进行重新整合生成。
数据库应用案例5)元数据整理
DLG数据的元数据是按图幅为单位以文件方式进行组织的,该流程需要将元数据进行汇总整理,并将文本格式转换为关系表形式,以利于元数据的入库。
6)数据正式入库
把经过处理、符合数据库设计要求的数据进行正式入库,形成正式的数据库成果。
7)数据库功能开发
根据数据库功能设计,开发出一套方便对DLG数据库进行管理的功能模块。
5数据库结构设计
数据组织是数据管理的基础,数据组织结构设计是指按照一定的方式和规则对数据进行归并、存储、处理的过程。数据库结构设计主要包括概念结构设计、逻辑结构设计、物理结构设计。(以下略)
6数据整理与入库
(略)。
7数据库管理系统设计
数据库管理系统(database managementsystem,dbms)是用于建立、使用和维护数据库的软件系统.它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性.数据库系统设计一般包括网络环境、软硬件环境、存储环境、系统构架等;而管理系统功能设计,一般应包括数据入库检查、视图管理、查询检索、输入输出、数据分析、制图、分发服务、数据库维护、安全管理等的设计。空间数据库管理系统主要设计原则如下。
(1)灵活性
系统能提供灵活的检索方式,可以进行任意空间范围、任意地理内容及其任意组合的检索;在空间范围上能实现任意区域的检索,可以实现标准分幅比例尺的检索,满足不同专业、不同应用目的对数据库应用的要求。
(2)易操作性
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论