大数据可视化管理平台建设方案
大数据可视化管理平台建设方案
随着大数据的日久累计,企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据,管理层常常望洋兴叹:要么企业自产的大量数据不能有效利用,无法提供决策依据;要么数据展示模式繁杂晦涩,无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼,通过可视化方式展示出来,改变传统的文字描述识别模式,让决策者更高效的掌握重要信息和了解重要细节,这关系到数据应用方的重大决策的制定和发展方向的研判。
数据可视化可为上述问题提供理想的解决方案。数据可视化是指以柱状图、饼状图、线型图等图形方式展示数据,让决策者更高效的了解企业的重要信息和细节层次。大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多,今天以警务大数据为案例,分享数据可视化。
以下是XX市警务大数据可视化案例。
1、建设背景
为适应互联网、大数据条件下对警务实战提出的新要求,应对当前复杂社会治安态势和反恐维稳工作面临的新挑战,满足情报指挥一体化运作和警务大数据实时显示应用的需要,破解当前我市分散化、单一化、离线化的展示模式与警务云发展趋势不相适应的问题,我局拟统一建设一套完整、灵活、实用的数据可视化平台,满足各级公安机关警务大数据可视化需求。技术模式上,引入时空模式、地图模式、多维模式、混合模式等多种方法对数据中心海量数据进行可视化展现,为数据分析、情报研判、指挥调度、领导决策等实战应用提供支撑。展现内容上,以热力图、动态图、GIS图等多种表现方式,针对人员、车辆的聚集、流向,警情、案件的分布等应用场景,提供可配置的可视化展现功能。应用终端上,既满足各级大数据指挥服务中心、勤务指挥室等大屏展示需要,也要满足PC端、移动端的个体展示需求。
2、建设目标
按照市县两级大数据指挥服务中心、派出所勤务指挥室及各专业警种大数据可视化建设需求,利用全市各类公安业务和社会数据,运用数据地图方法和可视化展示技术,搭建扬州市公安局警务大数据可视化平台,全方位、多层次、多角度展示分析全市反恐维稳、社会治安、警务工作质态等情况,要满足联合值守、情报研判、联合指挥、领导决策、数据查询等工作需要。主要包括以下三个方面:
(一)警务数据综合汇聚。开发建设智能化、可视化的数据汇聚工具,梳理各类警务数据,按照不同的可视化场景需求,针对各类数据资源设计相应的采集、缓存和统计分析及处理方法,以信息要素、业务模型等多种形式,为实现多样化、可视化的展示提供数据保障。
(二)可视化展示分析。为梳理出来的各种数据设计各种可视化图形样式,包括文字、图片、动画、视频、图表、地图、地图热点、图文组合、表格等各类
基础图形,对于复杂的数据设计如拓扑图、关系图、张力图、热力图、撒点图、时序图、迁徙地图等数据可视全景图。同时,通过分析不同情况下的业务需求,明确需要获取的信息及关联的数据构成,针对实际业务情形设计出能够根据实时信息进行联动切换等各类操作的大数据可视化展示预案。
(三)建设展示管理平台。建设统一的大数据可视化展示管理平台,包括数据汇聚管理、可视化组件、超高分辨率渲染引擎、可视化方案设计工具软件和操控切换控制软件等功能。能够满足民警通过简明的操作步骤抽取、配置数据源,对可视化组件进行拖拽、排版、数据源切换等,轻松实现大数据的查询统计及展示方案的新建和切换。
3、技术要求
(一)基于构件技术的系统搭建模式。面向构件技术整合传统的构件技术、模型驱动技术和面向服务技术。从构件的技术实现角度来说,应包含四个要素:构件本身、该构件的插口、构件与其他构件协作的能力、以及构件的使用者。
(二)采用标准化接口。项目通过制定统一的接口标准规范,约束系统建设时技术接口的规范化程度,从而保障系统在建成后的标准化和可扩展化。
(三)采用服务化调用。项目以服务的形式对系统中的各类资源进行服务化管理,在整合和扩展方面简化服务的调用工作,实现服务资源的远程访问和调用,并能够适应政府机构的业务扩展、机构扩展和人员扩展。
(四)数据挖掘技术。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
(五)海量数据处理能力。海量的存储能力不仅要求存储系统具备海量空间,同时还要具备高可用性、高并发行、按需扩展能力。
(六)分布式存储技术。能够通过增加存储设备的方式,对存储容量进行在线扩容,避免因为增加存储而导致的业务中断;需能够支持PB级数据的存储;需能够聚合服务器硬盘带宽,随着存储设备的增加,数据的存储带宽能够达到数百GB/S,有效提升数据的访问效率;采用数据副本策略,保证数据的完整性和安全性。
(七)分布式数据库技术。布式数据库为长期积累的海量数据的查询、处理提供解决方案,需具有高速的数据加载性能、海量数据抽取和查询功能。
(八)采用多维建模技术。针对可视化展示需求,对原始数据搭建多维度的可视化数据模型,解决大量数据在特定业务环境下的快速查询和多角度展示,以便得出管理决策的信息和知识。
4、部署方式
平台采用“集中部署、分级授权、独立应用”的方式,部署在扬州市公安局数据中心,面向全市各级公安机关授权应用。同时,应用程序需具备跨平台能力,能在各种主流操作系统和浏览器上运行,满足各种数据源接入服务:
(1)文件数据源
支持对主流csv,json,excel等文件格式的导入,接入可视化数据库,进行有效的可视化呈现
(2)关系型数据库数据源
数据可视化设计案例支持对主流关系型数据库数据源接入,例如:Oracle、MySQL、Sqlserver。接入可视化数据库,进行有效呈现。
(3)大数据数据源
支持对主流大数据存储,例如Hadoop、Hive、HBase的接入能力,进行海量数据可视化。
5、建设内容
(一)可视化数据资源库建设
1、原始数据资源库:从市局数据中心综合数据库抽取。
2、可视化标准数据资源库:对原始数据资源库进行清洗、转换与标准化。
3、应用服务资源库(专题数据资源库):针对各类可视化应用场景、目标,存储各类专题、档案数据,形成面向各类专题应用的数据资源。
4、配置管理资源库:对接市局信息资源管理服务平台,对可视化数据资源库进行管理。
(二)要素类基础数据展示
1、人员:主要包括不限于常住人口、暂住人口、旅馆住宿、上网人员、铁路旅客、民航旅客、从业人员、驾驶人员、学生信息、房屋出租户主、出入境人员、人员、涉警涉案人员、重点人员、利益诉求体、社会面相关数据等。
2、案件:多维度展示、分析挖掘展示等
3、警情:多维度展示、分析挖掘展示等
4、车辆:多维度展示、分析挖掘展示等
5、情报信息:多维度展示、分析挖掘展示等
6、警力信息:包括不限于实时警力、值班值勤人员、目标任务等。
7、数据资源信息:展示实时的公安内外部数据总量、类别、当日实时增量等。
上述展示资源展示结果应保证随库刷新,刷新时间不高于1分钟,个别实时性要求较高的警情、定位等数据刷新时间小于10秒
(三)业务类复合数据展示(18类数据)
按照省厅大数据指挥服务中心建设要求和市局大数据指挥服务中心大屏展示需求,主要包含18类警务数据,其中PGIS数据为基础支持数据,其它11类作为大屏常态显示监测的数据,剩余6类作为选择性显示数据。
(四)大数据可视化展示场景预案
根据实战需要,平台可预制多个警务大数据可视化展示场景,每个场景应由多个可视化组件构成,各类预案要能够满足市县大数据指挥服务中心、派出所勤务指挥室大屏、市局及各实战警种决策会商室及PC端、移动端展示需求,同时满足各类重大节日场景预案展示。本期项目建设应提供不少于20个预置场景预案,同时,根据公安业务需求,满足2天内完成节假日、重大事件等突发事件的突发场景预案。
(五)可视化展示管理平台软件功能
警务大数据可视化管理平台要能够实现展示预案页面设计、组件研发、警务数据管理,并实现超高分辨率快速显示及操作,实现对海量信息的可视化综合呈现。对各类业务系统的海量信息进行有效融合与梳理,基于超高分辨率电子地图综合呈现,实现信息的共享与工作协同。人机交互操作灵活,以多屏信息联动方式控制平台,同时不能影响大屏控制速度与灵活性。具体功能应包括以下几个方面:

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。