售前咨询 400-158-6780

您现在的位置:首页 » 成功案例 » 政府

某市民政局大数据项目

项目背景

 

     某市民政局是某市政府管理社会行政事务的职能部门,主要承担市委、市政府赋予的“社会救助和社会福利、基层民主政治建设、服务军队和国防建设、管理专项社会事务”四大职能。  

     随着信息采集的方式和能力的提升,数据的大量积累与沉淀,民政局已积累了大量的数据资源,并且新的各种类型的民政数据也在源源不断地高速产生,传统关系型数据库在同时兼顾海量数据的存储容量和高速处理时,显得越来越力不从心。  

 

方案设计

 

     分布式存储系统,其中包括MSS元数据节点集群(两台X3850X6服务器)、 OSS计算存储节点集群(四台X3650M5服务器),并使用万兆光纤网络进行后端心跳网络互联,为避免数据损失此系统无论是网络设备还是服务器设备均使用冗余架构部署,该分布式存储系统可为现有应用环境以及大数据分析平台提供基本的存储空间及数据交换空间使用; 

     流处理集群系统,包括四台服务器主机,该服务器主机与光纤心跳网络连接,前台网络与现有民政信息化系统连接,进行养老、婚姻、低保等系统数据通讯、整合,最终实现数据导入,清洗,抽取,分析,其整合功能完善,并提供友好的开发界面用于未来民政系统的大规模数据统计及分析的定制开发。

     基础平台建设内容以项目中涉及的十台机架式服务器为硬件基础,为每台服务器安装操作系统、 Hadoop分布式存储系统、底层数据抽取系统的众多基础架构软件; 

     应用平台建设包括科学计算库(Spark Mllib + 定制化附加通用科学计算算法(并行化)+R语言兼容)等,其需要安装部署、分布于四台流处理服务器上,另外,还需要选定一台流处理服务器安装HA与多集群数据并行处理的ETL工具,使处理普通ETL任务像设计、开发、调度大数据任务一样具有流程化;

     通用专用模型构建与训练系统的目标是定制专用宏微观模型定制机器学习算法,并依靠模型训练服务利用数据对模型进行训练,通过人工探索和机器学习并行的方式,对精度进行最优化,并提供阶段性探索结果,最终为领导决策、民生统计做出优质的数据依据; 

     模型运维以年计为服务标准提供未来多种民生数据统计、多种民生数据分析做出细化参数调整,最终实现重新模型定义、训练以达到适用民生发展,多维度数据抽取、整合、分析的目标。

     网络系统建设以心跳网络、业务网络两部分组成,其中心跳网络以万兆光纤接口基础进行十台服务器的连接,为保证应用数据的安全性、稳定性,本次方案建设中双万兆光纤心跳交换机为服务器后端数据传输作有力支撑,另外、业务网络将延用原有架构保持不变,所有十台服务器可使用“大二层”直接通信或“三层”路由通信进行与原有民生系统的整体数据交互工作。  

 

客户收益

 

     将原有的“计划”数据查询、分析工作,转变为一种“随需”的提供方式。极大简化了数据管理流程,缩短了获取政务数据和决策分析结果的时间!  

 

 

官方微信号

技术咨询QQ:1049058381

业务咨询QQ:1509255309

网站首页| 产品中心|解决方案|IT服务|成功案例|关于我们

版权所有 2011-2015 北京飞蓝科技有限公司。保留一切权利。 京ICP备11061412号
X