一、项目名称:
二、项目内容

省政务大数据中心某市分节点及某市大数
项目概况
为贯彻落实《某省政务数据治理专项规划实施方案》(粤办函〔2019365号),构建统一标准、统一架构、分级管理、互联互通的省市一体化政务大数据平台,形成政务数据资源的统一管理和统筹调度能力,支撑政务数据资源跨部门、跨层级、跨地区髙效、便捷、安全共享和应用,本次项目内容如下:
1、某省政务大数据中心某市分节点标准版系统部署服务。部署内容包括政务大数据中心门户系统、数据需求管理系统、数据服务管理系统、数据资源管理系统、粤政图平台以及某市数据库初始化、数据共享交换平台部署服务。
2、某省政务大数据中心某市分节点的运维运营工作。包括系统的巡检、功能完善和版本同步等运行维护服务,公共数据普查、数据资源目录编目支撑、数据质量检测与纠错、数据共享交换与汇聚上报、数据服务接口封装与对接、数据安全管理,以及各系统在某的推广应用等运营服务,具体运维内容包括日常运维、例行巡检、响应支持服务、重要时刻保障、应急保障、版本同步、运行维护报告,具体运营内容包括数据资源发布服务、数据资源共享服务、数据专项工作支撑服务、共享交换迁移服务。
3、某市大数据分析平台建设部署。功能包括数据计算、数据分析建模、模型市场、可控分析环境等,支持多租户管理,支撑本地市的数据融合分析应用,满足政府机构、企事业单位的大数据决策专题应用的需求。
4、某市大数据分析平台运维运营服务。服务内容包括分析平台的巡检、功能完善等运行维护服务,以及专题需求分析、数据采集、抽取、建模、可视化展示、统计分析等运营服务,同时结合某实际,建设若干符合某实际需求的智慧城市、经济调节、市场监管、政务服务、社会管理、环境保护等若干示范性大数据决策专题应用,具体运维内容包括日常运维、例行巡检、响应支持服务、重要时刻保障、应急保障、版本同步、运行维护报告,具体运营服务包括专题运营服务和日常运营服务。
资金来源:省财政转移资金。
质量要求:符合国家、某省对于政务大数据中心某市分节点及某市大数据分析平台的考核要求,合格或以上。
项目需求
2.1建设背景
近年来,政府数据共享、开放成为我国的一项重要政策,随着国务院发布的《国务院办公厅关于依托全国一体化在线政务服务平台加快推进政务服务和监管平台数据共享工作的通知》(国办函〔2019〕122号),政府对数据互联互通、数据共享的认识不断深入。规范数据标准体系,提升各部门政务数据质量、促进数据共享,有效支撑“数字政府”应用创新和业务协同成为政府迫切的需求。但是,在政府内部不同部门、不同地市、不同层级的数据和系统尚未完全打通,大量数据资源仍分散在不同部门、不同系统无法共享,各单位系统烟囱林立,不断造成新的数据孤岛,未有效形成省市“一体化”,对数据资源全局情况掌握不够,现有的政务云平台、数据共享交换平台等难以满足“数字政府”建设需求,仅打通交换通道而缺乏完整大数据平台支撑的数据共享程度较低,极大影响了业务与管理效率,成为数字政府改革的一道门槛。
为贯彻落实马兴瑞省长6月5日在数字政府改革建设现场会上的指示要求,进一步加大对欠发达地市的支持力度,通过部署统一的云网基础设施和大数据平台及应用,实现政务信息化建设水平和应用水平与珠三角零差距。省政府设立部分地市数据中心分节点项目资金,进一步支持政务大数据中心地市分节点建设,构建统一标准、统一架构、分级管理、互联互通的省市一体化政务大数据平台,形成政务数据资源的统一管理和统筹调度能力,支撑政务数据资源跨部门、跨层级、跨地区的高效、便捷、安全地共享和应用。
为贯彻落实《某省政务数据治理专项规划实施方案》(粵办函〔2019〕365号),省政府设立部分地市数据中心分节点项目资金,进一步支持政务大数据中心地市分节点建设,构建统一标准、统一架构、分级管理、互联互通的省市一体化政务大数据平台,形成政务数据资源的统一管理和统筹调度能力,支撑政务数据资源跨部门、跨层级、跨地区高效、便捷、安全共享和应用。
结合省市县政府部门职能分工的特点,需要推动政务大数据中心省市一体化建设,基于集约化推广的原则,形成应对数字政府时代的高效能“数据大脑”,避免各自为政、自成体系、重复投资、重复建设,探索可复制的经验和举措,推广至全省各个地市。
目前,省政务大数据中心建设已取得初步成果,省级节点架构初成,包括省级数据需求管理系统、省级目录管理系统、省级数据服务平台、省级大数据中心门户、“粤政图”地理信息服务平台、数据资源管理系统等,并初步构建了法人单位基础信息库、空间地理信息库、社会信用信息库等基础库,若干专题库、主题库,支持省级从数据检索、需求申请、数据授权、编目挂接、服务实施到应用支撑的大数据实施全流程。通过将前期建设政务大数据中心省级节点的实践经验,根据各地市信息系统建设及数据资源现状调研情况逐步运营推广,形成物理分散、逻辑统一、开放集约、一体管控、统筹运营、安全保障的省市一体化协同平台,支撑民生服务事项办理、营商环境优化、政府部门协同管理等数据服务应用需求。
在省政务大数据中心的基础上,推动省市县一体化,能够确保数据统筹管理和业务应用推广可以深入基层,避免大数据中心浮于上层,缺乏纵深。能够实现全省数据融合共享,打造百花齐放的良好数据应用生态,加快全省业务创新应用,为未来粤港澳大湾区大数据协作奠定良好基础。
因此,基于统一领导、上下贯通、协同推进、执行有力的“全省一盘棋”的工作机制,建设省市一体化政务大数据中心,是落实国家规划纲要、推进某省政务信息资源整合共享、推进“数字政府”改革纵深发展、提升政务大数据应用成效的重要基础,是落实省“数字政府”改革建设的重要工作。从“数字政府”建设来看,大数据中心是“数字政府”的重要基础设施,建设大数据中心地市节点是全省一体化政务大数据中心建设的重要内容,是支撑省市县政务数据一体化应用,提升各地市政务数据治理能力的重要平台。从促进产业发展来看,大数据产业是新的经济增长极,建设大数据中心地市节点并推动其应用是推动地市产业创新升级的重要引擎。
2.2建设现状
在建设省市一体化的政务大数据中心方面,前期通过某省“数字政府”数据治理专项(2019-2020年)项目实施,省政务大数据中心建设已取得初步成果,基本完成政务大数据中心省级节点架构建设,包括政务大数据中心门户系统、数据需求管理系统、省级数据目录管理系统、数据服务管理系统、数据资源管理系统等,并初步构建了法人单位基础信息库、空间地理信息库、社会信用信息库等基础库,若干专题库、主题库,支持从数据检索、需求申请、数据授权、编目挂接、服务实施到应用支撑的大数据实施全流程。
基于省市一体化的思路,已开始将政务大数据中心省级节点的架构、能力与数据,全面推广到地市,形成政务大数据中心地市节点,与省级节点形成级联对接,实现系统互联互通,数据跨域共享。
2.3总体要求
项目符合《某省人民政府办公厅关于印发某省政务数据治理及应用2020年(第一批)工作方案通知》、《某省数字政府改革建设2021年工作要点》、《关于印发政务大数据中心地市分节点建设项目技术方案的通知》、《某市人民政府关于印发某市“数字政府”建设总体规划(2019-2021年)的通知》等工作任务要求,按照最新标准规范完成相关对系统部署及运营。项目期间,系统应能适应省最新任务要求,满足某省对大数据中心地市分节点的考核要求。
2.4 建设目标
本项目通过部署某省政务大数据中心某市分节点及某市大数据分析平台,构建省市县“两级平台,三级管理”的整体框架,为某各业务部门及各区县的用户提供统一入口,提升某各业务部门及各区县的数据管理能力,提升某数据汇聚、数据管理、数据应用的能力,盘活某数据资产,同时以数据应用为驱动,推动政府服务效能和服务水平的提升,支撑某“数字政府”高效运转。
一、部署某省政务大数据中心某市分节点的目标为:
1、部署一体化门户系统,打造一站式服务平台。通过统一用户入口,集中开展政务数据资源查询、申请、统计分析和应用成效展示,并提供数据服务的管理、审核、授权和共享,打造一站式服务平台。
2、部署数据需求管理系统,提供统一的供需对接平台。为需求部门及数源部门提供统一的对接平台,实现数据资源的需求申请、需求审核、需求实施、数据获取全流程线上管理,简化数据共享流程,提高数据共享效率。
3、部署数据服务管理系统,提升数据服务能力。基于两级部署的数据服务总线,实现集成联通、服务联动,为地市各部门重点政务应用提供集约高效、稳定可靠、规范统一的数据服务支撑,满足多场景需要,形成互联互通的数据服务体系。
4、部署数据资源管理系统,推进数据标准化,强化数据管理,数据标准,严格按照国家、省级标准,以省为基准,配套制定适合本地市的的管理标准,提高政务数据治理服务能力。数据资源管理系统为本市各部门提供安全、隔离的数据管理与治理工具,多渠道接入数据源,开展数据清洗、整合、转换、对账、稽核等治理工作,共享治理成果经验,提升数据管理效率和水平。
5、部署粤政图平台分节点,实现政务外网环境下的跨部门、跨层级、跨地区的空间业务应用平台。提供空间地理数据的在线申请、审批、应用功能,实现地图数据产品化、地图功能工具化、业务应用可视化。
6、完成地市数据库初始化工作。将法人单位数据、社会信用数据、空间地理数据、电子证照数据、“互联网+监管”数据、网上办件数据等六大数据库的属地化数据回流到对应的政务大数据中心地市分节点,并基于回流数据,完成相应的初始化建库工作,构建起本市鲜活、高质、权威的政务大数据中心数据资源库,为需求部门提供可用好用的数据资源服务。
7、完成数据共享交换平台主节点部署,打通和政务大数据中心门户系统、数据需求管理系统和数据目录管理系统流程,实现用户在数据目录管理系统编目数据目录资源,数据需求管理系统订阅数据需求等场景的联动,自动生成对应共享交换任务,完成相应数据的汇聚、挂接与交换,实现省市共享信息同步、数据互通。
8、通过大数据地市分节点的标准版系统运维运营服务,满足某市各业务部门对政务数据资源的需求,支撑包括重点项目、民生事项、营商环境等领域的数据查询、核验、应用等需求。
二、建设部署某市政务大数据分析平台的目标为:
1、通过部署某市政务大数据分析平台,包括对接管理、政务大数据中心分析后台、政务大数据中心分析工作台、管理中心、首页等功能,支持多租户管理、支撑跟省可视化管理中枢对接,满足政府机构、企事业单位的大数据决策专题应用的需求。
2、通过开展某市政务大数据分析平台运维运营服务,满足市级各业务部门对政务数据资源的需求,支撑重点项目、民生事项、营商环境等领域的数据查询、核验、应用等需求。
3、提高数据治理能力。提供人口、法人、社会信用、自然资源与空间地理等基础信息以及各类主题、专题数据,并对数据进行有效治理,保障数据可用性。
4、强化地市的数据分析应用,通过省、市、县三级数据共建共治共享渠道,提升市县数据分析应用能力,挖掘数据价值,为基层业务提供及时可靠的决策支撑。
2.5建设内容
3、某市大数据分析平台建设部署。功能包括数据计算、数据分析建模、模型市场、可控分析环境等,支持多租户管理,支撑本地市的数据融合分析应用,满足政府机构、企事业单位的大数据决策专题应用的需求,具体模块包括对接管理、大数据中心分析后台、大数据中心工作台、管理中心、首页等内容。
某市大数据分析平台运维运营服务。服务内容包括分析平台的巡检、功能完善等运行维护服务,以及专题需求分析、数据采集、抽取、建模、可视化展示、统计分析等运营服务,同时结合某实际,建设若干符合某实际需求的智慧城市、经济调节、市场监管、政务服务、社会管理、环境保护等若干示范性大数据决策专题应用,具体运维内容包括日常运维、例行巡检、响应支持服务、重要时刻保障、应急保障、版本同步、运行维护报告,具体运营服务包括专题运营服务和日常运营服务。
某省政务大数据中心某市分节点标准版系统运维运营服务和大数据分析平台运维运营服务项目实施周期预计为36个月,重要里程碑如下:
2021年8月底完成某省政务大数据中心某市分节点标准版系统部署;2021年9月底完成某市大数据分析平台建设,2021年11月底完成以上两个系统验收,验收合格后进入运维运营期,运维运营期为3年,具体时间以合同签订日期为准。
2.6建设任务
1、数据中心分节点标准版部署内容如下:
2、数据中心分节点标准版运营内容如下:
3、数据中心分节点标准版运维服务内容如下:
4、大数据分析平台功能如下:
5、大数据分析平台运营服务如下:
6、政务大数据平台运维服务如下:
2.7项目时间要求
在合同签订后,须在三个月内完成系统平台上线使用,上线运行3个月内需开展等保测评、第三方验收测评和商用密码测评,相关测评通过后由采购人按照相关规定组织交付验收。本项目服务包含3年运维运营服务期,运维运营服务期自平台上线使用之日开始计算,期满经采购人同意后按照相关规定对项目进行最终验收。
技术规范和要求
3.1建设原则要求
项目设计充分利用现有先进、成熟技术,坚持需求主导、深化应用的原则,统一规划、统一布局、统一设计、规范标准、突出重点、分步实施,在规划、设计中遵循以下实施原则:
1、先进性
在保证实用、可靠、安全的前提下,尽可能跟踪国内外先进的计算机软件技术和数据库技术,使某省政务大数据中心某市分节点及某市大数据分析平台具有较高的性能价格比。采用国际先进的软件体系结构,对基于局域网、政务网的应用具有良好的拓展性。
2、实用性
在系统设计和开发过程中,本着“以业务为基础,以需求为导向”的原则,使系统具有良好的可操作性。在满足现有业务的基础上,通过业务重组和优化提高管理水平。
3、开放性
考虑系统在全市范围内的实施应用,在系统设计时充分考虑系统的开放性,保证系统具有统一的组件接口标准,数据系统具有通用的数据结构。充分考虑与其他系统的接口,提供二次开发的接口。
4、易操作性
贯彻“以人为本”的设计思想,充分体现系统的易操作性。用户接口及界面设计将充分考虑人体结构特征及视觉特征进行优化设计,界面友好、美观,操作符合日常工作流程需要,易学习、易操作,系统提示和帮助信息准确、及时。
5、标准化
必须遵循“标准先行、应用遵循”建设思路,确保系统采用的信息格式、接口标准都符合国家标准、行业等标准。
6、可扩展性
系统除了实现目前可计算机处理的业务外,对用户尚未提出的,或实现难度较大的业务工作要尽量予以考虑或预留接口。使得系统可以方便的增加新的功能组件或新的子系统。
同时系统的设计充分考虑网络、硬件的扩展需要、应用系统二次开发的需要、以及支持未来可能出现的组织调整的需要,系统采用开放的可扩充模块结构,保证以后可以方便地升级和不断增加新功能、增加容量、以及在同一平台上扩充其他业务应用功能。
7、安全性和保密性
某省政务大数据中心某市分节点及某市大数据分析平台汇集某市各单位数据信息。因此,系统必须具有必要的安全保护和保密措施,以及对计算机犯罪和病毒的防范能力。
8、可靠性稳定性原则
建设中的设计、实施、设备选型安装等应有可靠性稳定性保证措施,确保某省政务大数据中心某市分节点及某市大数据分析平台7×24小时稳定可靠运行。
9、可维护性原则
系统应具有较强的功能和容量可扩展性,可灵活增减或更新某个子系统,以满足业务发展需要。系统采用B/S结构,在客户端不用进行安装便可方便使用。应有利于根据经费投入情况实施分步建设、应用。
3.2总体架构要求
某省政务大数据中心某市分节点总体架构共分为四层,分别为基础层、数据层、平台层、应用层。
基础层由某省统一政务云平台某节点和政务网构成,为数据资源及应用系统提供存储、网络、计算的能力。
数据层由共享库、单位云盘、质检库、各数源及数据汇聚工具(数据共享交换平台)构成,市级大数据中心可汇聚省级回流数据、市级各部门数据、各县(区)数据及外部互联网数据,共同构建市级大数据中心数据资源池,为上层的数据应用提供丰富的数据资源。
平台层由大数据分析平台、大数据中心门户、数据需求管理系统、数据服务管理系统、数据资源管理系统、粤政图平台构成,对库表、接口、文件、地图类数据资源进行统一管理,同时为数据应用提供统一入口及分析工具。
应用层由市各行局专题应用组成,依托政务大数据中心的数据资源及共用平台,围绕市各行局业务实现数据资源的有效利用。
3.3技术路线要求
大数据能够提升电子政府的效率和效果,并促进其进一步演化为透明政府,这被认为是电子政府的最终演化阶段。大数据应用建立在掌握数据的基础上,以海量数据为前提,政务大数据的发展往往离不开政府开放数据,这使得政府的透明度大大提高。数据的开放可以让政府公职人员和民众一起参与进来,解决政府无法完成的、棘手的问题,更广泛地发挥公众力量,借助大数据平台更好地进行社会管理。
技术路线从数据中心整体出发统筹考虑,采取的核心技术和路线要求包括:
1、云计算技术
云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。
对云计算的定义以美国国家标准与技术研究院(NIST)定义最为代表:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
云计算是一种基于网络的计算模式,云计算提供的服务类型可以分为三类,即将基础设施作为服务(IaaS)、将平台作为服务(PaaS)以及将软件作为服务(SaaS)。云数据中心包含大量计算机,运作成本很高。有效整合资源、提高资源利用率、节约能源、降低运行成本是云数据中心关注的热点。云数据中心通过虚拟化技术将计算资源、存储资源和网络资源构建成动态的虚拟资源池;使用虚拟资源管理技术实现云计算资源自动部署、动态扩展、按需分配;用户采用按需和即付即用的方式获取资源。因此,虚拟资源管理成为当前云计算研究的热点和难点。
云计算技术是在网络技术和Web应用技术的推动下产生的网络计算模式。2006年,Amazon发布了简单存储服务S3;2007年,Salesforc.com公司推出了SaaS服务,客户可以根据需要订购软件应用服务,按服务多少和时间长短支付费用;2007年,Google推出了GoogleDocs在线办公服务,2008年推出GoogleAppEngine程序开发平台,将平台作为一种服务提供给用户。IBM于2007年推出了蓝云计算平台,为客户带来即买即用的云计算平台,它包括一系列虚拟化软件,使来自全球的用户可以访问云计算的大型服务器资源池。微软2008年推出了WindowsAzure蓝天操作系统,基于互联网架构,打造新的云计算平台,将微软所拥有的数以亿计的Windows用户和桌面接到云中。目前,成功的云计算应用实例还有GoGrid、Joy-ent、MapReduce、AneKa以及Animoto等。
虚拟化概念及技术起源于20世纪50年代。20世纪60年代,IBM360系统首次采用了虚拟化平台Hypervisor。IBM、VMare、Xen/Citrix和Miroosoft是虚拟化业界的四大厂商,他们提供了成熟、多方位、广泛的虚拟化产品,实现了从服务器、存储、网络到桌面、应用、甚至数据中心的虚拟化。
数据中心的发展与云计算技术的演进、虚拟化技术的成熟应用是密切相关、相互促进的;数据中心的发展离不开计算机技术、网络技术、云计算技术的发展,云计算技术是在网络技术的广泛发展、虚拟化技术的日益成熟以及网络应用需求的推动下产生的,虚拟化技术一直伴随着计算机技术、网络技术和数据中心的发展,实现了不同层面的虚拟化。虚拟化技术屏蔽了低层物理设备的差异,对云数据中心的低层架构进行抽象,从而实现资源的统一管理。
云数据中心是未来数据中心建设和发展方向,实现云数据中心的关键技术——虚拟资源管理。虚拟资源管理有利于设计与实现高效的云数据中心系统,提高云数据中心资源利用效率、系统可靠性,降低运行管理成本。云数据中心资源管理的特点是统一部署,集中管理,分布使用。在资源虚拟化技术的基础上,采用各种技术实现资源的自动部署、集中监控、动态优化、节能低耗等功能。资源的抽象和虚拟化是屏蔽资源差异、建立虚拟计算环境的基础。
虚拟计算环境针对资源多样性、自主性带来的访问方式不一致问题,深入研究了资源虚拟化模型与方法,提出了具备环境动态感知和自主行为决策特征的自主元素资源抽象模型。通过虚拟化实现虚拟集群系统,消除系统软件与硬件之间的耦合,实现集群的快速部署和快速切换,并获得了明显的性能优势。云数据中心通过虚拟化技术构建虚拟资源池来实现对大规模基础资源的有效、统一管理,然后将计算任务分布在大量动态、可扩展的虚拟资源池上,用户按需获取计算能力、存储空间和信息服务。
采用基于云计算技术架构,实现对各类信息化基础资源的兼容及动态流转。在云计算环境下更高效的利用资源,降低用户的信息化基础资源采购及维护成本。
2、大数据技术
政务大数据中心数据运营服务建设将实现全省数据的逻辑集中,是践行大数据战略的根基,通过大数据技术的分析挖掘,从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
大数据分析给传统数据分析和处理技术带来了很多挑战。云计算和开源技术的发展推动大数据落地,分布式存储、非关系数据库和并行处理技术逐渐成为大数据应用实施过程中的关键技术。
大数据技术是近来的一个技术热点,历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。然而,大数据技术作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互,要处理的数据量实在是太大、增长太快,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。在这种情况下,研发和采用了一批新技术,主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。
在大数据领域中,开源软件扮演着极其重要的角色,尤其在大数据分析平台的构建中,开源库成为大数据整体解决方案的最重要一部分。大数据是一个含义广泛的术语,是指海量的、多样化的数据集。如此庞大而复杂的结构和非结构数据集合,需要专门设计的硬件和软件工具进行处理,从中挖掘有用信息。针对大数据的开源软件的优势是高灵活性,低成本,高质量。开源软件主宰大数据市场,大数据平台未来将加大专业服务及系统整合,以走向开源的、基于云的分析。
开源软件可以任意获取版本,对于商业用户来说,可以帮助企业减少开发周期;开源软件由于开放源代码,用户能够获得大数据处理系统的源代码,并去可以通过社区、讨论组等多种形式,与开发人员和其他用户深入探讨各种技术问题,相比闭源软件,其漏洞可能更少,可靠性更高。基于开源软件的大数据平台构建是一种发展趋势。
大数据平台建设可以以开源技术路线为基础,借助其成熟稳定的大数据技术,优化其不成熟部分,对于开源软件无法覆盖的部分,采用自研的方式实现,从而构成内容完整、稳定可靠的大数据支撑平台。如基于Hadoop的大数据平台建设,主要涉及的技术组件包含以下几部分:
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
3、分布式存储技术
分布式存储是将数据分散存储在多台独立的设备上,传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。
4、分布式ETL
通过采用基于分布式架构,实现对系统源数据的统一数据清洗比对、关联融合、企业关系探寻、标签化,性能随着设备扩容呈线性增长,并且不受扩容限制。利用分布式内存数据计算,以多进程与多线程相结合方式并行读取不同的接口文件,实现高效的数据采集ETL功能,从而达到结构化数据满足百亿级别以上的结构化数据存储及处理能力;非结构化数据满足 PB 级及以上数据存储及处理能力要求。
5、微服务架构
微服务架构(Microservices Architecture)是一种架构风格(Architectural Style)和设计模式,微服务是一项在云中部署应用和服务的新的架构方式。微服务的基本思想在于考虑围绕着业务领域组件来创建应用,通过微服务的概念应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平台使部署、管理和服务功能交付变得更加简单。
6、面向数据的体系结构
面向数据的体系结构,建立在数字政府政务云计算的硬件架构之上,采用“面向数据和以数据为核心”的思想,通过数据注册中心,数据权限中心,数据异常控制中心来统一定义数据、管理数据和提供数据服务,通过数据应用单元对各种应用进行管理和服务,建立一种数据大平台与碎片化应用的数据生态系统,构建起从数据保护到授权应用的整套机制,为有效解决大数据时代所面临软件体系结构的问题提供基础理论和方法技术支撑。
7、基于元数据的数据管理
统一管控是实现协同监管、信息资源共享、大数据监测等统一运营管理的基本要求,因此必须采用数据统一管控技术统一管控数据的全生命周期管理,实现全流程、全生命周期和动态地数据管理。
采用元数据驱动设计理念,去规划元数据对象的创建、运行、评估、维护各环节,屏蔽大数据平台差异性,基于统一模型设计、统一程序开发,将元数据融入到开发各个环节,实现全流程、全生命周期、动态数据管理,提升跨系统统一调度处理能力,支持跨系统平台、跨数据库调度流程调度与处理,从而实现以数据为核心,贯穿数据全生命周期的统一数据监控系。
8、数据挖掘技术
数据挖掘就是从海量的数据中采用自动或半自动的算法,提炼出有用的、潜在的信息,是从数据库中发现信息的过程,是通过电脑存储数据和数据库技术以及统计分析、在线分析处理、机器学习等诸多方法来实现目标的。
数据挖掘,根据数据挖掘任务分类,可分为预测模型发现、数据总结、关联规则发现、依赖关系发现、异常和趋势发现等;根据数据挖掘对象分类,可分为关系数据库、面向对象数据库、文本数据库、多媒体数据库等;根据数据挖掘方法分类,可分为机器学习方法、统计方法、数据库方法等。
9、数据建模技术
数据建模是对数据进行分析和设计的一种有效手段,是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。是将人、事、物等作为抽象的实体,并以实体之间的关系为纽带,用图形化的方式去展现业务规则的过程。数据建模通常包含模型准备、模型假设、模型构建、模型验证等步骤,但不同的数据挖掘需求,在应用上会有一些不同,因此要不断的修改、完善数据模型。
3.4非功能性要求
1、硬件性能需求
本项目数据量大,用户对象广泛,对数据存储、信息处理等方面要求较高,因此对基础设施和软件方面需提供高可靠性、高可用性、易维护性、易管理性、高扩充性、开放性、先进性、冗余性等方面支持。本项目基于某省统一政务云平台某节点进行建设部署。
2、稳定性需求
系统设计实施应采用高可靠的产品和技术,充分考虑系统的应变能力、容错能力和纠错能力,确保系统运行稳定、安全可靠;系统开发要面向最终用户,使用户对系统易于接受、易于掌握、易于操作,系统功能要实用性强、可用性好,确保系统能长期、稳定、高效地使用。
各体系设计开发部署时应避免由于单点故障或系统的升级而影响整个系统的正常运行。
某省政务大数据中心某市分节点及某市大数据分析平台的设计需支持7×24小时不间断服务。
应满足在网络不稳定、后台压力较大等特殊情况下,仍能保证正常运行。
系统运行前需进行安全脆弱性检查,并对检查发现的漏洞和隐患进行修复。
在系统失效的情况下,系统应容易重建规定的性能级别并恢复受直接影响的数据。
当系统在高负荷运转或出现故障,进入异步工作模式时,必须采用可靠的机制,保证数据的零丢失。
3、扩展性需求
随着政策变化、社会发展、技术进步等因素的变化,要求服务能够支持业务不断变化,能够灵活扩展,高度可定制化,满足各类新型业务系统的接入。
为保证政务大数据中心各体系的高效、稳定运行,各体系应按照弹性架构设计,能通过在某省统一政务云平台某节点上增加服务器、存储的方式快速线性提升系统性能及I/O性能。
在设计上必须具有适应业务变化的能力,当体系新增业务功能或现有业务功能改变时(界面的改变、业务实体变化、业务流程变化、规则的改变、数据项的变化、代码改变等),应尽可能减少因业务变化造成的影响。
应提供一个弹性的架构,支持使用配置而免编程的方式对业务流程、业务表单、查询统计等功能的定制与调整。符合大数据量处理对系统的拓展性需求。
4、体系集成需求
在某省政务大数据中心某市分节点及某市大数据分析平台各体系集成性上,需满足:
遵照开放系统的标准,确保软硬件平台的可移植性;
各体系和模块的部署相对独立,避免出现由于模块功能的相互依赖性而不能启动服务的情况等。
5、安全保密性
系统设计实施应把安全性放在首位,既要考虑信息资源的充分共享,也要考虑信息的保护和隔离,同时能提供全面的系统管理平台,保证系统的安全性。
6、可维护性
用户的需求随着时间的推移及社会的发展,有可能发生变化,或者增加了新的需求,因此所选的结构应该是有良好的可维护性。例如模块化设计和适当的子系统间的松偶合度,使得系统架构可以将新的模块或子系统进行维护而不需要对整体架构进行大的调整。
7、可靠性指标要求
系统运行稳定,即便在用户量增大时,也能保持一个良好的响应时间,应保证系统功能使用的连续性。
所有的软件系统提供热备功能和能力,确保数据的实时安全;所有的软件系统支持磁带库备份,确保数据不因意外情况丢失或损坏。
所有的软件系统可保证主机、操作系统、网络、数据库和应用软件能7×24小时平稳运行。
8、可移植性
系统架构应具备跨平台能力,应用架构可以支持多种软硬件平台。
9、体系结构与特点需求
支持主流开发平台。
多线程设计,支持大量并发用户访问。
部署在某省统一政务云平台某节点上。
支持分布式检索和负载均衡调度。
无单点故障,高可靠的体系架构,任何环节没有单点。
可扩展性好,方便增加和迁移节点。
10、系统与数据库管理需求
支持Text、HTML、XML、RTF、MSOffice文档(Word/Execl/Powerpoint)和PDF文件自动建立索引。
支持优化的索引结构,使得检索时的相关性计算更加方便高效。
支持分区索引,减少检索时的索引匹配范围,缩短检索响应时间。
11、高可用需求
支撑大量的政务应用,需要通过主备切换、负载均衡、异地备份等方式保证平台服务的高可用性。
12、响应性能需求
平台必须依托云计算、大数据新技术为手段,建立高并发、实时服务响应的软件架构,以支撑对省市的访问需要。
应用系统用户访问指标:用户访问并发数:>300;系统注册数:>1000。
服务能力性能指标:服务接口访问平均并发数>1200;接口平均耗时<5秒;支持服务接口最大数量>=3000。
稳定性指标:系统有效工作时间:>=99%;系统总体可用率:>=99%;系统故障平均间隔时间:>=10天;系统一年的故障停机累计时间不超过7天(因为停电等不可预测因素除外)。
响应指标:简单事务处理(如各类信息录入、修改、查询业务、主要页面平均响应时间)<=3s;系统操作响应时间<1s。
13、关联系统和接口需求
通过对平台与外部系统以及平台内部系统间关系的分析可知,系统接口主要包括两大部分,一是平台与外部系统的接口;二是平台内部系统间的接口。
通过政务大数据中心数据共享交换平台进行信息资源共享、互联互通,需要与省级数据共享交换平台,各系统进行对接。
在系统需求关联方面主要有如下需求:
省对接需求:按照国务院办公厅印发的《进一步深化“互联网+政务服务”推进政务服务“一网、一门、一次”改革实施方案的通知》(国办发〔2018〕45号)要求,建立完善全国数据共享交换体系,构建全国统一、多级互联的数据共享交换平台体系。需按照国家数据交换平台对接要求、接口平台对接要求,配合级联测试,实现省对接,推动省市信息系统互联互通,形成全省统一政务服务平台。
市内对接需求:市直部门在市数据共享交换平台进行信息资源交换时,需要经过目录系统将任务形成实施工单,然后至数据共享交换平台实施。将数据共享交换平台与目录系统进行对接,能够在一定程度上减少申请任务流程,让数据跑路,提升工作效率。
平台内部系统对接需求:平台内部接口包括数据共享目录系统与数据共享交换平台、政务信息资源服务门户的接口,业务协同公共平台与其他系统的接口,政务信息资源服务门户与其他系统的接口等,需要对各接口进行规范、开发服务,包括接口标准规范、接口文档编制,数据接口开发、测试、与需求部门联调等。
建设内容要求
4.1数据资源与业务协同
1、数据资源需求
政务大数据中心某分节点以及某市大数据分析平台将对接省统一身份认证平台实现用户登录,对接粤政易平台实现消息互通,对接某省政务大数据中心获取大数据分析所需的数据资源。详见以下需求表:
2、数据产生
某市大数据分析平台将基于某省政务大数据中心某分节点的数据信息进行分析,分析过程中将产生数据分析模型、数据分析结果、数据分析统计信息和数据分析报告等数据信息,如下表所示:
3、数据共享需求
政务大数据中心某分节点以及某大数据分析平台将为某市全市各部门、各行业提供数据共享交换、大数据分析服务能力,平台将根据各委办局提供的数据信息开展大数据分析活动,为相应的行业主管部门提供大数据分析成果。详见以下数据共享情况需求表:
4、业务协同需求
4.1.1两平台业务协同
某省政务大数据中心某节点将统筹全市政务数据的采集、汇聚、管理工作,实现省级政务大数据信息的高效扭转,持续促进政务信息资源共享、协同应用等。
某大数据分析平台将于某省政务大数据中心某分节点进行对接,获取数据分析所需要的数据信息,原则上分析平台所需的分析源数据均将通过某省政务大数据中心某分节点进行流转。
某市大数据平台运行中所输出的数据类成果,由分析平台编目后,统一通过某省政务大数据中心某分节点交换共享给各需求部门。
4.1.2粤政易平台协同
某市目前已完成“粤政易”平台的推广使用工作,拥有较大的用户群体,为提高政府部门沟通和办公效率,打破部门业务隔阂提供了平台支持。
某大数据分析平台将实现与“粤政易”平台的对接,通过分析平台的消息模块与“粤政易”对接,提供业务用户平台消息接收效率。为用户提供政务大数据分析分析 结果信息,提供多样化的分析结果展示功能,实现数据分析决策的移动化、智能化。
4.2系统建设部署服务
4.2.1某省政务大数据中心某市分节点系统部署服务
4.2.1.1功能概述
本项目需按省要求完成某省政务大数据中心地市某分节点统一标准版部署,包括门户系统、数据需求管理系统、数据服务管理系统、数据资源管理系统、粤政图平台、本地市数据库初始化以及数据共享平台部署服务。
1、门户系统功能
政务大数据中心门户系统包含PC端与手机端,省级节点作为服务统一入口和数据资产展示窗口,用于开展政务数据资源查询、申请、统计分析、应用成效展示,以及数据服务的管理、审核、授权和共享等一站式服务。政务大数据中心门户系统须对接或集成数据需求管理系统、数据目录管理系统、数据资源管理系统、数据服务管理系统、数据共享交换平台等,提供统一目录、统一需求、统一服务前台。各级政务部门登录政务大数据中心门户系统后,需求单位可浏览数据资源目录,查询所需数据资源和服务,提出数据需求申请,数源单位可审批本部门数据共享工单。政务数据主管部门可对本地区数据资源进行管理,查看数据应用成效。
政务大数据中心门户系统分为前台、后台两个模块部署。前台模块统一部署在省级节点,包含系统首页、编目挂接、单位云盘、资料下载、应用成效、实用工具等通用功能;后台模块部署在某市分节点,主要面向市系统管理员、部门管理员及市运营人员,包含轮播图配置、工具配置、资料发布配置、机构管理、用户管理等管理功能,按本市实际业务需求进行差异化配置,打造本地风格的门户。
2、数据需求管理系统功能
数据需求管理系统用于开展数据共享需求申请、审核与处理,跟踪共享情况,评估数源部门的共享效能,实现政务数据需求的全生命周期管理,支撑全省范围内的数据资源对接和流转。
数据需求管理系统分为前台、后台两个模块部署。前台模块统一部署在省级节点,全省统一制定数据的供需对接流程,确保政务数据在跨层级、跨部门间的高效共享;后台模块部署在市分节点,主要承担市级数据的自动化质检及自动化共享功能,实现数据从数源部门自动调度至需求部门,减少供需对接流程中的人工操作,降低数据泄露的风险,提高数据共享的效率。
数据需求管理系统市节点后台主要包括需求调度配置、与外部系统对接等功能。外部系统包括数据服务管理系统、数据服务目录管理系统、数据资源管理系统、数据共享交换平台。通过需求调度配置和系统对接,支撑数据质检和数据共享工作。
3、数据服务管理系统功能
数据服务管理系统基于两级部署的数据服务总线,为各类政务应用提供统一、高可用、高质量的数据服务接口,满足多场景需要,实现跨部门、跨层级、跨地区的服务调用和业务协同。
数据服务管理系统包括数据服务总线、服务构建模块。数据服务总线具备多云兼容适配能力、异构级联能力,支持多样化服务类型接入,实现多样化服务能力输出,功能包括请求受理、访问控制、服务控制、协议转换、指标采集、日志采集、服务路由、文件传输、加密传输。服务构建模块可新增、修改、授权、发布数据服务,同时管理数据封装、接口封装,并且可基于库表数据自动生成服务(构建、授权、发布)。
4、数据资源管理系统功能
数据资源管理系统作为SAAS工具服务,采用多租户管理模式,为市各部门提供安全隔离的数据管理与治理工具。用户可以申请开通租户使用,多渠道接入数据源,治理成果经验可以有效共享互通,避免重复建设。数据资源管理系统服务于元数据管理、数据标准管理、数据开发、数据对账、任务调度管理、数据质量检查等全流程管理工作,通过对数据开展清洗、整合、转换、对账、稽核等治理工作,提升数据管理效率和水平。
功能包括元数据管理模块、数据质量管理模块、数据标准管理模块、数据开发模块、数据对账模块、任务调度模块、租户控制模块、系统配置管理等。
5、粤政图平台功能
粤政图平台为全省各部门提供基于空间业务数据的所见即所得的应用,是政务外网环境下的跨部门、跨层级、跨地区的空间业务应用平台。粤政图平台提供空间地理数据的在线申请、审批、应用,实现地图数据产品化、地图功能工具化、业务应用可视化。
粤政图平台可提供地图服务、要素服务、矢量切片服务、数据透视服务、其他服务,覆盖土地资源、森林资源、水资源、公路及附属设施、港口码头、文化活动场所、教育等33个主题领域,目前已上架292个地图产品,其中省级地图产品226个,地市地图产品66个。
粤政图平台功能模块中个性制图、地图工具、统计分析功能可以根据各地市的个性化需求进行二次开发改造,其余模块不可二次开发改造。
6、数据库初始化服务
为实现省、市两级数据中心数据库互联互通、同步更新,支持本市建立省市对应的数据库,通过政务大数据中心省级节点的共享交换服务,将法人单位数据、社会信用数据、空间地理数据、电子证照数据、“互联网+监管”数据、网上办件数据等六大数据库的属地化数据回流到某省政务大数据中心某市分节点,并基于回流数据,完成相应的初始化建库工作,实现省级数据资源在地市共享和落地,满足地市业务场景需求。
某市政务服务数据管理局需做好数据回流相关保障工作,工作要求如下:
应承担省级回流数据管理的主体责任;
应在申请省级数据回流前开展自查并提交安全责任承诺书。
7、数据共享交换平台主节点部署服务
数据共享交换平台主节点部署服务包含云资源申请、网络策略打通、管理端及执行器部署、联调测试、系统试运行、正式上线、与省版本同步迭代及相关文档编写、系统管理员和普通用户的系统操作培训等。
数据共享交换平台的功能包括管理端和执行器,管理端包括对外用户交互操作界面和内部配置管理端两个功能模块,集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体。管理端器通过调用执行器进行任务的调度执行。
4.2.1.2省市系统级联部署
1、政务大数据中心门户系统省市级联
将前台轮播图的修改、删除等配置信息上传到省系统。
将首页的实用工具的内容配置和调整,某市个性化配置上传到省系统。
资料发布配置上传,支撑某市的“资料下载”模块的后台配置,支持新增、修改、删除专区,支持新增、修改、删除资料内容,将某市个性化配置的资料下载内容,上传到省系统。
管理系统内本市的机构数据,包括机构简称、机构目录编码、机构可以配置的角色信息等内容,将本地机构相关的配置信息,上传给省系统。
支撑市用户的权限的新增、修改、删除等操作,将市用户相关的角色信息上传给省系统。
2、数据需求管理系统省市级联
支撑某市个性化工具的配置,如相关工具配置信息。将某市对接的外系统信息,上传到省数据需求管理系统。相关配置信息包括数据汇聚接口地址、端口参数、数据搬运的服务接口地址、获取库表信息接口地址、数据库网络连通判断接口、数据库的库表列表接口地址、库表对应的表字段列表接口地址、创建数据搬运任务接口地址、启用数据搬运任务接口地址、停止数据搬运任务接口地址、删除数据搬运任务接口地址等;某市服务构建接口地址、端口参数、新增服务接口等;某市数据资源管理平台接口配置、端口参数配置、质检操作接口地址等。
3、数据服务管理系统省市级联
为推动全市数据服务资源的一体化应用,将分散割裂、重复繁杂、格式多样的数据服务、证照服务、地图服务等多种类型的服务规范进行整合,统一服务接口及服务方式,实现省市两级数据服务管理系统级联。
数据服务管理系统的省市级联主要体现为应用系统接入、数据服务注册、数据服务授权的级联。
4、数据资源管理系统省市级联
数据资源管理系统进行省市两级的级联对接,实现统一的数据标准与数据质量检验规则的省市同步的能力。
主要实现要点如下:
市数据资源管理系统在创建提供租户时,系统初始化录入由省政务大数据中心统一提供的数据标准,可按要求包含本地标准、行业标准及国家标准及数据质量检验模板,方便各用户参照省统一的标准开展数据标准管理及数据质量检核工作;
当统一运营的数据标准和数据质量规则模板发生变更时,通过管理部门的审批后,数据自动同步推送至各用户,实现省市一体化多部门共享数据治理的成熟经验。
5、粤政图平台省市级联
粤政图平台省市级联主要是地图数据接口的同步,粤政图平台某市分节点的地图上架后将自动推送到省级平台,同时省级平台的地图也可按需回流到某市分节点。
6、数据共享交换平台省市联调
包含云资源申请、网络策略打通、管理端及1个执行器部署、联调测试、系统试运行、正式上线、与省版本同步迭代及相关文档编写、系统管理员和普通用户的系统操作培训等。
4.2.1.3系统部署实施服务
1、政务大数据中心门户系统后台部署
政务大数据中心门户系统后台模块部署在某市分节点,面向市系统管理员、部门管理员及市运营人员,包含:轮播图配置、工具配置、资料发布配置、机构管理、用户管理。
2、数据需求管理系统后台部署
数据需求管理系统后台模块部署在某市分节点,主要承担某市数据的自动化质检及自动化共享功能。数据需求管理系统某市节点后台主要包括需求调度配置、与外部系统对接等功能。外部系统包括数据服务管理系统、数据服务目录管理系统、数据资源管理系统、数据共享交换平台。通过需求调度配置和系统对接,支撑数据质检和数据共享工作。
需求调度配置:程序层面的配置,主要是需求系统与外部系统对接,包括数据汇聚接口地址、服务构建接口地址、数据资源管理系统接口;
数据汇聚工具:支撑数据共享过程中的数据的汇聚和交换。
3、数据服务管理系统部署
数据服务管理系统包括数据服务目录管理子系统、数据服务总线、数据服务运行监控子系统、结构化数据服务构建工具。
4、数据服务总线
数据服务总线支持省、市乃至区县多层级级联,通过部署数据服务总线,完成市级平台与省级平台级及其余20个地市的市级平台级联。同时数据服务总线具备的能力包括但不限于以下:
1)多云兼容适配能力
适配各种云平台组件环境,实现云内、跨云的服务互通;可结合云平台提供快速横向扩展,充分应对不定时,不可预估的请求访问,保障服务调用高可靠、高可用和高性能。
2)异构级联能力
总线支持异构其他服务总线;支持省、市乃至区县多层级级联。
3)自主产权、持续更新
完全自主研发的民族服务中间件软件产品,有多年电子政务行业的深耕实践,在通用型企业服务总线基础上,深度结合政府行业特点进行本地化改造及可持续版本升级迭代。
4)服务代理安全透明
为应用与服务之间提供相互独立的服务安全代理,从而使请求方开发商、服务方开发商无需额外考虑安全保障问题,服务总线提供进一步的身份鉴权、访问控制、服务传输控制等功能,保障安全可靠的端到端服务。
5)服务接入多样化
可支持丰富的服务类型接入,实现多样化服务能力输出,支持数据接口类的服务接入(如:信息查询服务、信息核查服务、小批量数据比对服务、信息订阅服务等),支持数据交换类的服务接入(如:数据订阅服务),支持业务协同类的服务接入(如:信息接收服务)。
数据服务总线的功能包括但不限于:请求受理、访问控制、服务控制、服务路由、协议转换、文件传输、加密传输、指标采集、日志采集和跨服务总线级联功能
5、结构化数据服务构建工具
结构化数据服务构建工具用于标准化数据服务接口的构建,实现快速将本地结构化数据资源配置成查询、比对、订阅等数据服务接口,支持适配多种主流数据库。通过系统配置生成的数据服务接口,并可直接发布到数据服务管理系统,为前台的应用系统提供各种类型的数据服务。
结构化数据服务是提供数据访问的能力,包括部门业务数据中心的业务库、共享库,政务大数据中心云浮节点的基础库、主题库、专题库等的数据。通过快速构建生成服务数据服务接口,并发布到服务总线上提供数据访问的能力,其提供的数据服务内容如下:
1)信息查询服务。信息查询服务用来进行结构化数据的查询,支持精确匹配、模糊匹配。支持查询结果集以同步方式或异步方式返回。
2)信息核查服务。信息核查服务用来进行结构化数据的核查,返回核查的结果只提示核查对象是否存在、核查结果是否一致,不告知具体的详细信息。
3)小批量比对服务。小批量比对指在两个不同信息的数据记录集中发现同时描述同一业务描述对象实体的数据记录的过程,该过程中发现的数据记录所组成的结果数据称为数据比对结果。
4)信息订阅服务。信息订阅服务是针对一种或者多种动态活动开展的信息订阅服务,提供比对订阅、结果查询、终止订阅等功能,支持数据的批量比对订阅。
5)数据订阅服务。为订阅请求者不断推送其需要的信息,在订阅期间,数据订阅结果以数据文件的方式推送到指定的目录,并消息通知订阅请求者。
结构化数据服务构建工具的功能包括但不限于:数据资源配置、服务方案配置、服务接口发布、服务执行引擎、服务日志采集功能。
服务构建模块可新增、修改、授权、发布数据服务。管理数据封装、接口封装,并且可基于库表数据自动生成服务(构建、授权、发布)。要求结构化数据服务构建工具功能要求具备如下功能:
▲数据源配置功能:对数据源的增加、删除,添加数据源字段包括但不限于数据源编号、数据源名称、数据源类型、IP、端口、数据库用户名、数据库密码等(需提供系统截图证明)
▲发布环境配置功能:针对接口发布时,所选择的发布环境参数进行配置,包括发布环境、参数(IP、端口)。可对已有的发布环境数据可进行修改和删除。添加发布环境字段包括发布环境、环境类型、数据服务平台域名、服务平台节点IP、端口等(需提供系统截图证明)
▲接口管理功能:新增接口分为三种类型,即新增接口(数据封装)、新增接口(省级)、新增接口(国家)。进入接口新增页面,填写必填字段,选择输入输出参数和筛选条件后即可生成接口数据。(需提供系统截图证明)
4、数据资源管理系统部署
数据资源管理系统主要分为元数据管理、数据标准管理、数据质量管理、数据开发管理、数据对帐管理、统一任务调度、系统管理配置、多租户控制台等8个功能模块。具体每一个功能模块的要求如下:
▲元数据管理:提供采集元数据,构建数据血缘关系、元数据详情查询,并可以进行数据血缘及数据影响分析。功能点包括元数据采集、元数据检索查询、元数据变更信息管理、元数据分析;(需提供系统截图证明)
▲数据标准管理:提供数据元、代码集及标准文档录入、可以进行标准审核发布及标准详情查询。功能点包括数据元管理、代码集管理、标准审核;(需提供系统截图证明)
▲数据质量管理:提供质量规则及模板管理、可以进行质量检核任务配置,查询任务监控及质量报告。功能点包括质量规则管理、质量模板管理、质量检核任务管理、质量报告管理;(需提供系统截图证明)
▲数据开发管理:提供数据导入、数据清选、数据整合的功能组件,可以进行作业管理、转换管理及任务监控。功能点包括数据导入、数据清选、数据整合、作业管理及转换管理;(需提供系统截图证明)
▲数据对帐管理:提供数据对帐规则配置、可以进行对帐任务配置,查询对帐结果及告警监控。功能点包括数据对帐规则配置、数据对帐任务开发、数据对帐报告查询、对帐结果监控告警;(需提供系统截图证明)
▲统一任务调度:提供各类数据任务统一调度配置,可以查询任务运行监控及进行资源配置。功能点包括任务看板、任务管理配置、监控告警、日志管理、资源管理;(需提供系统截图证明)
系统管理配置:提供帐号、角色、权限的统一管理配置,可以进行数据源的统一管理,并可查询系统操作日志。功能点包括帐号权限管理、数据源管理、操作日志管理;
▲多租户控制台:提供租户配置管理、租户授权管理,可以进行租户数据统计分析。功能点包括租户配置管理、租户授权管理、租户统计分析;(需提供系统截图证明)
5、粤政图平台分节点部署
粤政图是提供给政府用户使用的地理信息数据数据共享交换平台,实现各种不同层次在线地理信息共享服务能力,包括地图超市、地图工具、统计分析、应用定制等功能,协助用户基于粤政图实现数据的共享应用、在线地图制作、应用定制、统计分析联系等系列应用。
粤政图平台部署实施服务包括硬件配置、软件安装配置、网络策略配置、前后端应用部署、负载均衡配置等实施内容。
“粤政图”平台某市节点作为省级平台节点的拓展延伸和分级平台管理节点,主要提供地图处理和应用上架功能模块。具体功能要求如下:
(1)地图处理服务包括地图浏览、查询统计、数据编辑、数据制图、数据库连接、数据入库、拓扑工具、数据检查、分析工具、转换工具、瓦片工具等功能。
▲地图浏览:支持浏览矢量数据、影像数据、栅格瓦片、地理信息服务多种数据类型,支持浏览多种数据格式查看。提供丰富的地图符号对矢量数据中的点线面要素进行配图处理,同时也可以根据要素的属性特征采用单个符号、唯一值渲染、分级符号等方式实现数据符号化,获得美观的效果。(需提供系统截图证明)
▲拓扑工具:支持拓扑检查,包括点拓扑、线拓扑和面拓扑检查。(需提供系统截图证明)
▲瓦片工具:提供栅格切片、矢量瓦片切片、矢量瓦片字体管理、矢量瓦片样式管理等工具。(需提供系统截图证明)
(2)应用上架服务包括产品管理、推送管理、用户管理、服务目录管理、服务列表展示、服务查询、服务发布、服务授权、服务监控、服务日志、服务分析、系统管理功能。
▲服务日志:查看服务日志列表,支持按关键字、操作类型、服务类型、起止时间、日志类型等方式筛选服务日志。提供日志备份和日志删除功能。(需提供系统截图证明)
▲服务监控:提供对服务访问次数、访问流量的监控。并支持根据关键字搜索服务。(需提供系统截图证明)
(1)法人单位基础信息库初始化
根据《某省政务大数据中心 省市一体化 数据同步管理规范》要求,按照属地原则,将省级节点回流到某市前置机的法人单位数据库表交换至某省政务大数据中心某市分节点,同时开展初始化建库服务。实现法人单位基础数据回流包括:回流基础环境准备、确定数据回流范围、配置数据同步任务、某市级核验、数据库初始化、支撑某市编目挂接。
(2)社会信用基础信息库初始化
根据《某省政务大数据中心 省市一体化 数据同步管理规范》要求,按照属地原则,将省级节点回流到市前置机的社会信用数据库表交换至某省政务大数据中心某市分节点,同时开展初始化建库服务。
参照法人单位基础数据回流实施流程,实现社会信用基础数据回流。
(3)空间地理基础信息库初始化
政务大数据中心省级节点关联汇聚自然资源、水利、生态环境等职能部门有关自然资源和空间地理的信息,包括道路、河道、建筑物、基础设施、房屋等。以地理空间框架数据(矢量电子地图、遥感影像、地名地址、地势晕渲图)为基础,整合土地、矿产、水利、林业、生态环境、交通等专题空间数据,建设统一的自然资源和空间地理基础信息库。
按属地化原则,将政务大数据中心省级节点可回流的水利、土地、林业、生态环境、矿产、河流、湖泊等自然资源和空间地理基础信息数据进行裁剪,回流到某省政务大数据中心某市分节点,并开展数据初始化,最终建立某市的空间地理基础信息库。实现空间地理基础数据回流初始化主要包括:回流基础环境准备、按行政区划进行地图数据裁切、将数据推送至市ftp服务器、市政务服务数据管理局核验、完成数据库初始化、支撑完成省级回流数据编目挂接。
(4)电子证照基础信息库初始化
根据《某省政务大数据中心 省市一体化 数据同步管理规范》要求,按照属地原则,将省级节点回流到市前置机的电子证照数据库表交换至某省政务大数据中心某市分节点,同时开展初始化建库服务。
参照法人单位基础数据回流实施流程,实现电子证照基础数据回流。
(5)“互联网+监管”信息库初始化
依据属地原则,将省级节点回流到市前置机的“互联网+监管”数据库表交换至某省政务大数据中心某市分节点,同时开展初始化建库服务。
参照法人单位基础数据回流实施流程,实现“互联网+监管”数据回流。
(6)政务服务网办件过程信息库初始化
依据《某政务服务网办件过程数据采集规范》(GDZW 0013-2020),根据业务发生地的行政区划代码,将省级节点回流至市前置机的共享库汇聚的国垂系统办事过程表、省垂系统的办事过程表交换至某省政务大数据中心某市分节点,同时开展初始化建库服务。
参照法人单位基础数据回流实施流程,实现国垂、省垂网上办件数据回流。
(7)数据共享交换平台部署服务
数据共享交换平台按照“两级平台、三级管理”的模式建设,省市两级数据共享交换平台分别基于本级政务大数据中心的数据资源开展数据共享交换,包含数据交换管理、数据交换监控管理、数据交换安全管理功能模块。可打通和政务大数据中心门户系统、数据需求管理系统和数据目录管理系统流程,实现用户在数据目录管理系统编目数据目录资源,数据需求管理系统订阅数据需求等场景的联动,自动生成对应共享交换任务,完成相应数据的汇聚、挂接与交换,实现省市共享信息同步、数据互通。
为支撑某省政务大数据中心某市分节点的运营服务,部署数据共享交换平台主节点,包含共享交换总管理端和1个执行器。
4.2.1.4省市级联运行测试
省市两级系统级联部署完成后,需进行联调测试及上线运行测试,确保接入流程和结果正常。系统运行测试由系统部署实施服务方开展,由某市政务服务数据管理局开展项目验收测试。
4.2.2某市大数据中心分析平台建设部署
某市大数据中心分析平台作为大数据分析的平台工具,实现基于政务大数据中心数据资源的融合分析,具备多样化的数据接入能力、海量数据存储能力、多维分析、深度学习、数据挖掘、模型应用与管理、通用AI能力等,提供全流程端到端的数据接入、数据建模、数据可视化探索,实现低门槛、易使用的模型开发,满足政府部门的数据分析需求,具体功能包括对接管理、政务大数据中心分析后台、政务大数据中心分析工作台、管理中心、首页等5大子系统,内容包括功能清单、功能模块和软件部署实施服务。
对接管理:包括将建模所需的原始数据从政务大数据中心分节点、外部数据源或者本地数据对接到政务大数据中心分析平台,对数据抽取、加工、清洗等工作进行作业化管理。
政务大数据中心分析后台:实现模型能力,含指标建模、模型训练、模型部署、模型管理。通过与可视化中枢管理平台对接,实现其他平台调阅地市专题的能力,提供常用的BI能力和通用AI能力,包括文本分析、视频分析建模能力。
政务大数据中心分析工作台:实现模型的发布、申请、统计、授权、分类、搜索等操作,实现成果管理含成果发布,成果撤回,成果订阅等功能。
管理中心:提供多级租户的权限控制,用户管理,消息管理,日志管理等功能,实现多租户和分权限的管理。
首页:提供个人中心、分析平台任务的可视化看板,成果展示。
4.2.2.1功能概述
对接管理
作业管理
作业管理对系统的训练作业、模型预测作业、指标模型作业调度等进行统一管理,支持增、删、改、查、运行、停止、查看结果、查看日志、下载日志等操作管理。具体包括以下功能:
(1)作业配置
作业配置对作业相关的参数进行配置,应支持配置作业名称、作业描述、作业类型、作业模型、模型参数等。(需提供系统截图证明)
(2)作业运行
作业调度支持立即启动、定时启动和周期性启动三种运行方式。(需提供系统截图证明)
数据源管理
数据源管理是指将数据分析所需的数据从数据中心资源目录、外部数据源或者本地数据文件接入到政务大数据分析平台中,数据接入层应包含接口接入和库表接入。
数据接入是指将建模所需的原始数据从大数据仓库、外部数据源或者本地数据导入到大数据中心分析平台中,数据接入层应具备支持广泛的数据接入能力。具体要求包括:
(1)支持数据Hive库、MySQL数据库、PostgreSQL数据库、MPP数据库、Kafka数据源、本地文件等作为数据源接入数据集的能力。(需提供系统截图证明)
(2)支持提供数据管理能力,支持数据导入、查看和删除。
▲文件导入支持Excel、CSV,txt文件,支持设置文档编码、分隔符、支持数据预览,支持自动识别数据类型,支持数据异常处理策略设置。(需提供系统截图证明)
提供机器学习数据管理服务:包括数据源管理、数据库管理、样本表管理、特征表管理。(需提供系统截图证明)
(3)支持接入数据沙箱数据。
(4)支持LBS数据接口。
政务大数据中心分析后台
模型能力
模型能力应具备基础框架功能,可满足后期多厂家模型导入需求。
模型能力具备数据分析建模能力,符合CRISP-DM数据建模分析框架。
CRISP-DM 模型以数据为中心,将相关工作分成业务理解、数据理解、数据准备、建模、验证与评估、实施与运行等六个基本的步骤,如下图所示。在该模型中,相关步骤不是顺次完成,而是存在多处循环和反复。在业务理解和数据理解之间、数据准备和建模之间,都存在反复的过程。这意味着,这两对过程是在交替深入的过程中进行的,更大的一次反复出现在模型验证评估之后。
指标建模
指标建模是指对业务具有分析价值的指标进行数据模型构建,开发过程包括:
指标建模开发过程和指标建模数据处理能力。
(1)指标建模开发过程
指标建模根据业务需求进行自底而上进行的数据开发过程,包括需求分析、数据流程设计、模型设计、建表、抽取加载、开发、测试、初始化、配置与发布。
(2)指标建模数据处理能力
支持建模类型不少于6个,向导化模板建模数量不少于15个,具体要求包括:
▲提供数据之间以关联、联合、自碰撞等方式生成所需业务数据的能力。(需提供系统截图证明)
▲提供数据聚合、替换、去重、过滤、差分、缺失值填充等方式进行数据处理的能力。(需提供系统截图证明)
▲提供表达式生成新列的方式构造生成数据新属性的能力。(需提供系统截图证明)
▲支持数据处理即时预览,所见即所得。(需提供系统截图证明)
▲支持可视化拖拽方式进行数据指标模型构建。(需提供系统截图证明)
模型训练
模型训练是指从大量的、有噪声的、不完全的、模糊和随机的数据中,提取出隐含的、不可预知的、具有潜在利用价值的信息和知识的过程。模型训练包括准备数据、探索数据、训练模型、评估模型和训练任务管理,需满足以下要求:
▲机器学习建模提供向导式的界面引导业务人员完成从数据预处理到模型结果评估的建模全流程。(需提供系统截图证明)
▲机器学习建模的模型预测支持选择特征表或者上传特征表,机器学习模型预测支持模型特征自动匹配。(需提供系统截图证明)
机器学习建模的模型训练提供任务创建、删除、停止、列表查看、日志查询等功能(需提供系统截图证明)。
▲深度学习模型训练支持以下深度学习模型的训练建模(需提供系统截图证明):
(1)自然语言处理模型类型应包括单标签模型、多标签模型、情感分析模型、实体识别模型
(2)计算机视觉模型类型应包括:单标签模型、多标签模型、图像分割、图像放大、图像去模糊、对象检测模型
(3)提供文本分类,命名实体的标注,支持图像的分类、分割、对象检测模型的在线标注能力
▲支持迁移学习,在预训练模型的基础上进行增量训练,减少样本数量及缩短训练时长(需提供系统截图证明)。
具备常见模型评估指标和图形展示能力。(需提供系统截图证明)
模型部署
模型部署指模型开发完成后,被部署为可被调用的服务能力,形成模型市场。
模型管理
模型管理是指对自身构建模型以及第三方模型进行生命周期管理,具体要求包括:
支持外部模型导入和托管能力。
▲支持在线推理:把训练产出的模型发布为一个线上服务,并暴露其API端口。当业务系统产生一次新的预估请求,通过调用该模型的API端口,完成待预估数据的预估。(需提供系统截图证明)
▲支持离线批量推理:可以指定待预估的数据集,并指定要使用的模型,就可以批量性地对待预估数据集进行预测。(需提供系统截图证明)
BI能力
面向运营人员提供自助式数据探索与可视化分析服务,支撑本市数据融合分析应用,从而满足政府机构、企事业单位的大数据决策专题应用的需求,具体能力包括自助分析、多维分析和普通平面大屏等多项能力。
AI能力
在水利、应急、环保、自然资源等行业构建智慧应用时,需基于AI能力构建本行业特色的专题库,提高某市政务业务的智能化能力,开展城市智能管理、智能决策支持等,支撑本市的数据融合分析应用,从而满足政府机构、企事业单位的大数据决策专题应用的需求,大数据决策应用数量每年不少于2个。
本平台的AI能力原则上应具备基础框架功能,以满足后期通用AI能力扩展需求。AI能力基础框架包含应用中心、AI工作室、算法仓库、数据中心、设备中心,各模块说明如下:
应用中心:负责管理基于平台开发的应用,应用中心是模型服务的内的出口,由其中的API网关将服务暴露供外部使用;
AI工作室:负责将原子能力整合成适应复杂AI业务场景需求的AI任务,AI工作室实现组装各原子能力以满足复杂业务逻辑,化平凡为神奇的枢纽;
算法仓库:负责在线推理功能、模型服务配置,资源监控管理,通过算法仓库可以创建各类机器学习和深度学习模型服务,部署发布后的服务对外暴露访问地址,用户可以直接调用对接业务应用;
数据中心:负责数据对接和存储数据,实现屏蔽数据源差异,数据中心是实现各业务场景的基石;
设备中心:负责设备的对接、管理和和状态监控等。
OCR文字识别
通用类OCR
提供通用文字识别和通用表格识别的API服务, 把印刷在物理介质(如纸张等)上的文字以文本形式提取出来并生成便于理解的格式。
视频分析
通用类视频分析
提供1路入侵检测、人流量统计、关键岗位在岗监控、工服工帽穿戴监测、车牌识别+视频车辆检测、异常停车检测(车辆违停)、消防通道占用的视频识别分析。
城市治理类视频分析
提供1路高密人群统计、共享单车乱摆放、烟火检测、个体事件行为识别(吸烟检测)、内涝标尺识别、河道漂浮物识别、船舶闯入识别、船舶闯入识别、积水识别、裸土识别、小摊贩占道识别、餐饮出店经营检测、口罩佩戴识别、夜间老鼠检测、打手机识别、短袖短裤(含赤膊)识别的视频识别分析。
政务大数据中心分析工作台
模型仓库
包括模型发布、模型统计、模型应用、模型分类和模型搜索。
支持快速检索:行业领域、技术类型。(需提供系统截图证明)
成果管理
成果管理模块用于管理大数据分析平台的成果,可以对已发布的统计图、报表、模型等内容进行可视化管理。
管理中心
租户管理
租户管理是指利用同一套大数据分析平台支撑不同委办局租户的使用。大数据分析平台支持多租户管理,将大数据分析平台的资源隔离成一个个资源集合,彼此隔离。租户通过“租用”需要的资源集合,来运行分析建模应用和作业,并存放数据。
用户管理
用户管理包括成员管理、组织管理和角色管理。
支持用户管理功能,实现从行政区划到用户权限统一管理的平台,包含行政区划管理、组织机构管理、岗位管理、用户管理、用户审批管理、扩展字段管理。与认证中心完成对接,实现单点登录,并对用户的登录方式统一管理。(需提供系统截图证明)
权限管理
权限管理是对各个系统功能菜单、接口获取权限数据实现权限控制能力。实现对不同的用户访问资源进行权限的控制,避免因权限控制缺失或操作不当引发的风险问题,如操作错误,隐私数据泄露等问题。统一权限中心基于RBAC(Role-Based Access Control)模型实现基于用户角色的权限控制。
认证登录对接
平台通过但不限于网关和OAuth2.0接入的方式对接统一身份认证平台。
消息管理
包括消息触发条件配置和消息模板配置。
日志管理
包括日志查询和日志导出。支持日志管理,用于统一查看系统日志,便于操作审计。包括记录操作用户,操作时间,操作IP三要点的日志信息。
首页
首页提供系统主要功能统计,统计指标主要有数据、功能入口、消息动态、快捷入口、模型、应用统计等,统计指标分别为“数据动态”、“消息动态”、“开始探索”、“模型统计”、“作业统计”、“应用统计”、“应用排行”、“用户统计”、“数据排行”。
个人中心
包括个人发布、个人订阅和个人消息。
分析平台任务
包括任务详情和任务总览
成果展示
包括查看成果、展示风格选择和展示端选择。
4.2.2.2软件部署实施服务
按照《某政务大数据中心省级节点 省市一体化 第1部分 总体建设规范》相关要求,组织开展现状调研、级联部署设计、部署实施服务、培训实施服务工作。
1、市需求调研
现状调研
该项目现状调研工作内容包括调研本市大数据相关已建、在建或规划建设的系统相关情况,包含投入使用时间、系统技术架构、系统功能、覆盖范围、承建单位信息、运维单位信息、运营单位信息、运行或应用概况等。
数据现状调研
该项目数据现状调研工作内容包括调研本市整体数据情况,包含已有基础库建设情况、基础库设计情况、数据量、信息类、数据使用场景需求以及相关标准规范/管理制度名称、发布状态等。
2、系统部署服务
按照《某政务大数据中心省级节点 省市一体化 第1部分 总体建设规范》的要求,对大数据分析平台进行部署实施。
3、系统测试上线
系统运行测试由系统部署实施服务方开展,项目验收测试由市政务服务数据管理局另行开展。
在测试前需确保已完成以下两点;
被测系统已完成全部功能的开发,在某省统一政务云平台某节点上部署完毕,完成内部调试,具备了上线运行的条件;
被测系统相关的全部服务器已加入到测评跳板机可访问的白名单中。
系统测试一般包括功能测试、性能测试、负载测试、强度测试、安全性测试、配置测试、故障恢复测试、文档测试、用户界面测试。
4.3系统运行维护服务
4.3.1运维服务内容
1、工作日服务
主要指现场值守服务,维护团队需要长期值守在现场,负责对现场设备运行状态进行监视、管理和维护以及工作终端的管理和维护,通过对系统运行日志的分析提前发现并排除可能发生的潜在故障,并在全部维护服务团队支持下,在1小时内排除普通故障,2小时内排除较大故障,4小时内排除重大故障,24小时内排除特大故障。维护期内提供技术人员进行现场监控服务。
2、故障响应服务
除了现场值守服务方式外,同时,提供7×24小时故障响应服务具体包括:维护期内提供电话、传真、电子邮件等方式的咨询和支持服务。
主要系统设备出现故障时,30分钟内响应,当现场维护工程师或节假日值班维护工程师无法排除故障时,1小时内中心派专业工程师赶赴现场进行故障诊断及处理,在1小时内排除普通故障,2小时内排除较大故障,4小时内排除重大故障,24小时内排除特大故障。一般故障,正常工作日内响应。
3、其他时间及夜间服务
当系统在非工作日出现异常时,维护团队现场人员将在1小时内赶赴现场并排除系统普通故障,特大故障将在24小时内处理完毕。具体联系方式包括:通过维护团队提供的7×24小时响应服务热线;现场维护人员通过移动通信网络(当运维管理系统具备短信故障报警通知功能时)接收到系统报警信息;或维护人员接到服务请求电话时。
4、临时保障服务
当遇到重大活动需要提供临时保障服务时,维护团队须在需要保障服务的前三天进驻现场,并对所有设备进行临时性安全检查,排除安全隐患,以做到万无一失,按需提供人员进行支撑,做好业务临时保障响应。
5、月度检查
每月对各系统及终端进行检查,进行安全系统、防病毒系统检查,进行漏洞扫描,并对检查中存在的故障及安全隐患进行处理。每月第一周向用户单位提交上月的《月度巡检报告》,报请用户单位审批签署。
6、季度检查
每季度对由维护团队的专业维护队伍对所有设备进行安全评估和风险分析,提交完整的安全状况评估报告,分析存在的安全漏洞情况,提出《整改方案和建议》。
7、年度检查
每年由维护团队组织相关的专家对整个系统进行安全检查,对每个终端设备使用状态进行风险评估,并对下一年可能存在的问题进行风险预测,对每个设备的状态出具使用报告。
4.3.2某省政务大数据中心某市分节点运维服务
运维服务对象包括政务大数据中心门户系统、数据需求管理系统、数据需求管理系统、数据资源管理系统、粤政图平台分节点、数据共享交换平台主节点等系统。
运维服务内容包括日常维护、例行巡检、响应支持服务、重要时刻保障、应急保障、版本同步、运行维护报告、数据共享交换平台及交换数据库运维服务等。通过运维服务保障某省政务大数据中心某市分节点正常运行。
某省政务大数据中心某市分节点每年投入不少于1名运维人员提供现场驻点服务,实现运维的及时响应。
4.3.3某市大数据分析平台运维服务
运维内容包括对接管理、政务大数据中心分析后台、政务大数据中心分析工作台、管理中心、首页子系统等5大子系统。
运维服务包括日常运维、例行巡检、响应支持服务、重要时刻保障、应急保障、版本同步、运行维护报告等等运行维护服务,保障某市政务大数据中心分析平台正常运行。
某市大数据分析平台每年投入不少于1名运维人员提供现场驻点运维,实现运维的及时响应。
4.4系统业务运营服务
4.4.1用户规模
某省政务大数据中心某市分节点:市、县(区)级政府单位,全市用户数量不少于2024个,包括184个单位,每个单位至少分配10个用户和1个节点管理用户。
某市大数据分析平台:市、县(区)级政府单位,全市用户数量不少于2024个,包括184个单位,每个单位至少分配10个用户和1个节点管理用户。
4.4.2政务大数据中心某市分节点运营服务
某分节点运营服务包括数据资源发布服务、数据资源共享服务、数据专项工作支撑服务、数据共享交换平台迁移服务、培训实施服务等5方面服务,每年投入不少于2名运营人员,同时根据项目实际情况,适当增加人员数量,提供现场驻点服务,以便快速、及时、高效率完成运营服务。
4.4.2.1数据资源发布服务
数据资源发布服务主要内容包括支撑新增信用信息类编目,通过数据探查分析、数据读取、数据提取对数据进行汇聚;开展数据质量检测,发布至大数据中心门户提供保障根据不同业务部门个性化需求配置展示内容,供各政府各业务部门浏览、检索查找所需数据资源。
数据资源发布服务支撑数源部门开展数据资源汇聚挂接,进行数据质量检测后,将权威可靠的数据资源目录发布至数据中心门户系统,开展门户个性化需求配置展示、账号权限配置管理、7×24小时客服等运营工作,推动完成不少于60个数据资源目标编目的部门数量。
4.4.2.2数据资源共享服务
数据资源共享服务包括管理政府各部门的数据共享需求申请,根据需求以库表形式提供数据共享服务,以及根据业务场景需求封装服务接口提供给需求申请方调用(包括接口、库表、文件、地图等),构建数据服务及国密服务器证书。
数据资源共享服务主要依托某市分节点系统,进行数据共享需求跟踪、反馈及交换实施,根据需求以库表、接口、文件等形式提供数据共享服务,构建不少于50个数据服务。
4.4.2.3数据专项工作支撑服务
1、公共数据普查专项支撑服务
根据《某省人民政府办公厅关于印发某省政务信息化能力和公共数据资源普查工作方案的通知》(粤办函〔2020〕263号),按照省市数据普查工作要求,协助某市政务服务数据管理局做好政务信息系统、公共数据资源和数据需求三张清单的梳理,包括但不限于数据普查的系统配置、组织梳理、业务培训、目录编制、清单审核、数据挂接等基础支撑工作。
2、数据治理支撑服务
根据某省数据治理专项规划和某市“数字政府”建设总体规划(2019-2021 年)的工作部署安排,坚持统筹规划、应用导向的原则,围绕业务应用的痛点、难点和堵点,以数据治理为支点,推进数据治理标准化、规模化、制度化建设,实现提高政 务服务水平、优化营商环境、提升政府服务效能的目标,推动我市“数字政府”改革建设向纵深发展。
3、其他专项支撑服务
协助开展数据归集专项工作,包括不限于“互联网+监管”数据汇聚、涉税信息归集、电子证明应用推广、信用信息归集等省市要求开展专项工作。
4.4.2.4数据共享交换平台迁移服务
1、已挂接数据资源迁移服务
围绕本地已编目挂接的数据资源,包括部门数据量229多万条,省数据量2.8813亿万条,支撑市完成数据资源目录及对应数据资源的迁移、质检工作,确保某市分节点标准版系统数据资源目录与实体数据的一致性、准确性。
2、存量共享交换任务迁移服务
根据某市规划和增加的执行器,完成不少于160个原有数据共享交换平台的存量交换任务迁移服务。按需支撑现有部署于各单位前置机的存量交换服务迁移某省统一政务云平台某节点,将原有数据共享交换平台的存量交换服务迁移至新数据共享交换平台,对数据交换进行对账、实时监测、数据纠错等。
3、前置库迁移服务
根据某市的不同前置库的类型,可以制定不同的迁移方案。具体迁移方案选择将结合调研与需求情况具体制定。
4.4.2.5数据共享交换平台执行器部署服务
基于某市的共享交换需求,部署不少于5个数据共享交换平台标准版(管理端+1个执行器)以外的执行器服务。
数据共享交换平台包括管理端和执行器,管理端包括对外用户交互操作界面和内部配置与管理的服务端两个功能模块,集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体。管理端器通过调用执行器进行任务的调度执行。
4.4.2.6培训实施服务
针对政务大数据中心某市分节点的部署内容,通过对使用系统的所有相关人员开展分角色、针对性的培训,并提供相应的培训材料和课件,实现系统管理和使用人员都能学会如何使用并熟练操作系统,确保政务大数据中心某市分节点部署工作后在各类业务场景下得到有效使用。某省政务大数据中心某市分节点每年平台预计培训4次,每次不少于50人次;某市大数据分析平台每年平台预计培训2次,每次不少于50人次。
4.4.3某市大数据分析平台运营服务
某市大数据分析平台运营服务包括专题运营服务和日常运营服务。
专题运营包括专题需求分析、专题指标设计(专题指标数据量不少于30个)、数据处理服务、数据建模服务(专题分析建模数量不少于10个)、数据封装服务、专题可视化展示(专题可视化页面不少于9个)等内容。日常运营服务包括支撑用户开展数据分析、数据采集、抽取、建模、可视化展示、统计分析等大数据分析应用工作。
平台运营服务每年投入不少于2名运营人员,提供现场驻点服务,同时根据项目实际情况,适当增加人员数量,以便提高运营服务效率,支撑完成6个大数据决策专题应用,协助各部门开展其他辅导性工作(如数据分析、数据处理、数据治理等工作),同时满足各部门日常数据运营需求;日常运营服务包括数据采集、建模、可视化展示、统计分析等4方面。
4.4.3.1专题运营服务
1、专题需求分析
开展专题应用需求调研,通过业务调研及需求分析,明确分析主题的业务现状、业务场景、专题目标、专题范围、数据源等。调研结果应由专题相关业务部门逐项进行确认,以指导后续专题指标、模型的构建。
2、专题指标设计
根据业务场景开展主题设计和指标设计。
3、数据处理服务
依托政务大数据中心的大数据中心分析平台及其他大数据中心系统的数据资源管理相关工具,完成从各类数据源到市政务大数据中心分析平台专题库的开发实施工作,包括数据采集、抽取等数据处理服务。
4、数据建模服务
结合实际需求,利用政务大数据中心海量数据资源及接入的外部大数据资源,通过构建数据模型,实现信息深度挖掘加工和智能化处理,助力提升市的政务业务应用能力,包括模型建立、测试验证、模型输出及应用等。
5、数据封装服务
将建立的数据模型以数据服务接口的方式进行共享,包括数据服务开发配置、数据服务挂接、数据服务接口内部测试、数据服务接口文档编写、测试样例提供、数据服务接口维护、质量持续监控与问题诊断等。
6、专题可视化展示
专题可视化设计包括原型设计、页面设计实施、可视化对接服务和统计分析,提供跨部门数据分析主题数量6个。
7、原型设计
专题原型设计涉及需求调研、业务梳理、需求分析、架构设计、版面设计、原型输入等方面的工作,输出主题图和卡片。
8、页面设计与实施
可视化页面设计与实施服务内容主要包含页面框架搭建、可视化图表实施、数据接入、联调和发布,生成的可视化页面须提供开放接口支持与可视化管理中枢对接,支持其对页面的调用。