excel学习库

excel表格_excel函数公式大全_execl从入门到精通

工业企业数据中台构建方法探索

工业革命正在各国掀起变革浪潮。工业时代经历了 1.0 的机械化、2.0 的自动化和 3.0 的信息化,现正在迈向 4.0 的智能化,而迈向智能化的必经之路就是数据化。近年来,工业企业的感知设备越来越多,信息化程度越来越高,数据也随之不断增加,如何对这些数据进行合理分析和充分挖掘,使企业能从中受益,已成为各个企业潜在的新的增长点。数据中台的建设将助力工业企业从“制造”向“智造”的转变,成为企业数字化转型的引擎,受到业界的广泛关注。

目前,工业企业数据中台的建设还处在起步摸索阶段,工业企业对数据中台的应用价值认识不足,对建设的方法缺乏理论的指导。本文依托作者在建设工业企业数据中台项目的经验总结,讨论建立工业数据中台的价值,并以阿里云平台及相关产品为例,探索建设工业数据中台的基本方法和步骤。

1 工业数据中台的价值

自阿里巴巴提出“大中台,小前台”战略后,数据中台取得了快速发展。数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台将上述数据统一之后,形成标准数据,再进行存储,进而形成大数据资产层,为客户提供高效服务。工业企业建设数据中台,能产生以下价值:

(1)促进数据和组织的统一协同。数据中台首先解决的是协同问题,包括数据与数据的协同、数据与系统的协同、数据与业务的协同、数据与资源的协同以及以数据协同来促进组织的协同。通过组织的协同达到全集团在技术、架构、标准、模型和指标上的统一。

(2)激发数据化管理思维。数据中台可实现业务数据化及数据可视化,通过全域的数据模型管理,盘点企业数据资产概况,反映业务全貌。数据中台可激发企业数据化管理思维,以数据作为管理的主要依据,为数据化运营、精细化运营构建数据基础。

(3)助力企业“降本增效”。工业企业可通过数据中台实时产出生产经营报表,流程溯源与一贯制产品质量保障方案,以提高生产运营效率。也可将算法直接应用在实时数据上,提升产能、降低能耗,达到“降本增效”的目的。另 外,通过数据中台支撑算法应用,可快速灵活支撑各类智能应用,避免重复建设与“烟囱式”建设,缩短应用交付周期,提高应用交付质量,帮助企业实现“降本增效”的目标.

(4)提高决策效率。数据中台可实现跨域数据的智能融合,支持洞察分析,用数据说话,用数据决策,使企业能够及时地发现问题和机遇,快速做出正确的决策。

(5)企业创新的源泉。有了数据中台,企业可以发挥员工的能动性,通过数据业务化的过程积极参与企业产品创新、业务创新和组织创新等,使数据中台带来的创新思想和新的商业模式成为企业不断发展的引擎。

2 工业数据中台构建六步法

在为工业企业快速构建数据中台过程中,作者设计了构建数据中台的六步法。首先,做准入分析,评估企业的数据现状;然后,做数据上云实现数据化;再经过数据治理对数据做清洗和建模,使数据成为有用的资产;接下来,对数据资产构建特征做信息挖掘,构造专家系统知识库或者知识图谱,使数据资产变成知识;然后通过智能算法应用将数据变为智能数据;最后,做效果评估,重新评估企业数据成熟度。数据中台的建设需要一轮又一轮不断的迭代完善,构建流程如图 1 所示。

图 1 构建工业数据中台六步法流程

2.1 准入分析

在项目调研中,我们发现工业企业信息化现状参差不齐。有的企业虽然规模很大,但信息化水平非常低,还处于用 Excel 表格软件来管理数据或者甚至处于纸质办公的阶段。有的企业对信息化虽然比较重视,但由于企业刚成立不久,各种信息化系统还在建设的初期,也没有太多的数据积累,这些企业的高层有做数据中台的想法,但经准入分析评估后,企业目前阶段还不适合启动数据中台项目。准入分析评估按照专家打分的方式,从客户的数据完整性、可用性和时效性等方面对客户数据现状做一个初步的评估,并参考数据管理能力成熟度评估模型(DCMM)划分为初始级、受管理级、稳健级、量化管理级和优化级等分层。

2.2 数据化

评估企业满足建设数据中台的条件后,建设数据中台的第一步是企业全域数据上云接入。随着信息技术在企业的深度应用,企业在生产运营活动中产生海量数据。高效存储、弹性计算和易于扩展的云平台成为企业构建数据中台的必然选择。企业通过上云能够降低基础设施的运营成本,提高 IT资源利用率。阿里云数据工厂对于结构化的数据库、非结构化的文件以及工业特色的集散控制系统(DCS)测点数据,均可通过配置的方式做接入。数据上云接入通常分为三步:

第一步做业务数据梳理,包含工业生产制造过程相关的人、 机、料、法、环、能、废等过程产生的数据以及企业在供应链、研发设计、营销销售、客服等环节产生的大量数据;第二步做上云配置,工业企业信息化系统种类繁多,包含DCS、生产过程执行系统(MES)、检化验系统、高级生产排程系统(APS)、仓库管理系统(WMS)、客户关系管理(CRM)、企业资源计划系统(ERP)、产品生命周期管理(PLM)和供应链管理(SCM)等,其数据源较为复杂。在阿里云数据工厂中可配置多源异构数据源到云端的数据同步传输任务;第三步做数据验证,验证上云后的数据的正确性、完备性、时效性和一致性等指标。

2.3 资产化

资产化是通过对上云后的数据做清洗、加工和数据治理等过程,使原始杂乱、无序、分裂、有缺陷的数据成为有用的数据资产。包含数据模型设计、数据研发和数据资产管理。OneData 体系是阿里巴巴数据中台的核心方法论,其 中 OneModel 表示统一数据构建和管理,即建立企业统一的公共层,从设计、研发、部署和使用上保障数据口径规范和统一,实现数据资产全链路管理,提供标准数据输出。

OneModel 是以维度建模为理论基础,划分和定义业务板块、数据域、业务过程、维度、度量 / 原子指标、业务限定、时间周期、派生指标、修饰类型,设计出维度表、明细事实表、汇总事实表的过程。OneModel 规范包含业务板块、规范定义、模型设计三个部分,如图 2 所示。

图 2 OneModel 通用规范

OneModel规范在工业领域同样适用,以钢铁行业为例,定义了铁水预处理子域,铁水成分检测就是一个典型的业务过程,铁水设计为维度,铁水的碳含量设计为原子指标,加上日期的修饰词就构成了“铁水检测碳日平均含量”的派生指标。同时,可设计出铁水维度表、铁水检测成分明细表、铁水检测成分日汇总表。钢铁行业 OneModel 模型样例如图3 所示。

图 3 钢铁行业 OneModel 模型样例

数据中台将数据分为操作数据(ODS)层、明细数据(DWD)层、汇总数据(DWS)层和应用数据(ADS)层。每个企业的 ODS 层数据源相差较大,而当上层应用确定后,从 DWD 层到 DWS 层的加工逻辑相对固定,DWD 层 和 DWS 层有较强的复用性。依赖阿里云数据工厂 AIMaster的模型发布和调度能力,可实现数据模型和 ETL 链路的沉淀和复用。数据工程师将数据建模和数据加工逻辑发布在AIMaster 的场景画布,可以在现场环境快速部署。另外,数据中台提供任务监控的功能,监控所有数据任务运行状态,对异常任务可做干预和处理,保障线上任务正常稳定运行。

数据进入数据中台后,数据资产管理工具提供元数据管理、资产目录、资产地图等模块,实现数据血缘分析、影响分析和全链路分析,统一管理和运营企业数据。

2.4 知识化

信息是指外部的客观事实,知识是对外部客观规律的归纳和总结。从数据到知识,在工业数据中台有两种表现形式:一是专家系统知识库,二是知识图谱。知识库用来存放由相应领域专家提出的专业知识和经验知识。知识库组织是对人类专家丰富的经验及知识进行归纳、总结,并根据领域及专业特性分类,云上知识库通常存储在关系型数据服务(RDS)中。

知识图谱本质上是一种揭示实体之间关系的语义网络,运用图谱的结构来挖掘、分析、建立、描述和展示不同来源的知识资源之间的关联,用简单直观的方法来展示复杂的关系,以便使计算机和人更好的理解。工业知识图谱需要有知识构建能力、知识抽取能力及知识辅助能力。首先,需要定义一个场景,定义知识本体以及业务本体;然后通过机器学习、深度学习等技术手段进行知识抽取。构造的知识图谱具有智能搜索、辅助推荐等能力。底层数据汇聚到数据中台经过加工,变成数据资产,再经过各类算法引擎,最终将专业知识、业务知识、运营知识等知识的知识本体抽取出来,以知识本体为框架,并通过规则引擎进行大数据的推理挖掘,构建起知识图谱。目前,知识图谱在设备故障诊断、行业标准智能问答、设备信息查询助手等方面有广泛的应用。

2.5 智能化

建设工业数据中台的最终目标是实现企业的智能化。工业企业大数据的典型场景如图 4 所示。

图 4 工业企业大数据典型场景

由数据驱动的智能供应链、智能化设计、智能化生产、智能化营销、智能化服务等智能场景涵盖了工业企业供、研、产、销、服的全流程,共同组成了智能制造。对企业而言,面临的主要问题之一是如何提高制造资源、物流资源和研发资源的配置效率,如何准确地为新品研发、客户定位、营销策略、研发组织、排产计划和库存管理等做好决策。企业能够成功的关键因素,就在于外部环境发生变化时能快速做出响应,做正确的决策,其背后所需具备的能力则来自“数据+ 算法”。

工业领域利用机器学习、深度学习、强化学习的基础算法库加上不同行业的制造工艺、仿真等机理知识可构建行业智能引擎,用于支撑库存优化、排产排程、销售订单预测、设备故障诊断等智能化应用,工业数据智能架构如图 5 所示。

图 5 工业数据智能架构

2.6 效果评估

工业数据中台建成后,将从数据汇聚、数据质量、数据安全及数据价值评估四个准则再对企业做一次数据管理成熟度的评估,并迭代优化持续追踪企业数据化管理水平。企业数据管理成熟度的评估可采用 AHP 层次分析法。层析分析法是将决策问题按总目标、评价准则和具体评价指标分解为不同层次结构,采用计算判断矩阵特征向量的方法,得到各层元素相对上层某元素的权重,根据权重判断各因素对目标评价的重要性。表 1 为根据 AHP 层次分析法设计的企业数据管理成熟度评估指标体系参考。

表 1 企业数据管理成熟度评估指标体系参考

3 结论

工业数据中台是实现企业数据智能的基础。数据中台的建设可帮助企业打通数据孤岛,构建企业数据资产,为企业提供稳定的、持续的和可复用的数据生产能力,助力企业降本增效和业务决策。数据中台的建设还处在发展阶段,目前尚未形成稳定、成熟的建设方案和建设路径。本文讨论了数据中台对工业企业的价值,明确了数据中台对企业的作用和意义。提出建设工业数据中台的六步法,为企业在实施过程中提供参考。企业可根据自身实际情况做出方案选型和建设路径规划。

原文刊载于《信息技术科技》2020年第21期 作者:广州大学华软软件学院 计算机系 郑耀东,李旭峰,陈和平

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

«    2024年12月    »
1
2345678
9101112131415
16171819202122
23242526272829
3031
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
    文章归档
      友情链接