数据中台主要实现哪些功能呢(数据中台和作用说明)

在以前，数据往往只被显示，不被存储；慢慢地，人们需要随时随地查找数据，随之，存储数据的概念被普遍认知；再慢慢地，人们渐渐产生了数据思维，发现可以通过观察数据来制定运营策略；当进入了互联网时代的爆发期，此时产生了大量的数据，人们通过数据挖掘，收集了大量的外界数据。数据中台就是一个在数据层面上为企业业务提供帮助、决策的一个工具。

数据中台将数据统一之后，会形成标准数据，再进行存储，最终形成大数据资产层，进而为客户提供高效服务。数据中台支持海量数据的存储、计算、产品化包装，为前台基于数据的定制化创新以及为业务中台基于数据反馈的持续演进提供强大支撑。数据中台可以解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低等相关问题，最终使数据能够赋能业务场景、产生业务价值。

整体介绍

DAP数据分析平台是一款专门用于搭建企业大数据平台的产品，它可以对从业务系统或者ODS中抽取出来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效的帮助企业清晰的分析优劣势，从而调整企业策略，加快企业的信息化发展，提高企业的整体竞争力。

DAP数据分析平台可以通过不同的产品组合来解决不同公司面临的企业困难，帮助企业建立一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决当前面临的信息孤岛问题，有利于提高企业的效率和降低成本。

1.产品体系

首先介绍公司产品体系如下图：

数通畅联的所有产品都是通过K8S云管理平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

DAP数据分析平台通过与ESB应用集成平台结合使用场景，主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，其中基础数据为DAP提供同源且标准的、一致的数据,确保数据的准确性。

2.产品介绍

数据中台POC的方案是基于统一服务、统一主数据和数据分析为一体的数据解决方案，在有效解决企业数据治理分析难题的同时，也能帮助企业深度挖掘数据价值，从而实现系统数据的最大化利用。

1.数据管理体系。基于ESB进行数据采集，基础数据由主数据进行统一维护、建立标准，同时支持分发下游业务进行标准统一；业务数据通过数仓模型在数仓中进行落地，同时基于模型对外提供数据接口，或者通过数据模型建立分析模型进行接口提供；基于基础数据和业务指标建立基础数据、业务数据治理分析体系，从IT架构层面为企业信息化建设奠定基础。

2.建立基础数据治理。不是将各个业务系统的基础数据进行映射，而是建立主数据的维护体系，实现全生命周期管理，实现各系统基础数据同源、编码一致，确保后续系统数据的长久一致性；

3.基于指标的数仓建设。以业务指标为核心的数据仓库，根据企业的业务进行业务指标的制定与分析，可以从时间、项目、组织等不同维度对同一指标进行数据分析，可以分析指标的数据变化，从而实现数据分析与预测；

4.服务标准化管理。通过ESB实现中台体系中各平台的无缝融合，可以实现数据同步、分发、汇聚等业务服务快速开发、注册、管理、监控与运维，一键生成、一键部署、实施监控，使运维人员更精准的把握平台运行情况；

5.云平台部署方案。采用K8S云平台部署，提供统一的运维管理平台，可以实现集群、环境、产品等快速维护、升级，支持通过命名空间进行环境隔离，并且实现开发、测试、发布、生产等环境的数据推送、灰度升级。

下图是产品介绍如下：

3.功能说明

数据中台主要实现各个业务系统数据的有效整合，数据中台把数据统一之后，会形成标准数据，再进行存储，最终形成数据资产层，进而为客户提供高效服务。数据中台支持数据的存储、计算、产品化包装，为前台基于数据的定制化创新以及为业务中台基于数据反馈的持续演进提供强大支撑，解决企业内部数据和应用程序之间存在的的连接和协同问题，降低成本并提高使用速度，实现企业业务集成和数据集成，让集成更敏捷、让客户使用更便捷。

整体介绍

数据中台能打通企业的数据环节，实现全生命周期的数据管理，通过数据中台建设数据管理体系，实现各个业务系统数据的有效整合，通过基础数据治理确保底层基础数据的一致性，基于业务指标进行前端的动态展现，结合数据指标的多维度穿透，实现不同形式、不同维度的分析展现。

1.数据获取

数据获取主要根据需要分析的主题对应收集相关的数据，为数据分析提供依据，数据分析的数据来源于公司内部的MDM基础数据平台上的系统数据，根据不同的数据来源需要连接ESB企业服务总线或者直接调用DAP接口的等手段，保证分析数据的可用性、全面性。

2.数据互通

信息化系统的集成正逐步实现更为广泛的连接，万物互联将是未来集成整合的发展趋势。企业内部各个系统间进行集成，对数据进行治理，实现数据的同步和分发，实现信息共享，同时实现企业内部的集成，打通业务边界，实现生态化。

3.数据治理

各个业务系统中的数据需要在DAP数据分析平台中进行治理分析，数据治理是通过ODS定义功能筛选业务系统表，再从ODS选择维度表和基础事实表，进行数据的校验清洗，保证维度表和基础数据中的数据是完整的、准确的，从而进行汇总事实表加工，建立数仓，并通过数仓创建数仓模型，通过数仓模型创建想要数据集、立方体、报表等分析模型。

数据获取

数据获取就是通过ESB应用集成平台获取业务系统的数据，数据分为业务数据和基础数据，基础数据是采用MDM基础数据管理平台进行数据采集同步到平台中进行数据管理，业务数据是通过DAP选择业务系统不同的数据表，采集到ODS中间库中进行定义和筛选，采集过程都是通过ESB应用集成平台实现现异构、分布式系统之间互联互通。

1.功能介绍

在数据中台收集数据的过程中通过ESB预置的各种适配器组件，连接现有各孤立应用系统，以图形化、拖拽方式构建集成流程和服务，提高应用系统集成工作效率，降低异构系统集成风险。针对未来可能出现的业务需求变更，在应用集成平台上进行动态调整，实现各应用系统之间的集成策略平滑升级。

2.功能使用

1.基础数据采集过程

首先数据建模配置主数据的来源系统：

首先要调用同步临时表接口，先同步到临时表：

数据导入功能：

点击同步按钮同步到真实表中或者调用同步真实表接口：

接口API说明：

主数据采集到数据管理中：

2.业务数据采集过程：

业务数据采集过程是从业务系统到ODS的过程，首先定义应用系统：

然后定义数据库要与应用系统相关联：

之后就可以进行ODS数据定义了，ODS数据的来源方式为：源库读取（一般是MDM基础数据平台的主数据表），流程同步，接口推送。

1.源库读取：把业务系统变成从库，直接会通过业务系统同步到数仓中。

2.接口同步：接口同步是业务系统调用此接口进行数据同步。

3.流程同步：流程同步是与ESB结合生成调度流程进行数据同步。

通过3种方式进行ODS数据定义后就可以创建集成流程进行数据同步，如下图:

我们可以选择自己创建的数据进行创建流程进行同步。

点击flash后，会生成调度资源，我们就可以进行调度的执行，调度资源的明细信息如下图：

3.效果展现

1.主数据同步

2.DAP数据同步

数据互通

企业内部各个系统间进行集成，对数据进行治理，实现数据的同步和分发，实现信息共享，同时进行企业内部与外部、线上与线下数据的集成，打通业务边界，实现生态化。

1.功能介绍

通过主数据管理进行企业内部统一数据标准，为主数据标准化提供一个统一的集中式管理平台，为所有信息交互和数据交换集成提供统一的编码数据。在主数据治理的过程中，企业服务总线作为辅助工具，完成数据的同步与分发。

2.功能使用

基础数据数据分发：

基础数据分发首页通过应用配置分发主数据和字段：

配置分发字段：

通过配置分发权限，配置主数据分组能够分发那些业务系统。

调用分发API接口调用统一分发：

通过BPM流程打通各个业务系统：

3.效果展现

执行上述流程后可以通过数据中台调用该数据。如下图：

数据治理

为了凸显数据中台的价值，需对数据中台的数据进行综合治理，构建标准化、流程化、规范化、一体化的数据治理体系，有效的数据治理可以确保企业数据全面、一致、可信，从而全面提升数据中台数据资产的价值。

1.功能介绍

数据治理分为基础数据治理和业务数据治理，基础数据治理是通过MDM基础数据管理平台进行数据的清洗、管理、审批等操作，帮助实现基础数据的一致性、完整性、准确性。

业务数据治理主要是从ODS到数仓（维度表、基础事实）过程中进行质量检测，帮助业务数据的完整性，这样在进行汇总计算的时候才能帮助数据准确性，从而建立数仓模型。

2.功能使用

基础数据治理：

数据清洗：通过数据清洗功能把业务系统的基础数据导入到MDM中进行校验清洗，清洗后在导入到主数据真实表中。

业务数据治理：

配置校验规则：配置正则表达式校验规则。

维度表字段配置关联校验规则：

调度流程中校验：

3.效果展现

主数据数据巡检功能：已存在的数据通过数据巡检功能进行重复数据筛选。

DAP数据质量日志：

心得总结

无论是现在的互联网企业，还是传统型企业，都需要数据分析，数据分析的目的是把隐藏在一大批看起来杂乱无章的数据中的信息集中提炼出来，从而找出所研究对象的内在规律。

1.产品理解

数据中台集成业务系统数据，一般情况下，展现层的数据不是本身系统的数据，是不可能在业务系统抽取出来的，那样抽取的性能会变差，因为业务系统数据已经传送到数据中台，而且是治理后的标准数据，所以应用从数据中台中获取，而获取的途径是DAP数据服务。

数据中台方案是根据企业自身业务情况来进行产品的组合拆分从而打造出来的，数据中台治理方案通常与ESB企业服务总线产品结合进行，MDM负责数据治理工作，ESB负责数据同步分发工作。数通畅联在任何项目方案的选择上，都会遵守方案合理规划、产品最优组合的模式，在企业信息化能力或业务需求没有达到构建标准的基础上，将合理利用企业现有资源，避免造成资源不必要的浪费。

2.产品应用

企业逐步建立统一高效、资源整合、互联互通、信息共享、便捷查询、实时监管的企事业内外一体化的数据决策分析平台。意在帮助企事业单位根据自身经营发展情况，提供政策分析、运营情况分析、财务情况分析、企业运营主题分析、企业内外部的相关数据分析，实现及时掌握竞争者的商情和动态，知晓在竞争群中所处的市场地位，通过积累和挖掘行业数据，达到帮助营销决策的目的。

3.产品展望

从技术的角度讲，数据中台绝不是简单的一个平台、一套软件系统或者一个标准化产品，而更多的是一种强调资源整合、集中配置、能力沉淀的运作机制，是数据价值的加工厂。

数据中台是一系列数据组件模块或能力的集合，它居于数据开发的后台和应用开发的前台之间，聚合和治理后台全域的数据，沉淀数据资产，抽取数据模型，封装数据服务，为前台提供高效率、高质量的数据服务。