数据中台相关概念（数据中台和数据分析的关系）

数据中台炙手可热，数据数据然而很多人并不知道(dao)数据中(zhong)台有什么作用，中台中台也不(bu)懂为什么人人都在谈论数据中台。相关析总之(zhi)，概念关系提到「数据中台」4 个字，和数很多人都(dou)会「不明觉厉」。据分其实简单来说，数据数据(ju)数据中台就是中台中台企业用户数据的链接枢纽，数据中台的相(xiang)关析搭建(jian)就(jiu)是以数据创造价值的过程。

数据分析学习，概念关系在于将别人的(de)和数知识转化(hua)成自己的(de)知识，食之化尽，据(ju)分举一反三。数据数据那么，中台中(zhong)台从“数据中台”的(de)相关析视角，来看一下“数(shu)据分析”是怎样(yang)的呢？

今天将会从以下四个⽅⾯来深⼊探讨《从“数据中台”的视角，来认知“数据分析”》。

1、数(shu)据中台相关概念

2、数据中台建设方法论

3、数据中台和数(shu)据分析的关系？

4、数据中台的能(neng)力项？

▼

1. 什么是数据中台

数据中(zhong)台是一套可持续“让企业的数据用起(qi)来”的机制，是一种战略选择和组织形式，是依据企业特有的业(ye)务模式和组织(zhi)架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。

2. 数据中台的三个(ge)核心认知

2.1 数据中台需要提(ti)升到企业(ye)下一代基础设施的高度，进(jin)行规模化投入；

2.2 数据中台需要全新的数据价值观和方法论，并在其指引下形成平(ping)台级能力；

2.3 数据中台围绕业务(wu)、数据、分(fen)析会衍生出全新人才素养要求，需要尽快启动人才储备；

3. 数据中台驱动模式(shi)

以上四种(zhong)驱动模式，

4. 数据中台推进原则

4.1坚持"业务牵引，咨询、平(ping)台、实(shi)施三位一体推进"原则

♦以满足相关业务应用需求为目标

♦总体规划

4.2遵循"横向规划，纵向切入"建设模式

♦规划必(bi)须全盘考虑，打通企业的所(suo)有(you)板块

♦数据中台建设不可能一蹴而就，需要从业务应用出发倒推数据需求

♦围绕单个业务场景的闭环快速搭建数据中台的各种(zhong)能力

5. 数据(ju)中台架构原则

5.1 核心纪律严明

创建新的架构范例的目的是要敏捷和创新，但它需要实用的治理。这种平衡是一条(tiao)需要把握的微妙线。第一条(tiao)神圣的原(yuan)则体现了这种平衡。在核心(xin)上遵守规则意味着存储数(shu)据的各个层需要按照它们的(de)数据(ju)管(guan)理方法进行结构化(hua)。这些层需要(yao)有(you)详细的治理策略，不(bu)能留下任何模糊的空间(jian)。然而，DataLakeHouse的边缘，即数据转换、数据(ju)屏蔽和(he)有助于(yu)洞察的层，需要具有(you)灵活性。灵活性并不意味着在方法中乱作一团。这些层仍然由Data LakeHouse的策略管理。但是，它们在(zai)创建(jian)基于需求的新特性时具有一定的灵活性。在边缘灵活的一个例子是，将(jiang)来自Data LakeHous的(de)原始数据和来自数(shu)据服务层的数据仓库的数据混合起来，以创建一个(ge)ML模型。这些数据集具有不(bu)同级别的质量分数和属性。然而，这种灵活性是可以接受的，因(yin)为它有(you)利(li)于快速洞察的创建(jian)。

5.2 解耦计算(suan)和存储

5.3 关(guan)注功能而(er)不是技术

下一个神圣的原则是(shi)关注组件的功能，而不是它的技术化身。这一原则体现(xian)了灵活性。正(zheng)如系统上下文图中(zhong)所描述的，Data LakeHouse可以满足很多人的需求。Data LakeHouse的(de)技术表现形式有(you)大量的(de)技术选择。它可以(yi)部署在任何云平台上，甚至可以使用(yong)不同类型(xing)的选择在内部部署。此外，技术正在迅速变化(hua)。许多新产品都在商业(ye)上或开放源码世界中发展，专注于实现(xian)特定的功能。让我们以实时处理为例。

Apache Storm是2011年发(fa)布的一款针对实时处理进行了优化(hua)的产品。Apache Spark在2010年开源，到2013年成为了事实上的流处理引擎。Apache Spark一直在发展，而Apache Flink现在正在挑战Apache Spark作为流处理引擎的霸主地位。技术的发展是迅速的。然而，功能仍然是相同的流处理。专注于一个组件(jian)完成的(de)任务是至(zhi)关重(zhong)要的。此外，随着技术的发展，我们可以很容易地替换技术来满足相同的功能。

5.4 创建模块化(hua)架构

模块化架构指的是由可连接的独立组件组成的任何系统的设计。模块化架构的美妙之处在于(yu)，您可以替换或添加任何部件(模块)，而不会影响(xiang)系统(tong)的其余部分。模块化架构确保(bao)了Data LakeHouse架构的灵活(huo)创建(jian)，并且我们可以在不(bu)破坏现有(you)功能的情(qing)况下无缝添加新功能。例如，假设将来需要向Data LakeHouse架构添加新(xin)功能。在这种情况下，可以添加组件，使其遵循与所有其他组件相同的模式(shi)。它从数据湖层获取数据，执行其功能，并将数据存储到经(jing)过处理的数据存储中，以便为其提供服务。模块化(hua)架构原则确保了(le)数据保持在核心位置。根(gen)据不同的功能，可以实例化不同的服务以根据(ju)需要使用数据。

5.5 积(ji)极开展编码

防止Data LakeHouse变成沼泽的唯一最(zui)重要(yao)的原则是在其层内进行编目的程度。因此，执行主动编目是一个神圣的(de)原(yuan)则。编目是防止数据湖变成数据沼泽的关键。勤奋的(de)编目可以确保Data LakeHouse的用户具有(you)数据感知能力。他们应该理解存储在不同生命阶段的数据的属性。他(ta)们需(xu)要理解数据转换过程的血缘，从数据生成到数据消费。需要对Data LakeHouse架构的所有组件进行编目，以便使用DataLakeHouse提供整个数据生命周期的整体视图。

6. 常见数据问题

♦独：烟囱系统(tong)，数据(ju)孤岛严重。重复开发，成本浪费；

♦断：数据理解与数据价值链条的断层；

♦缺：缺标准、缺治理、缺数(shu)据、缺流程、缺组织、缺制度；

♦难：知(zhi)数据难、要数据难、懂数据难、溯源难；

♦脏：数据质量差；

7. 数据中台的业(ye)务价值和技术价值

7.1 业务价值(zhi)：从洞察走向赋能业务创新，形成核心(xin)壁垒

在以(yi)客(ke)户为中心的时代(dai)，数据中台对数字化转型(xing)具有重要作用，以数据中台为基(ji)础的数据系统将(jiang)位于企业应用的核心，通过数据从企业(ye)降本增效、精细化经营等方(fang)面为企业带来巨大收益。具体来说，包含以下三个层面：

◆以客户为中心，用洞察驱动企业稳健行动

在以客户为中(zhong)心的时(shi)代，客户的观念和行为正在从根本上改变企业的(de)经营方式以及企业与客户的互动方式。

数据中台建设的核心目标就是以客户为中心的持(chi)续规模化创新，而数据中台的出现，将会极大提升数据的(de)应用能(neng)力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。

譬如，数据中台能够汇聚全渠道的数据，在标签管理(li)、营销圈人、效果分析等应用上实现全域的闭环，优化对客户全生命周期的理解(jie)。此外，以数(shu)据中台为基础，通过数据(ju)化(hua)运营提升客户留存、复购和忠诚度，也得到诸多(duo)企业(ye)的认可。

◆ 以数据为基础，支持大规模商业模式创新

只(zhi)有依托数据和算法，将由海量数据提炼的洞察转化为行动，才能推动大规模的商业创新。数据中台在通过算法将洞察直接转化为行动、实现(xian)大规模商业创新方面(mian)的能(neng)力，令人瞩目。

另一方面，数据无法被业务用起来的一个原因是数据没(mei)办法变得可阅读、易理解。

信息技术人员(yuan)不够懂业务，而业务人员不够懂数据(ju)，导致数据应用(yong)到业务变得很困难，数据中台需(xu)要考虑将信息技术人员与业务人员之(zhi)间的(de)障碍打破，信息技术人员将数据变(bian)成业务人员可阅读、易理解的内容(rong)，业务(wu)人员看到内容后能够很快结合到业务中去，这样才能更(geng)好地支撑商业模式(shi)的创新。

此外，数(shu)据中台提供标准(zhun)的数据访问能(neng)力(li)，简化集成复杂性、促进互操作性等特性也非常受企业(ye)CIO们的青睐。同时，在快速构建服务能力、加(jia)快商业创新、提升业务适配等方(fang)面，数据中台也将会发挥重要的作用。

◆ 盘活全量(liang)数据，构筑坚实壁垒以持续领先

7.2 技术价值：能力多、成本低、应用广

数字化转型的需求必将催生多元化的数据场景，而多元化的数据场景将会(hui)带来以(yi)下技术需求，企业数(shu)据中台建设势在必行。

◆ 应对多数据处理的需求

针对不同的数据应用(yong)场景，需要能够快速应对多数据处理需求，比如：

要保持原来的报表需求，仍需要保(bao)持(chi)批量(liang)离(li)线计算的能(neng)力（Hadoop、Oracle RAC）；

针对准(zhun)实时(shi)的指(zhi)标(biao)统计和实时推荐，需要实时流式计算的能力（Storm、Spark Streaming、Flink）；

针对决(jue)策类业(ye)务如海量人群的圈人需求和ad-hoc需求，需要即席计算能力（Greenplum、Elasticsearch、Impala）；

针对高并发业务(wu)场景（如用户画像），需要在线计算能力（MySQL、Redis、Oracle）。

因此，企业需要一个统(tong)一的数据中台来满足离线／实时(shi)计算需求、各(ge)种查询需求（实时查询和ad hoc），同时在将来新数(shu)据引擎（更快的计算框架，更快的查询响应）出现时，又不需要重构目前的大数(shu)据体系。

◆ 丰富标签数(shu)据，降低管理成本

根据全国信标委大数据标准工作组发布的(de)《数据(ju)管理能力成熟度模型》（DCMM），针对(dui)数(shu)据(ju)标(biao)准提到的(de)数据分类主要有主数据、参考数据和指标数(shu)据，但根据目前真实的数据建(jian)设情况来看，需要对一类数据进行定义和分类，譬如标签名为“消费特征”，标签值(zhi)为(wei)“促销敏感”“货比三家”“犹豫不决”。

数据中台能对这类标签进行快速定义和(he)有效管理。

◆ 数(shu)据的价值(zhi)能体现业务系统效果而不仅是准确度

过去的(de)数据应用场景主要为报表需求，注重(zhong)数据的准确性，但在更(geng)多数据场景下，特别是对于标签数(shu)据的应用，越来越多的数据是需要(yao)不断“优化”的，数据本身没有准不(bu)准确之分，比如某个会员是属于促销敏感人群，这个数据其实更多的说的是概率。

企业早期建设的应用数据层ADS（传统数(shu)据仓库ODS/DW/ADS）更多是为某个主题域所服务的，如营销域、人力资源域、风(feng)控域，而(er)企业在数据应用的时候(hou)往往需要打破各个业(ye)务主题，会(hui)从业务对象主体(ti)出(chu)发来考虑数据应用(yong)，如人（会(hui)员、供应商、渠道、员工(gong)）和(he)物（商品、仓库、合(he)同），从全域角度设计完整的面(mian)向对象的数据标(biao)签体系。

◆ 数据可以(yi)快速复用而不(bu)仅是复制

—▼—

1.数字化转型面临的问(wen)题(ti)

利用数据中台，实现数据采集、存储、处(chu)理、分析和服务的统(tong)一管(guan)理，提高信息和数据的响应(ying)时(shi)间，提高经营管理工作效率，有利于压缩开支，降低管理成本，推进(jin)数字化转型(xing)发展。”5步走”解决问题！

2.数据中台建设方法论

▶1种战略行动：把用(yong)数据中(zhong)台驱动(dong)业务发展定位为企业级战略，全局谋划；

▶2项保障条件：通过宣导统(tong)一组织间的数据认知，通过流程(cheng)加速组织变(bian)革；

▶3条(tiao)目标准则：将数据的可见、可用、可运营3个核心准则始终贯穿于中台建设的(de)全过程，保(bao)障建设在正确轨道上；

▶4套建设内容：通过技术(shu)体系、数(shu)据体系(xi)、运营体系建设保证中台建设的(de)全面性和可持续性；

▶5个关(guan)键步骤：通过理现状、立(li)架构、建资产、用(yong)数据、做运营5个关键行动控制中台建设关键节点的质量；

—▼—

1.数(shu)据中台架构图

2.典型(xing)应用场景介绍

♦场景一：在财务管理(li)中使用 BI 找到数据关键

BI 可以(yi)帮用户获取外(wai)部、本地的各种财务数据。还可以(yi)利用拖放可视化工具，完善客户对财务状况的分析。

♦场景二：帮助市场营销活动管理数据

借助 BI，用户可以监控并分析当前(qian)的市场状况(kuang)，从而把营销资源投入到更有效率的渠道上。

♦场景三：在销售活动中预测市(shi)场机会，达成业绩目标，提高利润

BI 可以帮用户管理公司的各种销售渠道。

♦场景四：掌握人力资源的相关信息

BI能(neng)帮用户收集和监测所有重(zhong)要数据。仪表板还能(neng)帮用(yong)户追踪合规性、人员编制和其他信息，保(bao)护公司和员工数(shu)据。

♦场景五(wu)：IT领(ling)域提高工作效率

通过BI，用(yong)户可(ke)以创建各类(lei)仪表(biao)板，从而监测并分析从 Active Directory 到 Zendesk等各种服务。如果需要企业级别的商业智能解决方案，您还能将它与 SSAS 服务包无缝集成。

♦场景六(liu)：在运维工作中以(yi)数据为向导

BI 能够监测包括 Excel表、本地数据库和云服务等所(suo)有来源的数据，并为用户的产品、商场绩效、申报额分析等发现新的可能

一旦数据被接入到Data LakeHouse，各(ge)种利(li)益相关方将以原始或转换后的形式使用它。这些利益相关者将从Data LakeHouse中提取用于(yu)特定目的(de)的数据。每(mei)个(ge)消费者都有使用Data LakeHouse的(de)个人动机。一个架构良好的Data LakeHouse应该能够满足每一个涉众的需求。

让我们看看一些典型(xing)的用户和(he)系(xi)统，他们使用来自Data LakeHouse的数据，如(ru)下所示:

♦数据(ju)科学家

我们看到使用Data LakeHouse的第一类人(ren)是数据科学家(jia)，他们从Data LakeHouse中提取数据，以测试(shi)他们可能想要证明(ming)或反对的各种假设。数据科学家(jia)研究各种类型的数据：结构化的、非结构化的、原(yuan)始的和处理过的。Data LakeHouse需要能够确保数据对于(yu)特定用途是容易识别的，用户必须精通许多编程语言和技术，包括Python、R和结构化(hua)查询语言(SQL)， 架构需要为这个用户提供正确的平台来创建和测试他们的(de)模型。

♦数据分析师

♦管理人员

第三类大量使(shi)用Data LakeHouse的人是管理人员，他们需要定(ding)期的报表以进行业务决策。他们深入研究那些按特定业务需求处理过数据。他们可能(neng)是半技术通，可能需要一个(ge)使用商业(ye)智能(BI)工具创建报表(biao)或分析的地方。这些人通(tong)常(chang)通过报表系统获取他们所需的报表。

♦报(bao)表系统

Data LakeHouse的其他关键用户是报表系统。报表系(xi)统间接(jie)地迎合了希望订阅预定的、临时的或自助报表的人员。此外，可能还有其他类型的报表系统是为了监管报表。这些系统定期从Data LakeHouse中提取数据，然后存储报表以便交(jiao)付。

♦下游应用系统

♦基于应用程序编程接口(API)的系统

Data LakeHouse还(hai)需要能够以API的形式公开数据。DataLakeHouse处理各种类型的数据，需要服务于多个内部和(he)外部系统。虽然紧密耦合的交付机制可能适用于特定的使用者，但基于API的(de)数据使用是一种可伸缩且实用(yong)的选择。此外，基于API的系统还可以公开不属于组织的外(wai)部涉众所使用的(de)数据。

♦数据共享系统

数据共享系统代表了一种新型的数据消(xiao)费机制。当数据作为数据市场的一部分被消费或共享时，就(jiu)会使用这种机制。当需要就数(shu)据使用的特定条款达成一致时，也(ye)可以使用(yong)数据(ju)共享机制。

—▼—

1.数据汇聚整合

企业看中的数据整合和(he)管(guan)理能(neng)力包括（管理简便、集成与(yu)运(yun)营、确保(bao)访问权限(xian)、数据可用）：

♦数据(ju)丰富和(he)完善：对多样的(de)数据源进行合(he)并(bing)和完善；

♦管理简便：可视化任务配置以及丰富的监控管理功能；

数据集成与运营：数据中台能(neng)够接入、转(zhuan)换、写入(ru)或缓存企业内部多种来源的数据；

♦数据(ju)目录与治理：数据用户可以方便的定位所需数据，理解数据（包括技术/业务治理）；

♦数据安全：确保数(shu)据的访问权限；

♦数据可用：数据用户可以简便、可拓展的访问异构数据，可用性和易用性高；

♦部署灵活：支持本地部署，以及公有云、私有云、混合云等(deng)多种部署方式；

2.数据(ju)提纯加工

企业(ye)需要完整的数据资产体系，围绕着能给业(ye)务带来价值的数据资产进行建设，推动业务数据向(xiang)数据资产的转化(hua)。

传(chuan)统(tong)的数字化建设往往局限在单个业务流(liu)程，忽视了多业务的关联数据，缺乏对数据的深度理解。数据中台必须连通全域数据，通过统一的数据标准和质量体系(xi)，建设提(ti)纯加工后的标准(zhun)数据资产体系，以满足企业业务对数据的需求。数据提纯加工承担了数据字段、数据(ju)指标的衍生计算任务(wu)，为数据开发人员提(ti)供可视化或者(zhe)可编码的环境进行加(jia)工(gong)规则的(de)管理和(he)实施，是将数据(ju)资产化的重要环节。

♦完善的数据质量(liang)保障体系(xi)；

♦规范的、紧密结合业(ye)务的可拓展标(biao)签体系；

♦面向业务主体的资产平台；

♦智能的数据映射功能，简化数据资产生成；

3.服务可视化

多数企业期待数据中台提供数据化运营平台，帮助企业(ye)快速实现数据资产的可视化分析，提供包括实时流数据(ju)分析，预测分析，机器学(xue)习等更为高级的服务，为企业(ye)数据化运营赋能。

企业看重的资产服务化能力包括（数据可视化服务、数据开发平台、AI服务能力、数据分析能力）：

♦提供自然语言处理等人工智能服务；

♦提供丰富的(de)数据分析功能；

♦便捷、快速的服务开发环境，方便业务人员开发数据应用；

♦提供实(shi)时流数据分析；

♦提供预测分析、机器学习等高级服务；

4、价值变(bian)现

数(shu)据中(zhong)台通过打通企业数(shu)据，提供以前单个部门或者单个业务单元无法(fa)提供的数(shu)据服务能力，以实现数据的更大价值(zhi)变现。

企业看中的业务价值变现能力包括（跨部门实现业务(wu)价值、数据应用管理、洞察驱动(dong)业务的通路、面向场景的数据应用(yong)）：

♦提供数据应用的管理能力；

♦提供数(shu)据洞察的直接驱动业务行动的通路；

♦提供跨业务场景的能力；

♦提供跨部门的普适性业务价值能(neng)力(li)；

♦提供基于场景的数(shu)据应用（推荐引擎、搜索引擎等）；

数据中台是把业务生产资料转(zhuan)变为数据生产力，同时数据生产力反哺业务，不断迭代循环的(de)闭环过程(cheng)，让数据流通用起来，使数据驱动决策运营，为企业数字化转型赋能，为社会数字经(jing)济赋能！

▼

总结(jie)

以上(shang)就是本次分享的全部内容！数据中台技术可以实现分(fen)析用户购买行为、分析消费场景、分析用户购买喜好等业(ye)务场景化的数据分析，打通各业务(wu)体系和产品线的数据，进行计算、存(cun)储、加(jia)工，形成数据产品和(he)服务， 从而真正实现(xian)数据智能应用。数据中台在数据可视化分析中起(qi)到了十(shi)分重要的作用，不管是集中多数据源，还是统一数据分析口径、为不同场景预设不同的方式以提高数据分析效率等，都对企业信息化、数据化(hua)运营管理起到十分重要的作用。

版权声明：本文内容由(you)互联网用户自发贡献，该文观点(dian)仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 1817475@qq.com 举报，一经查实，本站将立(li)刻删除。