伴随着数据量的爆发式增长,数据处理技术日渐成熟,国内的数据中台行业正在逐步进入高速发展阶段,行业增长势头明显。据艾瑞咨询预计,到2023年我国数据中台的市场规模将达到183亿元。
但数据中台从提出到现在已经经历了3-5年时间,在这个过程中,很多业内人士对数据中台提出了很多观点与解读,且行业对中台的争议不断。这是因为大家把什么都往数据中台概念里装,从而导致了一些问题。
例如越来越多的企业经历了建中台到拆中台的过程,主要是因为侧重于搭建完整体系的方式周期非常长且重。比如,数据中台是搭好了,但是不少企业却找不到数据应用的场景,数据中台建了半天没用起来,更没发挥出应有的作用。那么数据中台的本质到底是什么?以及企业该如何更好的落地数据中台呢?今天小亿就来为大家分享下。
一、什么是数据中台?
1.定义
数据中台介于前台和后台之间,是企业级的数据共享和能力复用平台。
数据中台是从后台及业务中台将数据导入,完成海量数据的存储、计算、产品化包装过程,同时要辅助以数据治理,保证数据的输入输出质量,构成企业的核心数据能力。最终为前台基于数据的定制化提供了强大的支撑,也帮助业务中台基于数据反馈做持续的演进。
数据中台链接所有数据,赋能业务,是解决数据业务化的问题关键。
除此以外,数据中台是技术的概念,但更多是管理的思维,是企业数字化转型的基础和数据中枢。数据中台并不是一个简单的软件体系或标准化产品,更多是强调资源整合、集中配置、能力沉淀、分布执行的运作机制,是一系列数据组件或模块的集合,指向企业的业务场景。
2.本质
数据中台服务于数字化转型,而企业数字化转型的终局是传统业务变成数字化业务,数字化业务的本质就是以数据作为新生产要素进行加工,构建以数据作为主要存在形式的产品,产生商业价值的业务模型。
因此数据中台的本质更像一种企业架构,是一套接互联网技术和行业特性,在企业发展的不确定性中,寻找确定性,并且持续沉淀和提炼企业核心能力,最终支持企业快速、高效、低成本进行业务创新和增强的企业架构。
3.5种对外展现形式
(1)服务:指可以提供对外信息查询、可视化查询、数据接口、元数据接口等服务形式,用户可以直接访问或者通过协议对接到自己的平台或服务当中。
(2)数据:指数据工作中一个核心的产出,最终以一个统一数仓的形式呈现出来。统一数仓完成一些标准化的工作,把业务都需要的一些通用逻辑进行抽象处理,避免下游使用方在使用过程中的重复处理。因为在重复的处理过程中,可能会引入不一致的口径或者维度,造成资源的浪费。
(3)平台:更多面向数据开发人员,对整个的大数据能力进行了平台化的封装。提供界面化的数据开发能力,并且数据任务的运维和管理更加高效,同时也会把工作中常用的信息以更好的组织形式展现出来。
(4)投递:在形成了一套投递标准之后,去建立一些对应的投递工具用于进行投递管理。进一步,在测试和灰度阶段也增加了两个平台用于保证投递质量,分别是统计测试平台和灰度测试平台。在这两个阶段对质量进行监控,最终保证数据在真正投递出来之前稳定可能且质量比较高。
(5)标准/规范:中台要输出标准流程和规范来让大家可以快速按照流程和规范去开展工作,而且这个流程和规范一定是方便用于接受的。
二、企业为什么要建数据中台数据中台对企业的价值是什么?
数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长,主要体现在以下3个方面:
1. 帮助企业建立数据标准
在有数据中台之前,企业基本不会有全局的数据标准,即使有相关的数据标准,由于没有数据中台这个实体形态,数据标准也无从执行。数据中台的建设天然会帮助企业建设数据标准,包括数据建设规范和数据消费规范。
数据建设规范有诸如数据接入规范、数据建模规范、数据存储规范和数据安全规范等,数据消费规范包含数据权限规范、数据调用规范以及数据销毁规范等。这些标准都是建设数据中台时必须建立起来并依托数据中台去执行和落地的。
2. 促进中台组织形成
再宏伟的企业战略规划,都离不开一套科学合理的组织去落地执行。数据中台建设将是企业宏观战略规划的一个重要部分,那么在践行数据中台建设的过程中,摆在企业第一位的问题就是如何搭建起一套能稳定护航数据中台建设及运营的数据中台班子。
数据中台这种体系化工程将横向拉通企业数据相关方,包括中台建设团队、中台运维团队、数据产品经理团队、数据资产管理团队、数据运营团队等,组成标准的企业数据委员会,从而形成企业真正的中台组织。
需要说明的是,中台组织可以是一个横跨各个业务部门的弱矩阵组织,也可以是一个完整的实体组织。这需要因地制宜,因企业不同而异。
3. 全面赋能业务,促使降本增效
数据中台的终极价值是降本增效,无论是建设数据标准还是形成中台组织,其核心目标都是帮助企业达成战略规划。
通过数据中台,可以更加合理地布局团队;数据从加工生产到使用的整个时间周期将大大缩短;以中台之力拉通整合企业营销、交易、服务、库存、物流等一方数据,结合二方及三方数据,以全局视角,形成强大的数据资产,滋养各业务板块。
同时有目的性地针对场景,设计出赋能场景的数据应用,帮助其从研、产、销等多个方面缩短产品研发周期,生产未来一段时间畅销的产品,精准找到愿意购买公司产品的群体,以至于增强用户对企业产品及服务的友好体验,提高用户对于企业品牌的忠诚度,降低企业运营过程中的损耗,压缩供应链端的周期等。
这些价值都是企业一直以来孜孜追求的目标。
三、企业如何落地数据中台?
1.什么企业适合上数据中台
数据中台的构建需要大量人力物力的投入,所以数据中台的建设一定要结合企业的现状,按需选择,不可盲目跟风。因此,企业在选择是否构建数据中台的时,可以从以下几个方面思考:
首先,看企业是否有一定的信息基础,是否实现了业务数据化的过程,有了一定的数据沉淀,数据中台,顾名思义,数据是基础;
其次,企业是否存在业务数据孤岛,是否有需要整合各个业务系统的数据,进行关联分析的需求,如果有,需要通过构建数据中台,打通数据孤岛,整合各业务系统数据,满足关联分析的需求。比如某零售企业,在业务发展初期,商品、销售、供应链等都是独立的数据仓库,后期要构建智能补货系统,需要打通多个业务系统的数据,因此选择建设数据中台;
最后,在日常的数据使用过程中是否遇到指标口径不一致、需求响应速度慢、数据质量差、数据成本高等痛点,如果满足前两个条件,且在数据应用中存在以上所述的一些痛点,那建议你可以考虑将数据中台项目提上日程了。
2.如何落地数据中台
应从面向“业务价值”入手,简单来讲就是,面向应用更有目标性,能更早地发挥数据的价值,让企业客户的数字化转型路径不再是一个漫长的周期建设,而是一个逐步演进的过程。换一个更好的理解方式,其实是面向企业客户实际需求,以及业务价值构建数据中台。
首先,上数据中台的最好是业务发展或变化快速的部门,因为这些业务上中台,一是ROI容易成正比,二也能充分发挥数据的价值,容易得到各方认可;
其次,一开始不一定就得从统一数据口径入手,是不是可以先容忍数据层面一定程度的混乱,验证价值。当业务发展起来后,再去治理它,这很大程度上符合敏捷的理念,也符合很多企业的实际情况。
然后,针对业务价值或实际存在的问题提供服务,务实而非务虚。比如,①先上专家或架构师,进行项目诊断;②用产品和解决方案,走通关键路径;③当核心业务问题被解决后,也有一些事情是需要客户自己来完成,这时也能够针对性提供一些咨询服务。
四、行业客户建设数据中台需要考虑哪些问题?
建设数据中台要遵循企业数字化进程各阶段的要求,因此,企业数字化发展可以分为数据汇集、融合、开放、智能化处理几个阶段。
第一阶段,对于本身已经覆盖较多信息系统的企业,需要考虑把有关数据汇聚到一起。而对于信息化程度相对偏低的企业,则要实现企业业务的在线化;
第二阶段,需要企业评估其自身数据是否已经实现了有机地融合。所谓的“融合”指的是企业通过一种标准把各个系统产生的数据进行有效的资产化。也就是说,这个阶段企业需要完成数据治理和归集工作;
△数据中台架构图
第三阶段,涉及数据的开放,即企业需要有专门的部门把归集以后的数据开放给内部各个部门,让各部门了解企业的数据资产情况,从而更好地实现企业基于数据的服务提升与创新。有条件的企业再把数据开放给生态链上下游的企业,实现服务创新、协作方式的重构,从而形成更大范围的协同;
第四阶段,指的是利用数据进行智能化处理。众所周知,企业通过机器学习等人工智能的方式进行数据处理,可以创造出十分广阔的增值空间,就像寻找矿产资源一样,通过数据智能的方式,企业可以从前所未有的角度挖掘出全新的数据价值。
以上的数字化进程对于计划实施数字化战略的企业而言,是相对比较适合的一个过程。同时,由于各企业的实际情况不同,各自的战略也会有所差别。大型企业建设中台主要需要考虑转体系问题,即企业应从整个组织、商业模式、战略协同方面,开展全面的改造,即三个全:全在线、全链接、全协同。而发展中企业则需要先考虑“工具化”问题,即企业可以借助数据平台、工具,首先实现业务的在线化,然后再考虑基于数据的服务提升。
五、数据中台后续如何发展?
1.更加标准化,且从业务场景出发
数据中台大多以偏定制化的方式在项目中落地,未来将以更标准化和通用的形式来应对各行业的各类应用需求。且数据中台距离前端业务场景很近,因此数据中台的建设将从业务场景出发,先探索数据价值的使用需求,然后将不同业务应用场景对于技术的需求抽象建模成相应的数据服务,再由业务应用场景牵引着逐步建设、快速迭代。
2.将与与SaaS融合
数据中台是面向内部提供数据服务,并且为前端业务场景提供半成品服务,而SaaS为业务需求方提供标准的完整解决方案产品,两者之间存在一定的关系,SaaS其实是数据中台发展的下一阶段演化产物。未来数据中台再往下发展就可以抽象出中台+SaaS产品服务于整个行业。
3.智能化发展
海量数据与多样的业务场景导致数据中台数据量大增,积累了丰富的数据指标,未来数据中台将会应用智能技术提供通用化智能服务,为业务决策提供直接辅助场景,比如商品销量预测,千人千面推荐算法、营销活动预测等。同时,通过智能技术算法可以为前端员工降低数据使用的门槛,提高整体工作效率和生产效率。
六、小结
近几年很多企业都开始了中台的建设,互联网、零售、银行最先开始。中台建设的真正困难是组织上的重构,数据中台能否和组织架构进行匹配,这是一道绕不过去、但必须要迈过去的门槛。数据中台更像是企业战略定力、组织架构、技术架构于一体的一种管理理念,企业从战略角度出发建立统一的基础底座,利用先进的技术架构和匹配的组织架构来共同推进数据中台理念的落地。
数据中台的应用也是定制化、个性化的。如果仅仅是跟随行业发展大趋势,不考虑自身情况与特点,照葫芦画瓢式的生搬硬套,不仅无法达到降本增效的目的,对于各种资源的投入也是一种浪费。
其次,数据中台的构建需要从全局考虑,想要达到预期目的,企业内部各部门间在观念上能否达成一致,实现有效的数据共享,对于企业文化、组织体系的建设是一个考验。