阿里中台:十二年架构演进之路
在当下如火如荼的金融行业中台建设浪潮中,不少金融机构对于中台建设仍存诸多迷思,中台建设将走向何方?数据资产到底该如何管理?
日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛针对阿里巴巴如何构建数据中台核心三要素中的平台技术部分进行了全盘分享,包括数据平台发展的四个典型阶段,支持中台业务的四大技术挑战,以及数据平台的四大技术趋势等。
在阿里中台的成功实践中,方法论、组织、平台能力是“数据中台”的核心三要素。其中,平台能力建设最为关键,难度也最大。阿里巴巴在打造强大的数据中台底座方面已经进行了积极探索,并且还在不断与时俱进夯实底座,构建面向未来的能力。
阿里巴巴数据平台发展的四大阶段
构建数据中台,一个强大的数据平台作为底座必不可少。
阿里巴巴数据平台发展的四个阶段,一定程度上其实也是阿里巴巴数据中台发展的四个阶段。这四个阶段里,你可以看到阿里巴巴对自身数据的商业价值的萃取,对原有分而治之的数据系统的聚合,对计算数据资产化和数据高效应用的新思路以及对数据平台治理过程中面临的组织变革等。
阶段一:业务百花齐放,发现数据价值
2009年到2012年,阿里巴巴电商业务进入爆发期,涌现出非常多有名的业务团队,比如淘宝、1688、AliExpresss、一淘等。每个业务都是基于数据驱动的全场景业务,业务方对数据有着强烈的诉求。
阿里巴巴开源镜像站
那个时候,阿里巴巴技术几乎都是IOE架构,核心数据系统是Oracle。两年时间内,阿里巴巴建成了全亚洲最大的Oracle集。但是在2010年,Oracle已经不能满足计算的要求,有非常多数据延迟和不满足性,再加上昂贵的成本,没办法继续支撑业务发展。
阿里巴巴开始认真审视建设下一代数据平台的重要性,同时启动了两个并行项目:
一个是“云梯1”,基于开源Hadoop技术体系,多个业务团队构建多个Hadoop集,集规模达到4000台服务器。
一个是“云梯2”(ODPS,现MaxCompute),作为阿里巴巴自研产品启动研发,集规模1200台左右。蚂蚁小微贷款“牧羊犬”业务是第一个吃螃蟹的业务,上线“云梯2”的过程被称为“人肉云计算”与“分步试计算”。王坚院士2018年曾在央视《朗读者》节目朗读《进入空气稀薄地带》,形容的就是自研数据平台那时的现状与信念。
两个项目在阿里巴巴内部形成竞合状态,并行探索阿里巴巴数据平台发展的轨迹。这个时期,所有业务方的数据几乎都是垂直建设,以自己业务形态形成独立小闭环的形式飞快向前奔跑。
阶段二:业务垂直小闭环,数据孤岛显现
2012年到2015年,阿里巴巴电商业务在飞速发展的同时,涌现出更多的新兴业务:2013年,创立菜鸟,启动“All in 无线”战略;2014年,投资高德,与银泰合资,阿里旅行成立;2015年,推出钉钉/零售通、成立口碑、控股阿里健康等等。
这个时期,阿里巴巴业务蓬勃发展,形成了12个业务部门和9套不同的平台系统,而且每套平台系统架构都不一样,用户数字化流程需要横跨多个BU的多套数据系统。
数据孤岛现象开始日益严重,数据成本越来越高,统一的数据平台建设已经迫在眉睫,这也是阿里巴巴数据中台的起点。
与此同时,“云梯1”和“云梯2”也正在经历大变革。
2013年3月28日,阿里巴巴集团技术保障部架构师云铮的邮件直达集团高层:“按照数据增量与未来业务增长的情况,云梯1和云梯2两套系统的存储和计算能力将在今年6月21日到达瓶颈。”届时,许多的业务将因为技术的限制而无法展开。
这意味着,数据平台已经无法再同时并行“云梯1”与“云梯2”两个项目,必须选择其中1个。如果选择“云梯1”,Hadoop的5000节点限制如何突破?涉及到金融业务,开源体系如何保证大数据的安全与可用性?跨机房方案业界无参考如何解决?业务交互频繁,跨机房如何保证数据稳定交互?
一系列的技术难题都逐渐将数据平台推向自研道路。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论