位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
阿里如何实现海量数据实时分析?
随着数据量的快速增长,越来越多的企业迎来业务数据化时代,数据成为了最重要的生产资料和业务升级依据。

挑战

随着数据量的快速增长,越来越多的企业迎来业务数据化时代,数据成为了最重要的生产资料和业务升级依据。伴随着业务对数据分析技术这两年也迎来了一些新的挑战和变革:

在线化和高可用,离线和在线的边界越来越模糊,一切数据皆服务化、一切分析皆在线化。

高并发低延时,越来越多的数据系统直接服务终端客户,对系统的并发和处理延时提出了新的交互性挑战。

混合负载, 一套实时分析系统既要支持数据加工处理,又要支持高并发低延时的交互式查询。

融合分析, 随着对数据新的使用方式探索,需要解决结构化与非结构化数据融合场景下的数据检索和分析问题。

阿里巴巴最初通过单节点 Oracle 进行准实时分析, 后来转到 Oracle RAC,随着业务的飞速发展, 集中式的 Shared Storage 架构需要快速转向分布式,迁移到了 Greenplum,但不到一年时间便遇到扩展性和并发的严重瓶颈。为了迎接更大数据集、更高并发、更高可用、更实时的数据应用发展趋势,从 2011 年开始,在线分析这个技术领域,阿里实时数仓坚定的走上了自研之路。

整体架构

经过过去 2 年的架构演进和功能迭代,AnalyticDB 当前整体架构如下图。

AnalyticDB 是一个支持多租户的 Cloud Native Realtime Data Warehouse 平台,每个租户 DB 的资源隔离,每个 DB 都有相应独立的模块(图中的 Front Node, Compute Node, Buffer Node),在处理实时写入和查询时,这些模块都是资源 (CPU, Memory) 使用密集型的服务,需要进行 DB 间隔离保证服务质量。同时从功能完整性和成本优化层面考虑,又有一系列集群级别服务(图中绿色部分模块)。

免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。
Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168