位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
数据量爆棚难以负荷,Kyligence利用人工智能打造新一代数据分析平台
原标题:数据量爆棚难以负荷,Kyligence利用人工智能打造新一代数据分析平台

(Kyligence创始人韩卿)

凭借着在大数据、数据仓库、商业智能、数据分析等领域拥有丰富的经验,韩卿发现Kylin项目在商业领域的需求非常大,有着很多外部需求,这些需求远远超过他们当时团队的工作职责。

另一方面,成功的开源项目背后都有一个好的创业公司,只有这样才可以更健康地发展社区,更好地促进生态建设,让更多客户去使用开源项目。

“我们希望在整个大数据行业里面,有一家专门做底层技术的创业公司能够在行业内做些突破,做点不一样的事情。这些是我们创立Kyligence的初衷。”

于是韩卿带领Kylin核心团队,于2016年3月在上海成立了Kyligence公司。Kyligence是一家专注大数据分析的创新型公司,可以为企业提供基于Apache Kylin的下一代企业级数据仓库及商务智能大数据分析平台和解决方案。

-1 -

数据量爆棚的时代

传统数据仓库需要变革

韩卿告诉i黑马&数字观察,1990年前后,数据仓库技术理论被提出,这个理论认为应该把企业各个分散的业务数据整合起来,构建一个统一的数据仓库,为企业分析和应用分析提供一个统一的平台,企业能够在这个平台上构建整个分析应用。

目前,这项技术已经变成了绝大部分行业客户的基础技术,像金融、运营商、零售等行业的业务分析都已经构建在这样的基础技术之上了。以金融行业为例,银行要进行各种各样的分析,尤其是风控分析,都需要建立在对不同业务模块数据的统一分析之上。

不过,2006年后开始,云计算的蓬勃发展,各个领域的企业都纷纷开始上云,由此很多的数据不断地大量涌现,这时候企业如果在云上建一个分析仓库,就要面临各种挑战。

首先,数据体量变得越来越大,呈现越来越多样性和复杂性的特质。但传统的数据仓库与应用系统是分开的,用户做分析做工程时,基本上是从每块业务数据那里直接把数据拿过来进行分析就行了。这样操作的问题在于,要把这么多不同的业务数据整合到一起是一个巨大的挑战。

其次,存储的成本和性能上,原有的数据仓库技术已经不能满足企业快速增长的业务需求。“传统的建模方式,是需要通过漫长的数据转换过程,把转换后的数据放到数据仓库里,最后基于这样的仓库,企业还要建非常多的分析模型、报表、预测,通常这样的项目要耗费大量人力,花费好几个月的时间,甚至是用年来计算的。”

第三,虽然业界推出了依靠更加专业的数据科学家来解决问题的解决方案,但本质上还是在依赖大量的人工进行工作,如果没有革新性的变化的话,人力是不会被解放出来的,那这个行业也不会发生根本性的改变。

“未来的数据分析也应该是融合的,不需要关心这个数据的来源,而将更多的精力放在关注数据所带来的业务决策上,这就是Kyligence正在不断优化和创新的融合、智能数据仓库。”

(Kyligence Enterprise 架构)

其次,平台基于Hadoop架构,通过横向扩展将数据处理能力提升至PB 级;通过预计算技术生成聚合结果,再结合先进的索引技术,相比其他解决方案,将查询性能提升数十至数百倍。

第三,平台引入了大量的机器学习技术,其专利的自动化建模技术可基于分析师的查询行为和历史,智能化地推荐数据模型,自动化地调优性能,加速关键业务分析场景。

在保持PB级数据集上亚秒级查询响应速度的同时,平台可以支持无需编程的智能化自助式建模,并与主流BI工具实现无缝集成。

同时,在开源Apache Kylin核心功能之外,对企业用户所关注的实施效率、安全控制、性能优化、自助式敏捷BI、系统监控和管理等方面进行了全面创新和增强。

“2018年7月发布的最新版Kyligence Enterprise,相比较以往的版本更是实现了查询提速15倍的同时节省50%存储空间,而对比市场上的同类查询产品,根据数据仓库典型查询场景测试中查询的完成度与查询的性能比较来看,都具有显著优势。”

(Kyligence Cloud 架构)

据悉,Kyligence Cloud以Kyligence Enterprise为核心,充分发挥其高性能、高并发优势,同时利用云计算带来的低成本、高扩展、易运维等特点,大大提高企业大数据分析上云的效率,并有效降低成本。

使用Kyligence Cloud,客户可以在云端快速构建可无限扩展的大数据集群,实现对PB级数据的交互式OLAP分析和关键业务查询的亚秒级响应,助力业务分析师和数据科学家快速发现数据内在价值,驱动商业决策。

同时,Kyligence与微软Azure、亚马逊AWS、Google Cloud、阿里云、华为云等云厂商深度合作,这样用户可以在公有云上快速建立大数据分析集群,接入各种云端数据源并进行建模分析,实现对PB级数据的交互式分析与关键业务查询的亚秒级响应。

Kyligence Cloud通过与云基础设施的无缝整合,为用户提供了端到端的解决方案。其核心的亚秒级查询分析能力,大大加速了从数据到价值的发现进程,可更快地支持客户将本地应用向云端进行迁移,在现有的数据层之上提供SQL加速层,提供高性能及高并发的云端数据分析服务能力。

Kyligence Cloud通过与各大云厂商的基础服务进行深度整合,帮助客户在数据湖上快速构建 PB 级数据多维分析(OLAP)的能力,为数据分析师和业务用户提供交互式的大数据分析与查询服务,助力企业实现海量数据集上的亚秒级查询响应。

-4 -

聚焦行业头部客户

提供标准化产品

目前,Kyligence已经为金融,电信,零售,智能制造,能源等行业的企业提供下一代企业级智能数据仓库及融合大数据分析平台解决方案。招商银行、上汽集团、太平洋保险、中国银联、OPPO、华为、中国移动等大型企业,都在使用其产品。

韩卿表示,Kyligence在选择行业的时候,会思考这几方面问题。第一,这个行业是否足够成熟,是否依赖于用数据驱动器业务发展。

“银行就是符合这个标准,比如你申请一个信用卡或者一批贷款,如果没有数据支撑,银行是无法分析出贷款风险的。”

以某大型银行为例,在大数据平台建设之前,该银行的数据大多存放在Greenplum、DB2等传统关系型数据库中,业务人员需要分析数据或提出新的报表需求时,通常都是由 IT 人员拿到需求之后现场开发,再将整理好的数据发送给业务部门。

由于数据存储分散、再加上数据量越来越大,以及业务数据需求的临时性和不确定性,这种方式的工作效率越来越低,业务获取数据的周期越来越长,IT人员的工作量也越来越重。

在建设大数据平台后,该银行把其业务系统中产生的各种数据,通过集中处理之后统一存入到 Hadoop平台,通过Kyligence Enterprise依据不同的业务创建不同主题的数据集市和立方体,将业模型发开放给业务分析人员。

然后,Kyligence Enterprise通过数据集市,将生硬的、技术化的表和字段等转换为业务人员能够理解的业务指标和分析维度,使得业务分析人员能够轻松通过各种前端BI工具如Tableau等对相关数据集市进行自助分析。

最后,依赖于Kyligence Enterprise在超大规模数据集上的高速SQL查询能力,业务人员可以快速生成分析结果,进一步优化分析思路和业务决策。

该银行客户通过Kyligence Enterprise平台,生成的数据集市模型提供自主分析能力,精简了数据获取的流程,降低了数据分析的技术门槛,一套模型可以实现主题内的多个维度分析,极大方便了业务用户的自助服务,数据分析高度自由化,同时大大减轻IT的负担。

第二,客户意识。是否需要数字化转型,这是企业的意识问题,如果企业到了一定的规模,希望通过数据来驱动业务转型升级,这类型客户的契合度、体量都是很好的。

“以某全球连锁快餐的市场部门为例,他们在数字营销的过程中,确实遇到了一些问题,比如数据口径不一致、分析周期太长、不能进行探索式地进行数据分析等,在激烈的竞争中大大制约了市场部门的业务决策能力。

我们帮助他们在现有的数据平台上,搭建了统一的大数据分析平台,赋能市场部门的运营人员进行自助分析,极大地降低了分析的门槛。该系统为市场决策提供了更好更快的分析能力,受到了客户高层的一致好评和赞赏,最后他们还为我们写了一封感谢信。”

很多中大型企业需求充满个性化、复杂化,服务商为了满足他们的需求,经常会提供定制化的产品,久而久之变成了项目制,对服务自己来说,提高了成本,降低了效率,那么Kyligence如何解决这样的问题?

韩卿解释道,Kyligence签了很多中大型企业客户,都是行业的头部客户,但都没有为他们提供定制化的产品,目前为止,Kyligence只提供一个标准化的产品,这在中国的软件公司中非常罕见。韩卿认为,数据仓库是一个标准化的领域,只有提供标准化的产品,企业才能更聚焦于将产品和技术做好、做深、做扎实,在国际化的竞争中立于不败之地。

同时,通过API接口及与上下游厂商的合作,打造完善的生态系统,来一起满足客户的各种需求。这也为Kyligence打开国际市场奠定了基础,目前Kyligence已经收获了来自美国的付费客户,这也充分证明了标准化产品战略的价值。

*本文作者窦悦怡,数字观察原创。欢迎添加数字观察官微小妹(ID:heimahui2),加入B2B行业VIP社群(请备注姓名-公司-职位,无备注者不予通过)。 免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。

Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168