有赞数据平台从 2017 年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量 5000 个，占离线作业数目的 55%，消耗的 cpu 资源占集群总资源的 50% 左右。

前言

有赞数据平台的整体架构。

♦ SparkSQL 在有赞的技术演进。

♦ 从 Hive 到 SparkSQL 的迁移之路。

免责声明：本网站部 分文章和信息来源于互联网，本网转载出于传递更多信息和学习之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请立即联系管理 员，我们会予以更改或删除相关文章，保证您的权利。对使用本网站信息和服务所引起的后果，本网站不作任何承诺。