数据湖和SQL并不矛盾
时间:2020-01-09
作者:
来源:
本文要点：随着数据的增长和复杂性的增加，SQL 比以往任何时候都更适合分析和转换数据湖中的数据。
作者：Shirish Joshi 译者：平川 译文来源：InfoQ 原文来源：TowardsDataScience
数据量的增加推动了技术的更新和范式的变化。与此同时，SQL 仍然是主流。随着数据的增长和复杂性的增加，SQL 比以往任何时候都更适合分析和转换数据湖中的数据。本文探讨了如何将 SQL 用于数据湖中的数据。
。</p>
<p>在 Hadoop 上使用 map-reduce 处理数据还有很多需要改进的地方。性能调优、数据倾斜处理、获得最佳吞吐量，所有这些都需要太多的裸机代码更改。</p>
<p>人们尝试了多种受 SQL 启发的方法：</p>
<p>Apache Pig：类 SQL 语法、FOREACH 代替 FROM、GENERATE 代替 SELECT;</p>
<p>Hive: 用于 SQL-in-Hadoop 的类 MySQL 语法、将 SQL 转换为 map-reduce;</p>
<p>Drill、Impala、Presto 和 Pivotal 的 HAWQ：SQL-on-Hadoop，绕过 map-reduce;</p>
<p>Spark SQL：SQL on Spark;</p>
<p>Apache Phoenix：SQL on HBase;</p>
<p>Hadoop 作为已有 DB 的外部表：Oracle Big Data SQL、Teradata SQL-H。</p>
<p>经过多年的“大数据时代”，以及一些 Hadoop 的兼并和破产，我们现在看到了这些技术的幸存者。Hadoop 技术现在更多地存在云中，而不是在本地环境中。现在，在组织中已经不经常看到完整的 Cloudera 或 HortonWorks 栈了。相反，少数几种技术蓬勃发展，现在已广泛用于云数据栈。</p>
<p><strong>数据湖上的 SQL</strong></p>
<p>Stonebraker 很久以前就指出，数据库的性能问题和可伸缩性与 SQL 关系不大，而更多地与数据库本身的设计有关( NoSQL 的讨论与 SQL 无关)。</p>
<p>SQL 的最大优点是它提供了熟悉性和分析数据的表达能力。SQL 的健壮性以关系代数和集合理论为基础。</p>
<p>对于数据湖，我们可以看到以下这些技术。</p>
<p>Hive 元数据存储是人们喜爱的数据目录。</p>
<p>在 SQL 层，Presto 作为一个查询层脱颖而出，并在 Amazon Athena、Google Cloud DataProc、Qubole 中得到了广泛应用。</p>
<p>Spark 和 Spark SQL 的应用也很广泛。</p>
<p>Hadoop 文件系统(HDFS)用的不那么多了，云存储(Azure Blob、谷歌云存储、AWS S3)更受欢迎，CSV、Avro 和 Parquet 文件格式也更受欢迎了。</p>
<p><strong>云数据仓库和数据湖</strong></p>
<p>在原始文件系统上存储的经济性推动了数据湖的创建。SQL 被用于分析数据。</p>
<p>Amazon RedShift Spectrum 可以查询 S3 数据。</p>
<p>Snowflake DB 可以使用 VARIANT 列在数据库中存储 XML、JSON 或 ORC 数据，还可以使用外部表指向 S3 中的数据。</p>
<p>外部表还支持谷歌 BigQuery 和 Azure SQL 数据仓库。</p>
<p><strong>SQL 和 ELT (提取 加载 转换)</strong></p>
<p>数据处理的ELT(提取 加载 转换)范式将数据转换步骤放在最后。首先从源系统提取数据并将其加载到数据库中。</p>
<p>旧的ETL方法 RBAR(逐行处理)与关系数据库执行的基于集合的处理形成了直接的对比，而基于集合的处理构成了 SQL 的基础。</p>
<p>在ELT中，我们现在从源数据库中提取数据并将其放入数据湖中。</p>
<p>SQL 转换在云数据仓库或使用 Presto 完成，并将转换后的数据加载到目标表。</p>
<p>通过 GoldenGate、AWS DMS，或者使用 Workato/Jitterbit/StitchData 等工具或 Kafka 等健壮的事件管道，一点点地向数据湖或数据仓库输送数据。将源系统和加载区域之间的转换最小化。然后使用 SQL 将这些数据转换并加载到仓库和分析层。</p>
<p>ELT工具链使用 DAG(有向无环图)工具，如 Apache AirFlow 和无服务器函数，而不是旧的ETL工具链中类似 AutoSys 这样的调度器。</p>
<p>DBT 是在转换领域流行的另一个工具。像 FiveTran 和 Matillion 这样的云数据处理工具也使用 SQL 和 ELT。Domo 序列化 SQL 来创建转换管道。Looker 基于 LookML 生成 SQL。</p>
<p>原文链接</p>
<p>
</div>
<div style=)