java/Scala双语言教学，系统构建大数据技能体系

企业级案例驱动学习，还原真实业务场景

2022版已新增40+课时，30+知识点，全面覆盖企业最新应用场景

一.导语

很多朋友给我留言和私信大数据学习途径，问我一些有工作经验想转行大数据的问题。只要几句话能说清楚。我花了一个月的时刻整理了一个自己最初学习的大数据学习途径，从最根本的大数据集群的构建开端，期望对咱们有所帮助。

可是，在咱们开端之前，我期望你能想清楚，假如我很苍茫，我为什么要往大数据方向开展，我只想问，你的专业是什么，你对核算机/软件的兴趣是什么？

核算机专业，对操作体系，硬件，网络，服务器感兴趣？

软件专业，对软件开发、编程、代码编写感兴趣？

仍是数学统计专业，对数据和数字特别感兴趣？

打发咱们在评论区留言评论(ω)

其实这也和大数据的三个开展方向有关:

渠道建造/优化/运维/监控

大数据开发/规划/架构

数据剖析/发掘

现在为了应对大数据的这些特色，开源的大数据框架越来越多，而且越来越强壮。首要，罗列一些常见的:

存储:Hadoop HDFS、Tachyon、KFS

离线核算:Hadoop MapReduce，Spark

流和实时核算:风暴，火花流，Flink

K-V，NOSQL数据库:HBase，Redis，MongoDB

运营:纱线，Mesos

收集日志:水槽，抄写员，Logstash，基巴纳

音频体系:Kafka，StormMQ，ZeroMQ，RabbitMQ

剖析:蜂巢，黑斑羚，猪，急变，凤凰，SparkSQL，钻，弗林克，麒麟，德鲁伊

传播和谐服务:动物园办理员

集群办理和监控:Ambari、Ganglia、Nagios、Cloudera Manager

数据发掘和机器学习:Mahout，Spark MLLib

同步:Sqoop

任务调度:Oozie

……

眼花缭乱，有30多种，更甭说熟了。都能够用，估量也就那么几个。

个人认为现在主要在第二个方向(开发/规划/架构)，所以我先从大数据的开展前史说起。因为本人经验有限，本文内容参阅了圈内多位教师的思路，供咱们参阅，彼此学习。

二、大数据的开展前史

关于大数据的开展前史，我觉得罗教师在AI时期不明白大数据？文章写得很清楚。大数据在近30年的开展前史中，阅历了五个阶段。

在此刺进图片描述。

2.1启蒙阶段:数据仓库的出现

90年代，商业智能(也便是咱们熟悉的BI体系)诞生了，它将企业现有的事务数据转化为知识，帮助老板们不再做运营决策。比方批发场景，需求剖析商品的销售数据和库存信息，才干制定合理的采购计划。

明显，商业智能离不开数据剖析。它需求聚合多个事务体系(比方交易体系、仓储体系)的数据，然后中止查询很多数据的范围。然而，传统的数据库都是针对单一事务的添加、删去和搜索，无法满意这种需求，然后促进数据仓库概念的提出。

传统的数据仓库第一次了解数据剖析的应用场景，运用单独的处理计划来完结，独立于事务数据库。

2.2技能创新:Hadoop诞生了

在此刺进图片描述。

2000年左右，PC互联网时代到来，同时带来了海量的信息，有两个典型特征:

数据范围变大:谷歌、yahoo等互联网巨子一天能够产生上亿条行为数据。

数据类型多样化:除了结构化的事务数据，还有海量的用户行为数据和以图像、视频为代表的多媒体数据。

明显，传统的数据仓库无法支持互联网时代的商业智能。2003年，Google宣布了三篇原创论文(俗称“Google三驾马车”)，包含MapReduce、BigTable、GFS。这三篇论文奠定了现代大数据技能的理论基础。

Google并没有开源这三款产品的源代码，只是公布了详细的规划论文。2005年，yahoo依据这三篇论文赞助Hadoop中止开源，这一技能创新正式拉开了大数据时代的前奏。

与传统数据仓库相比，Hadoop具有以下优势:

分布式，能够运用低成本的机器建立集群，完全能够满意海量数据的存储需求。

弱化数据格式，将数据模型与数据存储别离，能够满意异构数据的剖析需求。

随着Hadoop技能的老练，2010年Hadoop世界大会上提出了“数据湖”的概念。

关于数据湖的理论，能够看看我的博客。返回搜狐，查看更多

责任编辑：