如果说大数据是每天写sql还不太精准（精准的是用各种方式写SQL）
当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。会不会转别的，看个人兴趣，大数据方向还有那么多。
瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。
丰富自己的能力，到处都机会。
现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：
文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie
眼花缭乱的上面就有30多种吧，别说精通了，全部都会使用的，估计也没几个。
就我个人而言，主要经验是在第1个方向（开发/设计/架构）
入职了大半年后，经常加班，虽然累但学起来很快，不久就把大数据的相关组件，hadoop,hive,oozie ,shell,sparksql,spark ,sqoop,kylin,等等都学到了，还学会了用python处理数据，shell如何做工具脚本，怎样搭大数据平台，大数据仓库，都有所学习到，自己周末也是拼命的学习，因为在北京，你不努力，随时可能被淘汰。耐下心来慢慢学
关于数仓开发
数仓开发其实主要就是基于数仓模型对数据进行分层建模工作，整合加工数据完成OLAP，数仓分为实时数仓和离线数仓两种。如果公司只有离线数仓，那么其实主要的工作内容用sql就可以完成了，可以用hive ql 或者是 spark sql 完成，当然也不排除需要应用到spark 算子去完成相关计算的逻辑，而且一些复杂的逻辑需要通过实现自定义函数来完成，这就要求不但要会写sql，而且还能有一定的代码功底。如果公司对数据的实时性要求比较高，那么还会有实时数仓的业务，实时部分当前比较流行的是flink去做，当然也有spark streaming去做的，这就要求对代码有比较深厚的掌握了。因为数据往往不是存在hive中的，而是hbase、clickhouse等这种实时性较强的内存数据库中，不但实时计算框架的各种api需要熟练掌握，对数据库的底层和调用也要掌握，而且实时数据一般来自消息队列如kafka，所以也需要对消息队列比较熟悉。
之前练过一个数仓项目很有收获，做这个项目电脑内存大点，基本现在工作用的都有讲的，是企业级实时数仓和离线数仓构建，值得一收。
————————————————
版权声明：本文为CSDN博主「测试小扎」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接： href=" -%X%F%-=' " target="_blank" title="点击进入搜狐首页" id="backsohucom" style="white-space: nowrap;"'>返回搜狐，查看更多
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。 发布于：河北省