位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
创优视觉科技大数据开发和大数据分析有什么区别吗?
原标题:创优视觉科技大数据开发和大数据分析有什么区别吗?

近年来,大数据技术的应用给人们带来了很多便利,其中大数据开发和大数据分析作为大数据技术的两个分支,它们之间有何不同?

一、概念与应用。

1、大数据发展。

①概念:

目前有两种大数据开发方向,一种是基于Hadoop和Spark开发大数据平台应用程序,另一种是基于大数据开放源组件开发企业需求的完善的大数据系统平台,大数据开发主要偏向于对计算机编程类知识的使用。

②适用:

大数据开发应用在银行开发一个大数据分析平台,用来分析客户的消费内容和兴趣爱好,方便银行为客户指定优秀的推送服务;在游戏行业负责游戏后端的数据系统开发等;在企业中根据企业的需求开发大数据分析平台,方便银行为客户指定优秀的推送服务;在游戏行业负责开发游戏后端的数据系统开发等;在企业中,根据企业的需求分析企业的发展预测,使企业决策更加智能化和智能化;

2、大数据分析。

①概念:

大数据分析是指分析大型数据,而大数据分析更倾向于用数学算法方面的知识来分析大数据,一般说来,大数据分析师是在大数据开发工程师完成大数据系统平台之后,利用这个组件对大量数据进行分析。

②适用:

大数据分析应用于能源工业中,通过电网收集数据,分析和预测客户的用电习惯,并推算出未来几个月整个电网需要多少电力;在一个应用的推送服务中,根据用户的留言内容进行分析,并推送用户可能感兴趣的内容。

二、技术知识。

大数据开发与大数据分析的学习内容也不相同。

了解大数据开发的技巧。

程序设计语言:Java,Scala(更多地使用Java进行大数据开发,而Scala是Spark中主要使用的编程语言)。

企业Java框架:Spring,Springmvc,SpringBoot,Mybtis。

资料库:MySQL资料库,SQL语句,HBase,MongoDB,Redis,Hive,ES。

Linux:Linux系统,CentOS,Maven。

大数据技术架构:HDFS,MapReduce,Yarn,Flume,Scala,Kafka,Spark,Flink,Oozie。

2、了解大数据分析技巧。

程序设计语言:Python、R、java(任何一种学习选项,而Python更多地使用大数据分析技术)。

资料库:MySQL资料库及SQL语句。

资料结构与算法:掌握常用的数据结构及运算(线性表、队、列、串、树、图等),掌握常用的计算机算法(排序算法、查找算法、动态规划、递归等)。

Linux:熟悉Linux操作系统,会使用ETL工具。

大数据生态系统:Hadoop,Spark。

从以上内容我们可以看出,大数据开发和大数据分析所用的编程语言是不一样的,而大数据分析更倾向于算法分析,大数据开发偏重工程开发。

三、工作的责任。

下面是小编从几家大型因特网公司中选出的有关大数据开发和大数据分析职位的职责。

1、大数据开发职责:

①负责开发,维护,优化大数据体系结构相关组件。

②负责分布式计算平台、查询引擎、中间件的搭建;

③确定大数据体系结构的总体技术路线和架构方向、新技术的研究与实施。

2、大数据分析职责:

①建立全面、准确、能够反映产品线业务发展的整体指标体系,并基于业务监控指标体系及时发现和定位业务问题。

②通过专题分析,深入分析业务问题,为生产线的操作决策、产品指导、运营及业务策略等提供数据支持和决策依据。

③沉淀分析方法和监测框架,改进数据产品需求,与相关团队(产品、运营、解决方案构架团队等)合作并推动数据看板、上级管理和其他系统搭建的落地。

④和相关团队合作进行数据建模工作,促进生产线的数据化操作。

⑤与相关团队合作,如产品,运营团队,组织与产品有关的数据技术理念、技能、方法、工具的培训和共享。

通过以上内容可以看出,大数据开发更倾向于工程设计,大数据分析偏向于算法分析,大数据分析师需要在大数据开发工程师开发的大数据分析平台上分析数据,并为企业业务提供数据支持和决策依据。返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。
Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168