大数据架构师是什么

Ⅰ 学大数据会有什么工作

大数据工作主要分两个方向，一个是开发，一个是分析
开发岗主要用Java 或者Scala语言，做的事情是大数据组件的开发，或者插件功能实现，

分析岗主要是数据分析， 这个用到的语言主要是SQL和python，SQL就是在hive上做数据统计，而python就是针对自定义的数据结构做分析，当然可能是在spark上做分析

Ⅱ 大数据专业学什么，学完可以从事哪些职业

1. 数据分析师。
数据分析师 是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。
作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。
2. 数据架构师。
数据架构师是负责平台的整体数据架构设计，完成从业务模型到数据模型的设计工作 ，根据业务功能、业务模型，进行数据库建模设计，完成各种面向业务目标的数据分析模型的定义和应用开发，平台数据提取、数据挖掘及数据分析。
从事数据架构师这个职位，需要具备较强的业务理解和业务抽象能力，具备大容量事物及交易类互联网平台的数据库模型设计能力，对调度系统，元数据系统有非常深刻的认识和理解，熟悉常用的分析、统计、建模方法，熟悉数据仓库相关技术，如 ETL、报表开发，熟悉Hadoop，Hive等系统并有过实战经验。
3. 数据挖掘工程师。
一般是指从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化，自动化，从而使企业提高工作效率，减少错误决策的可能性，以在激烈的竞争中处于不败之地。
成为数据挖据工程师需要具备深厚的统计学、数学、数据挖掘理论基础和相关项目经验，熟悉R、SAS、SPSS等统计分析软件之一，参与过完整的数据采集.整理.分析和建模工作。.具有海量数据下机器学习和算法实施相关经验，熟悉hadoop，hive，map-rece等。
4. 数据算法工程师。
在企业中负责大数据产品数据挖掘算法与模型部分的设计，将业务场景与模型算法进行融合等；深入研究数据挖掘模型，参与数据挖掘模型的构建、维护、部署和评估，支持产品研发团队模型算法构建，整合等；制定数据建模、数据处理和数据安全等架构规范并落地实施。
需要具备的知识有：扎实的数据挖掘基础知识，精通机器学习、数学统计常用算法；熟悉大数据生态，掌握常见分布式计算框架和技术原理，如Hadoop、MapRece、Yarn、Storm、Spark等；熟悉Linux操作系统和Shell编程，至少熟悉Scala/Java/Python/C++/R等语言中的一种编程；熟悉大规模并行计算的基本原理并具有实现并行计算算法的基本能力。
5. 数据产品经理。
数据平台建设及维护，客户端数据的分析，进行数据统计协助，数据化运营整理、提炼已有的数据报告，发现数据变化，进行深度专题分析，形成结论，撰写报告；负责公司数据产品的设计及开发实施，并保证业务目标的实现；进行数据产品开发。
需要具备的技能有：有数据分析/数据挖掘/用户行为研究的项目实践经验 ；有扎实的分析理论基础，精通1种以上统计分析工具软件，如SPSS、SAS，熟练使用Excel、SQL等工具； 熟悉SQL/HQL语句，工作经历有SQL server/My SQl等的优先 ；熟练操作excel，ppt等办公软件,熟练使用SPSS、SAS等统计分析软件其中之一 ；熟悉hadoop集群架构、有BI实践经验、参与过流式计算相关经验者加分 ；熟悉客户端产品的产品设计、开发流程 。

Ⅲ 大数据所从事什么工作

大数据技术专业可以从事的工作有这些：

视数据的机构已经越来越多，上到国防部，下到互联网创业公司、金融机构需要通过大数据项目来做创新驱动，需要数据分析或处理岗位也很多;常见的食品制造、零售电商、医疗制造、交通检测等也需要数据分析与处理，如优化库存，降低成本，预测需求等。人才主要分成三大类：大数据系统研发类、大数据应用开发类、大数据分析类，热门岗位有：

1.大数据系统架构师

大数据平台搭建、系统设计、基础设施。技能：计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。

2.大数据系统分析师

面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。技能：人工智能、机器学习、数理统计、矩阵计算、优化方法。

3.hadoop开发工程师。

解决大数据存储问题。

4.数据分析师

不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

作为一名数据分析师，至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

5.数据挖掘工程师

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++，有时用MapRece写程序，再用Hadoop或者Hyp来处理数据，如果用Python的话会和Spark相结合

6.大数据可视化工程师

随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从网络迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄

大数据可视化工程师岗位职责:1、 依据产品业务功能，设计符合需求的可视化方案。2、 依据可视化场景不同及性能要求，选择合适的可视化技术。3、 依据方案和技术选型制作可视化样例。4、 配合视觉设计人员完善可视化样例。5、 配合前端开发人员将样例组件化。

想了解更多大数据从事工作的问题， “CDA 数据分析师”具体指在互联网、金融、零售、咨询、电信、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、 提供决策的新型数据分析人才。

Ⅳ 大数据专业毕业后做什么工作

1、大数据开发工程师
主要负责数据模型的ETL开发、数据平台建设；面向业务的数据提取、分析、报表、挖掘等系统设计和开发工作。
岗位要求：
精通常用的数据结构和算法，理解面向对象设计的基本原则，熟悉常用的设计模式；
掌握Hadoop生态体系框架，包括Hadoop、Hive、Spark、Storm、Flink、ElasticSearch、HBase等；
2、大数据运维工程师
主要负责数据平台的集群管理，机器优化，集群监控等；对现有集群的优化和性能调优，满足不断增长的业务需求等。
岗位要求：
熟悉主流开源数据组件，包括但不限于HADOOP、Hive、HBase、ZK、Spark、Flink、Flume、ElasticSearch and etc；深入理解Hadoop各组件的原理和实现；熟悉分布式原理、分布式系统设计等。
3、大数据架构师
主要负责大数据基础框架的整体架构设计，结合公司实际业务情况进行技术选型；负责数据存储和计算平台的整体评估、设计以及核心功能模块的开发等。
岗位要求：
熟悉常用的数据结构和算法；具备丰富的开发经验，了解主流的大数据技术框架组件，包括但不限于Hadoop、Spark、Storm、Flink等。
4、大数据分析师
大数据分析方向的岗位，则主要以数据分析挖掘为主，通常需要负责常规业务数据分析需求开发，用户画像构建，推荐算法实现等。
岗位要求：
熟悉数据仓库理论、数据挖掘理论基础，熟悉常用机器学习算法（如逻辑回归、神经网络、决策树、贝叶斯等)；对Hadoop和Spark生态当中的主流技术组件，有相应程度的了解。

Ⅳ 架构师（spark方向）是什么职位

大数据架构师，最起码要熟悉Hadoop、 Spark 、Storm等等主流大数据平台的核心框架，而且要深入掌握如何编写MapRece、Yarn、 HBase、 Hive、 pig 等等重要组件，能够实现对平台的监控。辅助运维护系统的开发。
需要对面向过程，面向对象，面向服务等设计理念要有深刻的理解，可以做到快速的察觉出现实中的问题并提出相应的改进方案。
spark方面需要：
精通Spark Streaming，对Spark有源码修改能力；
精通Spark性能调优，打造高可伸缩的数据处理程序；
精通Spark监控，包括任务和系统级别...

Ⅵ java资深大数据研发/架构师是做什么的

记得有人说过一句话，大体意思是：现在计算机技术发展那么迅速，日新月异，那些学计算机技术的人，要不断学习才能不被淘汰，那些人的脑子是不是坏掉了，干嘛要让自己活的这么累？表示不解。不想时隔几年，我也进入了这个飞速发展的IT行业。大概是随着时间的推移，个人价值观也随之改变了吧！
初入这个行业的Java程序员是迷茫的，处在金字塔的最底端，拿可怜的薪水，无休止的加班，被“高薪”和“码农”的代名词交替映射着，亦步亦趋的行进着，什么职业规划都是飘渺的空虚的，月光族都是向钱看的。直到无意看到一篇针对Java程序员的文章，感觉收获颇丰。似乎有一种拨开云雾见月明的感觉
一、认识现在自己，想要什么样的生活
当我们还不能确定自己的职业规划时，我们可以先确定一个目标，哪怕是以薪资为目标，为了实现这个目标，我们必定会为之奋斗，低薪时，只管低头学技术，当你成为资深程序员，才可以望向更远的发展线：专家线和管理线，一个跟机器打交道，一个跟人打交道。
把自己当做一种商品，商品必然存在价值，使用价值和交换价值。说的通俗点即你能给雇主创造多少财富。提高个人能力是一方面，还有一个技巧是选择更好的细分市场。感触很深的一点是通过网络提升个人品牌，一方面可以将个人所学知识进行梳理，同时可以锻炼自己的逻辑能力、语言表达能力，最重要的是可以分享，让更多的人学习，共同成长。
二、作为程序员，你首先要问自己一个问题：“我真的喜欢编程吗
我能确定我当程序员不仅是为了养家糊口，而是为了实现自己的人生价值吗？” 这一点非常重要。如果你的答案是为了养家糊口，那么很可能你成为不了一个优秀的程序员，而且在这条路上你越走越疲倦；如果你的答案是真心喜欢编程，那也很可能说明不了什么问题，除非你每天都在主动地学习和进步。
请先忘却它可能给你带来的奖励，而是切实的学习知识，充实自己，奖励只是你进步途中的副产品。如果你做一件事情前先考虑它有没有价值，会不会给你带来收益，那么你在当时的环境中很难看清楚一件事情对以后有没有价值。
永远不要把自己的成长完全寄托给公司，希望新人都能认识到这一点，公司好的项目会很锻炼人，但是每个人在项目中都只是一颗螺丝钉，只会负责某一个模块，自己不主动去探索，没有人会给你介绍整个系统的架构和工作原理。在我的成长过程中，一般有2个习惯，一个是搞清楚整个项目是做什么的，有哪些模块，整个系统是如何架构和设计的？另一个习惯是从自己负责的模块开始发散，找到一个又一个兴趣点利用业余时间进行深入地学习。无论做什么方向，都是可以不断积累和锻炼这些能力的，不用太过于关注某个方向有没有前途，个人综合能力提高了，切换方向很快的。

Ⅶ 大数据专业主要学什么

“大数据”简单来说，就是一些把我们需要观察的对象数据化，然后把数据输入计算机，让计算机对这些大量的数据进行分析之后，给出我们一些结论。

学的主要内容有：

①JavaSE核心技术

②Hadoop平台核心技术、Hive开发、HBase开发

③Spark相关技术、Scala基本编程

④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析；理解Python机器学习

⑤大数据项目开发实战，大数据系统管理优化

⑥云平台开发技术

整体来说，大数据课程知识点多，课程难度较大。虽然是0基础入门，但企业对大数据人才招聘要求高，至少需要本科学历，建议本科及以上学历同学报名。

南京北大青鸟祝你学有所成！

北大青鸟中博软件学院小班教学实拍

Ⅷ 成为大数据处理架构师需要学什么

基础大概有两大块
1.是要有较强的数据库管理系统的使用能力（比如你要学会Oracle），以及较强的数据库理论知识背景。
2.大数据分析你要掌握概率统计学的知识，学会数据分析工具的使用。比如MATLAB，这个工具非常强大，掌握起来有些难度。但不是说你掌握了这个工具就能胜任数据分析师的工作了。你还需要，有较强的逻辑分析能力，对各种各样的数据进行建模，然后根据统计分析结果进行最终判定。

建议：

入门的时候先从数据库开始，因为这是数据的生存环境，大数据或者称为海量数据都是存储在这其中的。
熟悉数据建模，这是个系统性很强的学科，主要是高等数学范畴内的只是，偏统计分析。
最后是勤加练习对各种数据建模分析，当你的结论越来越靠近最优解的时候，你的经验也在不断增长，那么离你的目标就很近了。

这是个很有挑战，也是非常复杂的工作。需要你坚持，大概三年能有小成。但前途一片光明。

Ⅸ 您好，能讲一下应用架构师、软件架构师、大数据架构师的区别么 IT行业的架构师是怎么分类的

职位表述的类似一个购物网站架构师的范围，因为只有网站才会涉及到高并发、海量数据处理的情况，因为同时访问的人数比较多嘛，比如支付宝在春节那天能承受住好几亿人同时访问，这里系统的的架构师相当于是一个访问系统的总体设计师，需要考虑他的承载能力和处理能力，不会崩溃；
应用架构就是企业内部构建整个应用系统，使企业的软件能良好运行不出问题，并且网络系统能跟上节奏的这类人。

软件架构师就是一款软件的需求和架构设计，仅仅注重软件本身；
大数据架构师就是后端底层会有海量的数据存储与处理，处理数据这个系统需要的构建就是大数据架构师，这涉及到数据仓库这些东西，对数据仓库比较熟悉。因为数据都是存在一个地方，就是数据库；

Ⅹ 大数据架构师工作职能有哪些

职责一：全局的技术规划
全局技术规划是专职架构师必须要做的工作，全局技术规划要能非常明确的指引整个团队在同一时间向同一个方向前进，这对架构师的心力和体力都是有很大的考验，全局规划不仅要与业务紧密沟通，还必须有对应的技术深度和广度，应采取正确的方法论，勇敢做出判断和决策！
职责二：统一的方法&规范&机制
专职架构师不仅要能够做出全局技术规划，还要能提供统一的方法、规范和机制以保障全局技术规划的顺利有序进行，这是一项相对复杂且繁琐的过程，需进行全方位的拆解，直到权责清晰对等。
职责三：完备的基础构建
基础构建的完备程度对全局技术规划来说是十分重要的，为全局技术规划得以顺利实施提供了强大的武器库，因此，专职架构师要制定完备的基础构建。
职责四：落地的规划才是架构
这是对专职架构师最大的挑战，专职架构师应实时关注全局技术规划实施的进度，把控发展的方向，以确保与规划预期结果保持一致！