大数据架构师的岗位职责
大数据架构师负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发。下面是为您细心整理的大数据架构师的岗位职责。
大数据架构师的岗位职责1
职责:
1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;
2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;
3、负责解决核心技术问题,对技术方案进行决策;
4、负责大数据研发团队建设、人才梯队培育和技术团队管理;
5、乐观了解业界进展,争辩与跟踪大数据新技术进展方向。
任职要求:
1、精通GoldenGate For BigData相关理论,具备大型数据利用的生产实战阅历;
2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;
3、精通常用消息中间件的使用,例如kafka/RocketMQ/Apache Pulsar,有解读相关源码者优先;
4、把握hadoop、spark生态体系相关产品的使用,把握MapReduce编程或Spark编程;
5、了解传统数据仓库理论及相关ETL工具,例如kettle/datastage;
6、生疏Oracle、Mongodb、Mysql数据库的使用;
7、扎实的Java语言基础,生疏Java开发工具和调试工具的使用;
8、良好的团队协作精神,有力量对团队在软件设计、实现和测试方面进行指导;
9、良好的规律分析力量和沟通力量,执行力强、对待工作认真严谨、责任心强、具备精彩的学习力量和团队合作精神,有肯定的推动力量;
10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发阅历,3年以上的架构设计阅历,具有大数据平台应用大型项目架构设计阅历优先;
大数据架构师的岗位职责2
职责:
1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;
2、争辩大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;
3、进行大数据系统框架设计、模型算法开发;
4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
任职资格:
1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作阅历;
2、二年以上数据挖掘项目阅历,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;
3、精通分布式计算框架(hadoop、spark、Storm等)及相关阅历,娴熟把握Hive/SQL,Python,生疏Python、R相关数值科学计算库(NumPy,SciPy等);
计算机架构师证书4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;
5、生疏常用机器学习算法(如分类、回归、聚类、关联规章等)及其原理,具备应用场景阅历,如用户画像、商品关联度分析、舆情分析;
6、生疏主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;
7、具备较强的规律思维力量、数据敏感度,擅于利用数据发觉问题及解决问题;
大数据架构师的岗位职责3
职责:
1、负责大数据开发团队建设;
2、负责行业大数据产品架构设计与研发;
3、负责带领团队进行行业大数据产品关键技术攻关。
任职要求:
1、有三年以上大数据应用、开发阅历;具备海量数据加工处理(ETL)相关阅历,对数据挖掘及机器学习有较为深刻的理解;
2、生疏Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有肯定的使用和开发阅历;
3、生疏Linux,娴熟使用Shell或Python,进行脚本编写;
4、对数据结构和数据统计分析算法有较为深刻理解;
5、把握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;
6、把握实时流计算技术,有Spark、Storm开发阅历者优先;
7、需要具备2年以上研发团队管理阅历。
大数据架构师的岗位职责4
职责:
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论