大数据开发工程师的岗位要求一共6个
岗位要求1:
1.五年以上工作经验,扎实的计算机基础,具备良好的系统分析能力、逻辑思维能力和独立分析解决问题能力;
2.精通Java语言、设计模式、面向对象编程思想,熟悉常见框架技术,对多线程、网络编程、事务、反射、IO、锁等有一定理解;
3.熟悉分布式开发,有高可用、高并发等开发经验;有相关的运维经验;
4.精通spark架构原理和机制,熟悉列式存储组件;熟悉实时开发流程,有相关项目经验者优先考虑;
5.主动性强,自学能力强,善于钻研;
6.有python语言基础者优先;
7.有数据结构、算法相关知识者优先。
岗位要求2:
1、计算机相关专业本科211以上学历,32周岁以下,有大数据开发运维经验。
2、熟悉服务器软硬件体系结构,精通Linux和大数据的存储和计算模型,有相关经验
3、精通一种开发语言(Python、Scala、Java等),并具有快速学习其他开发语言的能力
4、熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、presto、Flink、Spark、Kafka、elasticsearch的使用,熟悉Mysql等关系型数据库和NoSql技术。
5、有证券从业资格者优先。
岗位要求3:
1、拥有分布式系统相关研发经验,熟悉分布式系统相关理论,如Paxos/Raft等;
2、熟悉网络编程,多线程编程,熟悉Linux下性能调优;
3、熟悉分布式存储系统的关键技术点及解决方案;
4、熟悉业界主流分布式文件系统HDFS/CephFS/GlusterFS等经验者优先;
5、以上系统当中,向社区贡献过patch者优先
6、优秀的编码能力,针对具体的业务场景快速设计和实现落地的能力;对工程质量有很高的自我要求;
岗位要求4:
1、计算机科学与技术、大数据、应用数学等相关专业,本科及以上学历,5年及以上工作经验;
2、熟练掌握大数据平台(包括但不限于Hadoop、HDFS、Map Reduce等)基本原理及架构,了解大数据通用平台物理设备、网络转发、端口协议等方面的知识;
3、对大数据生态圈有深入认识,对大数据基础架构和平台底层原理有深度理解和丰富开发经验,具备Hadoop、Hive、HBase、kudu、Impala、Kafka、MapReduce、Spark、Kylin、Oozie、Sqoop、ElasticSearh等技术的熟练使用。
4、熟练掌握常见SQL、NoSQL数据库原理、数据库设计、查询编写和优化;
5、熟练掌握JAVA语言,熟悉Spring Cloud微服务架构,对JVM有了解者优先,熟悉Python更佳;
6、对数据敏感,能够通过业务模式和数据字典洞察数据规律,总结归纳数据规范;
7、具备优秀的沟通和组织协调能力,有团队意识,任务执行力强;
8、具备大数据平台运维和开发经验,能够独立升级大数据平台核心组件及相关功能者优先。
岗位要求5:
1、熟悉Java、scala或者Python等开发语言,及相关的常用功能库;熟悉Linux系统,并会使用Shell脚本;
2、熟悉Hadoop、Hbase、Spark、Kafka等大数据相关技术,并至少具备2年以上大数据应用开发经验;
hbase工作原理
3、有扎实的Java基础, 熟练掌握jvm机制、多线程、常用容器、反射等基础知识;
4、快速的学习能力和优秀的分析和解决问题能力,有团队意识;
5、有物联网大数据平台从业经验者优先;
岗位要求6:
1、掌握大数据生态体系产品的工作原理与应用,包含但不限于HDFS、MR、Yarn、Hive、HBase、Impala、Spark、Kafka、Presto(或Trino)等;了解集的部署升级、扩容缩容、性能和管理优化、问题排查等。
2、掌握常用的Java开发相关工具,如IDEA,Maven,Git等,具备一定的Flink开发能力,能够参与实时数仓设计与开发。
3、熟悉任一MPP数据库,如Doris、StarRocks、OceanBase、ClickHouse等。
4、大数据相关开发经验5年以上,有用户画像、标签开发、数据资产管理相关项目经验更佳。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。