大数据开发工程师岗位的主要职责概述（31篇）
大数据开发工程师岗位的主要职责概述（通用31篇）
    大数据开发工程师岗位的主要职责概述 篇1
  职责：
  1、 负责大数据平台架构的整体设计，承担数据抽取、清洗、转化等数据处理程序开发;
  2、 为业务运营提供技术支持，完成应用系统的搭建、优化、升级工作，保证平台稳定运行;
  3、 编写系统的需求分析、设计、开发和部署文档等。
  岗位要求：
  1、硕士及以上学历，计算机、自动化、通信等相关专业;
  2、熟练掌握Java语言，并熟悉Python语言，熟悉分布式系统架构，有hadoop，spark系统架构经验;
  3、熟悉实时计算框架storm，flink，spark streaming其中之一;
  4、熟练使用SQL，熟悉数据库原理，熟练使用至少一种主流关系型数据库;
  5、熟悉软件开发流程，能够根据需求编写需求、设计、开发手册等项目过程文档;
  6、具有良好的沟通能力和主动性，抗压能力强。
    大数据开发工程师岗位的主要职责概述 篇2
  职责：
  1. 对数据进行结构化、标准化处理，对处理流程进行自动化搭建
  2. 通过ETL/Cube数据建模，构建基于数据仓库的分析工具;
  3. 参与数据与公司软件产品及第三软件的API对接;
  4. 搭建与优化，数据采集、处理、可视化流程中所需的框架与模块开发;
  5. 协同内外部力量完成需求的表达与技术攻关。
  任职要求：
  1. 熟悉数据库的设计和开发如：Oracle/Mysql/MSSQL/Redis等，有处理大量数据经验的优先;
  3. 熟练使用ETL工具进行数据抽取，清洗，转换，关联等操作;
  4. 熟练使用Linu_操作系统,具备编写shell的能力;
  5. 熟练使用主流的开发框架，掌握以下语言：Java、Python;了解过源码的优先;
  6. 具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验;
  7. 了解可视化及BI工具者优先;
    大数据开发工程师岗位的主要职责概述 篇3
  职责：
  1、 规划及建设大数据平台;
  2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;
  3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;
  4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师;
  5、 整理和提交技术文档，负责核心功能模块的代码编写和测试工作。
  岗位要求：
  1、 计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;
  2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言;
  3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;
  4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题;
  5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
  6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先;
hbase工作原理  7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。
    大数据开发工程师岗位的主要职责概述 篇4
  职责：
  1、参与大规模数据快速查询系统的架构设计和开发;
  2、大规模数据挖掘和机器学习算法的实现;
  3、在线和离线海量数据分析平台的开发;
  4、研究大数据前沿技术，提升系统的运维效率;
  5、实现大数据基础架构平台的自动化运维。
  【任职要求】：
  1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linu_;

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。