大数据平台架构师岗位职责10篇
大数据平台架构师岗位职责篇1
    职责：
    根据大数据业务需求，设计大数据方案及架构，实现相关功能;
    搭建和维护大数据集，保证集规模持续、稳定、高效平稳运行;
    负责大数据业务的设计和指导具体开发工作;
    负责公司产品研发过程中的数据及存储设计;
    针对数据分析工作，能够完成和指导负责业务数据建模。
    职位要求：
    计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;
    精通大数据主流框架(如 Hadoop、hive、Spark等);
    熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;
    熟悉hadoop/spark生态的原理、特性且有实战开发经验;
    熟悉常用的数据挖掘算法优先.
    大数据平台架构师岗位职责篇2
    职责：
    1、正确理解业务需求，对需求进行工作量评估;
    2、参与项目相关的需求、设计、投产手册等文档的编写;
    3、根据进度计划，完成所承担功能模块的设计、开发、单元测试、联调测试;
    4、配合测试组修复代码缺陷，确保功能实现与代码质量;
    5、负责所承担功能模块投产、部署，及上线后的日常维护;
    6、完成项目经理或者架构师安排的其他工作;
    任职资格：
    1、本科以上学历，计算机相关专业，两年以上大数据开发经验;
    2、熟悉Linu_ 环境，掌握shell或python;
    3、熟练使用hadoop，hive，HBase，YARN，kafka，spark等大数据开发组件;
    4、精通 ETL，数据仓库的设计和开发;
    5、有大数据处理实战经验，熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储;
    6、较强的动手能力和学习能力，良好的沟通能力、团队协调能力;
    7、具有银行、金融行业从业背景者优先。
    大数据平台架构师岗位职责篇3
    职责：
    1.负责企业数据中心建设，设计数据逻辑模型和物理模型，并完成相关开发
    2.梳理公司各业务线常用的指标和维度，统一指标定义口径
    3.根据数据应用开发和数据分析需求，设计数据仓库信息层模型，提高数据开发的效率
    4.负责数据模型的运营和优化，及时响应业务逻辑变更，保证模型的数据质量和稳定性
    5.负责公司数据标签体系的建设，并推动标签体系在实际业务场景中落地
    岗位要求：
    1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验
    2.有较强的数据分析能力，精通数据仓库架构，熟悉Erwin或PowerDesigner建模工具
    3.精通一种主流关系数据库(如mysql等)，熟悉Hive开发
    4.有电商业务经验，元数据管理，数据质量管理或标签体系搭建经验者优先
    5.优秀的协调沟通与团队协作能力，极强的责任心，能承受一定的工作压力，认同企业文化和团队价值
    大数据平台架构师岗位职责篇4
    1、建设大数据平台，主要技术为k8s, docker;
    2、跟进开源社区的更新，阅读文档，验证feature;
    3、阅读容器生态圈各组件的开源项目代码，开发新功能;
    4、持续提升平台的性能和稳定性。
    大数据平台架构师岗位职责篇5
    职责：
    1、负责公司大数据产品的架构设计，包含数据收集、数据存储、数据应用，并完成相关架构设计文档的撰写;
    2、参与规划从数据源到数据应用的整体流程，并参与相关产品的决策;
    3、负责解决核心技术问题，对技术方案进行决策;
    4、负责大数据研发团队建设、人才梯队培养和技术团队管理;
    5、积极了解业界发展，研究与跟踪大数据新技术发展方向。
    任职要求：
    1、精通GoldenGate For BigData相关理论，具备大型数据利用的生产实战经验;
    2、精通数据驱动的理论，设计并生产上线相关数据驱动的产品;
    3、精通常用消息中间件的使用，例如kafka/RocketMQ/Apache Pulsar，有解读相关源码者优先;
    4、掌握hadoop、spark生态体系相关产品的使用，掌握MapReduce编程或Spark编程;
    5、了解传统数据仓库理论及相关ETL工具，例如kettle/datastage;
    6、熟悉Oracle、Mongodb、Mysql数据库的使用;
    7、扎实的Java语言基础，熟悉Java开发工具和调试工具的使用;
    8、良好的团队协作精神，有能力对团队在软件设计、实现和测试方面进行指导;
    9、良好的逻辑分析能力和沟通能力，执行力强、对待工作认真严谨、责任心强、具备出的学习能力和团队合作精神，有一定的推动能力;
    10、计算机科学、信息技术或相关领域本科以上学历，具有5年以上数据平台项目开发经验，3年以上的架构设计经验，具有大数据平台应用大型项目架构设计经验优先;
    大数据平台架构师岗位职责篇6
    职责：
    1、负责大数据开发团队建设;
    2、负责行业大数据产品架构设计与研发;
    3、负责带领团队进行行业大数据产品关键技术攻关。
    任职要求：
    1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验，对数据挖掘及机器学习有较为深刻的理解;
    2、熟悉Hadoop相关技术，对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;
    3、熟悉Linu_，熟练使用Shell或Python，进行脚本编写;
    4、对数据结构和数据统计分析算法有较为深刻理解;
    5、掌握至少一种主流关系数据库开发技术：Oracle、SQL Server、MySQL等;
    6、掌握实时流计算技术，有Spark、Storm开发经验者优先;
    7、需要具备2年以上研发团队管理经验。
    大数据平台架构师岗位职责篇7
    职责:
    1)负责公司软件产品整体架构的设计和关键功能实现
    2)负责公司架构长期看护以及优化;
    3)负责软件部门各模组间的协调配合;
    4)提高巩固软件代码质量;
    5)负责大数据流式框架的设计、优化及部署;
    6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
    任职资格:
    1)本科及以上学历，计算机相关专业，5年以上工作经验;
    2)频繁换工作，比如一年一个公司，请绕路;
    3)3年以上产品架构经验，主导过产品的成功上线;
    4)对底层设备通讯协议，B/S系统，手机APP开发等都有一定的了解;
    5)对各种主流语言C\Java\Pathon有一定的了解
    5)精通各种大数据架构，并深入研究过其中一种，有storm\kafka等流式实时处理经验为佳
    6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;
    7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
    大数据平台架构师岗位职责篇8
    职责：
    1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;
计算机架构师证书    2、研究大数据领域前沿数据挖掘技术，并引入相应技术在数据中心的使用;
    3、进行大数据系统框架设计、模型算法开发;
    4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
    5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
    任职资格：
    1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专业，五年工作经验;
    2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台的架构开发过程，具备互联网行业背景优先;
    3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验，熟练掌握Hive/SQL，Python，熟悉Python、R相关数值科学计算库(NumPy,SciPy等);
    4、了解传统的BI/DW 理论，能结合传统BI实践设计大数据平台;
    5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分析;
    6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;
    7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问题及解决问题;
    大数据平台架构师岗位职责篇9
    职责：
    1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;
    2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;
    3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;
    4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。
    职位要求：
    1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;
    2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;
    3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先;

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。