Hadoop软件工程师
   
姓　  名：                            性    别：　男   
年    龄：　26岁                          学    历：  本科
籍    贯：                                英语水平：  CET-4，熟练阅读API文档         
毕业院校：                                ：         
工作经验：  3年                          ：
    工作性质：全职                                    目标地点：北京
    目标职能：hadoop 高级工程师                        目标薪资：面议
    单位名称： 正保教育           
    职位名称：hadoop软件工程师
    工作时间：2014.3-2015年7月
    工作描述：1、主要从事软件编码工作。
          2、需求调研，需求分析，功能模块分析以及编码实现等。
          3、调整整个项目的开发周期
          4hadoop分布式集搭建、参与系统的业务需求分析
          5、把握项目周期
    单位名称： 创维互联新能源科技有限公司           
    职位名称：hadoop项目经理
    工作时间：2015.7-至今
    工作描述：1、项目的需求分析
          2、项目的架构设计
          3、项目的扩展性设计     
          4、编码工作
          5、把握项目周期
1.理解hadoop的分布式文件系统，掌握hadoop集的搭建
2.根据业务需求，完成Map/Reduce编程
3.设计hive数据仓库设计，数据仓库主题分析
4.擅长sqoop数据传输工具
5.擅长kafak消息队列，和strom的对接
6.设计storm实时处理方案
7.设计storm数据落地的完整性需求
8.设计hbase数据仓库，实现二级索引，达到完美的批量写，毫秒级别的查询
9.设计hbase和hive的数据增量
10.熟练掌握redis实时nosql数据库的使用
11.扎实的Java基础，良好的编码风格
● 日志监控告警系统
开发环境：Windows + JDK1.7 +Eclipse+linux+mysql
软件架构：flume,kafka,Strom，redis,mysql,Zookeeper
开发时间/开发周期：2015.1-2015.3
    系统目标：
监控系统日志中的内容，按照一定规则进行过滤。
发现问题之后通过短信和邮件进行告警
系统实现：
主要架构为应用+flume+kafka+storm+mysql、redis+Java web。数据流程如下：
应用程序使用log4j产生日志
部署flume客户端监控应用程序产生的日志信息，并发送到kafka集中
storm spout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。
最后将告警的信息保存到mysql数据库中，用来进行管理。
● 日志信息统计分析系统
    开发环境：Windows + JDK1.7 + Hadop-2.4.1+Eclipse+linux+mysql
软件架构：Hadoop-2.4.1，Zookeeper,Hive,sqoop
开发时间/开发周期：2014.7-2015.1
    系统目标：   
通过Hadoop集处理银行产生的大量的日志信息，通过分布式存储，按小时保存并以小时为周    期上一小时    的数据同步到日志分析机上。统计数据按天更新，供业务系统处理使用。
系统实现：
1、数据采集 清洗、分类、合并 上传HDFS集
把数据采集下来后对数据进行清洗，过滤掉交易状态为0的数据，把小文件进行合并上传到Hdfs集。需要对各个业务部门的日志进行分类，分别输出到不同的文件里面（需要重写Partitioner组件）。有些日志有很多小文件用到了combinefileinputformat。某些日志量过大的文件需要指定combiner组件。
2、数据处理：内容识别 用户行为轨迹增强
使用MR程序对文件统计排序，把交易最频繁的数据抽取出来，用sqoop导入到关系型数据库，进行增强，在对原始文件进行增强(因为要抽取前80%进行增强，所以另外20%要输出到另外的文件上所以要自定义outputformat)存储到hdfs集上。
3、数据挖掘、统计分析
通过Hive进行统计分析。统计结果，进行业务处理。
● 诺信电子商城
开发环境：Eclipse4.3+Tomcat6.0+Jdk1.6+Oracle10g+Maven3.0.5+Svn+hudson
软件架构：Spring+Springmvc+mybatis+Oracle+jQuery+Activity
开发时间/开发周期：2014.7-2014.3
项目描述:诺信网上商城项目，用于建立网上终端、营销案和号卡在线销售及相关辅助功能，后台包含商品管理、订单管理、类目管理、客户管理、合作商管理、客服管理、支付平台、内容管理等，很大程度上分担了人工的压力，前台包括个人中心，购物车，商城首页，频道页，商品详情页（静态化），提交订单页，支付页面等页面构成，对提高客户服务效率和客户满意度能够起到较好的作用。
责任描述：
1、参与项目前期的需求分析和相关功能的需求文档编写。。
2、在项目中主要负责模块开发，我负责的模块有商品管理模块，订单模块，商品前台首页，
单品页面，提交订单页面，个人中心，购物车等模块。
技术描述：
1、使用Maven进行项目构建，实现前、后台项目的统一管理。
2、为减轻主服务器的压力，使用jersey技术搭建图片服务器，解决服务器压力的问题。
3、为解决订单过期没有付款使用了定时作废技术。后台开启线程定时扫描下单后的付款状态。
4、在商品的添加过程中,添加产品图片,使用ajax与json完成图片的异步上传,完成图片的回显功能。
5、前台首页商品列表的动态筛选，使用ajax技术，完成异步处理，实现点击每一个筛选条件，商品列表自动联动展示所查询商品信息；
6、使用Log4j技术将异常信息在服务器生成日志文件。
7、商品前台首页商品列表动态筛选，方便用户查询所需要的产品。
8、使用Webservice的cxf框架并结合freemarker技术，调用发布静态页面服务。
1、参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；
2、逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心；
3、对工作尽职尽责，乐于从事有挑战性的工作；
4、乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题；
5、具有良好的英语阅读能力，能阅读英文资料、技术文档等；

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。