如何在简历中编写Spark⼤数据项⽬经验
场景
准备换⼯作开始新的⼈⽣道路了：纠结，，，怎么优雅地编写项⽬经验呢？
简历
基本信息
技能点
java怎么编写1、良好的数据结构与算法基础；优秀的英⽂阅读能⼒，能顺利阅读英⽂专业书籍与开源⽹站; 善于学习并与团队分享新技术；优秀的写作能⼒。
2、熟悉java，掌握反射、多线程与NIO等java⾼级特性的使⽤，并深⼊理解⾯向对象编程; 理解函数式编程，迷恋scala并深⼊理解隐式转换与类型类等scala⾼级特性。
3、熟悉常⽤设计模式的使⽤；掌握并发处理框架akka、Redis缓存、中间件Rabbit MQ等第三⽅产品的使⽤。
4、掌握JSP、Servlet、以及SSH（Struts+Spring+Hibernate）框架的使⽤；了解HTML、CSS、JavaScript,ajax与报表设计器，⼯作流设计器，表单设计器的使⽤ 。
5、掌握hive、flume与hdfs等hadoop⽣态技术圈的相关技术的基本使⽤ ; 理解Spark⼯作机制，阅读过最新spark（1.6.2）内核源码; 熟练掌握Spark core、Spark sql的开发、了解 Spark Streaming的开发;。
6、理解并熟练掌握spark⼤数据项⽬各种性能调优、线上troubleshooting与数据倾斜的解决⽅案。
7、熟悉mysql/oracle数据库的使⽤，掌握oracle存储过程的编写；熟悉Linux常⽤命令的使⽤，熟悉shell编程。
项⽬经验
项⽬名称：[IFEAP]智能家居数据服务平台
开发⼯具：Eclipse
项⽬概要描述
智能家居平台包括三端：app端，数据服务端与家电端，分别由三家公司参与研发。
其中，数据服务端包括两⼤⼦平台：数据处理平台 与 交互式⼤数据家电⽤户⾏为分析平台。
需求概要
数据处理平台：作为⼿机app端与家电端的数据通信中转站，旨在为⽤户实现远程操作与监控家⾥的电器设备，例如，空调、冰箱、洗⾐机、电饭煲与⼩烤箱等提供平台⽀持：接收并分析⽤户通过HTTP发送的家电操控指令，进⽽通过tcp将控制报⽂下发给家电端。家电端收到报⽂后，按照⾃定义的通信协议，解释报⽂中的相关命令字段，进⽽对家电进⾏具体的操控。
家电⽤户⾏为分析平台：旨在通过分析⽤户的家电操控⾏为数据与家电运⾏上报数据，深⼊了解⽤户的家电操作喜好与监控家电设备的运⾏状况。为优化公司已有产品提供数据⽀持，最终为⽤户提供更好的家电使⽤体验，提升公司价值。
技术架构
家电⽤户⾏为分析⼤数据平台概念架构图
数据处理平台
1、项⽬基于servlet+hibernate3.x+spring3.x架构，缓存基于Redis结合Spring AOP实现；中间件采⽤Rabbit MQ处理业务⽇志、家电状态上报与推送等消息类型。
2、包括6⼤⼦系统SOPP、SAMS、STPP、SPUSH、STPS、SQTS 以及SManager。其中SOPP负责处理本平台⽤户的请求、TPP负责处理第三⽅平台⽤户的请求 、SAMS负责分析⽤户的请求指令并下发⾄家电端、PUSH⼦系统负责处理⾮⽤户的家电操作业务、SQTS负责作业的调度 eg、定时清除相关临时表中的数据 ;SManager⼦系统负责查询统计分析类业务：接收⽤户的查询统计请求，通过Java Runttime API执⾏关联的spark作业，完成家电⽤户⾏为分析，并将执⾏结果，与分析出来的数据写⼊mysql供前台展⽰⽤。
家电⽤户⾏为分析⼤数据平台
基于spark1.3.x为计算引擎，具体概念架构图如上图所⽰。⽬前已经实现排名类业务，即时分析与数据挖掘类业务处于预研阶段。排名类业务包括⽤户操作家电⾏为分析 与 家电运⾏状态分析两⼤⼦业务。
责任描述
前期主要负责SOPP与SAMS⼦系统基础组件：安全组件、分布式session组件与核⼼业务模块；核⼼
业务模块包括：获取家庭组家电列表、家电应⽤数据透传、与服务器握⼿等的开发；后期主要负责 ⼤数据平台 ⽤户操作家电⾏为分析⼦业务模块的开发。主要的功能点包括 ：
a、按条件筛选session
⽐如，获取出近⼀周内某个城市操作家电类型为空⽓净化器的⽤户session。
b、统计筛选session的访问时长占⽐
统计出符合条件的session中，访问时长在1s~3s、4s~6s、7s~9s、10s~30s、30s~60s、1m~3m、3m~10m、10m~30m、30m 以上各个范围内的session占⽐；功能步长在1~3、4~6、7~9、10~30、30~60、60以上各个范围内的家电功能点切换占⽐。 （注 功能步长值：⽤户在某⼀家电类型的功能点之间切换的次数）
c、按时间⽐例随机抽取1000个session
d、获取具体家电类型操作量排名前3的功能点
e、对于排名前3的功能点，分别获取其最常设置的前3个值
模块开发中⽤到的主要spark技术点包括：spark core常⽤算⼦的使⽤，⾃定义累加器、⼴播⼤变量的使⽤;⼆次排序，分组取TopN算法; spark sql⾃定义函数 UDF 与 UDAF、常⽤开窗函数的使⽤（eg、row_num实现分组取topN）等的使⽤。同时，积累了包括RDD持久化、shuffle调⽤、使⽤Kryo序列化、使⽤fastutil优化数据存取格式等在内的性能调优⽅法 及常见的线上troubleshooting与数据倾斜解决办法。
总结
God bless me

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。