基本信息
姓 名: 籍 贯:
性 别: 男 民 族:
毕业院校 : 学 历:
联系电话 : 邮 箱:
英语能力: 工作经验: 三年
求职意向
期望职位 :大数据开发工程师 期望薪资 : 面议
工 作 性 质:全职
专业技能
1.掌握Hadoop原理,理解HDFS、YARN的底层工作原理,掌握MapReduce工作原理,熟悉Shuffle机制,并能进行mr调优。
2.熟练使用SparkCore、SparkSQL、SparkStreaming,能进行Spark调优 。
3.掌握Hbase的运行机制, split及compact机制,Rowkey设计原理。
4.掌握Hive数据仓库,能够编写SQL语句进行业务指标的分析。
5.熟悉Redis五种数据机构,了解Redis持久化机制(RDB和AOF)。
6.熟悉大数据生态圈Kafka,Sqoop,Flume,Zookeeper,Oozie, Elasticsearch, Azkaba,Echarts常用组件的部署及使用;
7.熟悉Linux环境,了解Linux下大数据的环境搭建,熟悉shell脚本;
8.掌握Zookeeper的选举机制及其分布式版本控制,通知机制。
9.熟悉Java,Scala面向函数式编程,能够用Java,Scala进行Spark框架业务开发。
10.对Flink,FlinkCEP,FlinkSQL有一定了解。
11. 了解数据挖掘中K-means、线性回归、朴素贝叶斯、决策树等部分算法,良好的数学基础和逻辑概念。
12.具有良好的代码编写习惯和文档操作能力;
项目一
项目名称: 友金所APP个性化理财服务推荐2018.09—2019.07
系统架构:HDFS+Sparkstreaming+SparkSql+Redis+Flume+Kafka+Mysql+Zookeeper
项目描述:随着金融行业的井喷式发展,获取信息的方式越来越多,人们从主动获取信息逐渐变成了被动接受信息,信息量也在以几何倍数式爆发增长。为了提高产品服务质量,满足客户的个性化需求,给客户针对性推荐有价值的产品信息,现需将每位客户的需求更加细化、精准化,通过收集用户的信息与浏览行为习惯,为每个用户打上标签构建专属用户画像,针对性匹配金融产品,帮助客户发现真正有帮助,有价值的信息,节省客户的浏览时间,快速了解类似产品和资讯的速度,缩短成交周期。
主要职责:
1.通过定制好的web端添加标签信息到MySQL中。
2.从HBase中获取到用户数据信息,与MySQL中标签数据进行匹配,分析业务需要的指标,从上网行为、关注的产品类型、用户投资借贷等不同维度进行维度聚合,统计信息的各项指标;
3.用SparkSql进行分析数据,分析用户日志添加标签构建用户画像;
4.根据MySQL中的标签库给不同用户添加标签VIP等级、消费等级、风险等级、收益幅度、投保时长等;
5.通过构建匹配、统计、挖掘模型,把用户的学历、职业、商圈、消费能力、商品偏好、房产、车产等用户属性与标签进行合并,最终产生的用户标签数据,保存到Hbase中;
项目二
项目名称:学堂在线APP实时课程资源推送 2017.09—2018.07
系统架构:Flume+ Hadoop+ Hive+ Kafka+SparkStreaming +HBase+Azkaba
项目描述:
在移动互联网的发展下,教育不仅仅局限于课堂之上,在慕课的发展思潮下,国内也开始了慕课的发展黄金期,与移动互联网的发展相结合,学堂在线是将各个名校的课程资源发布到网上,可以让师生进行实时地互动答疑,学生可以根据自己的所学的专业,进行线上的学习,然后进行提价作业,老师既可以在线进行解答批改,也可以离线进行批阅。
主要职责:
1.用SparkStreaming从Kafka获取到用户正在观看的课程视频,对该视频所属课程、院校、名师、在线时长等信息进行分析处理,将这些字段存储到MySQL中,实时给用户推送同类型的不同院校和不同老师的课程资源信息。
2.实时监控学生的作业的提交情况,对于师生实时互动的课程,在学生提交作业的同时,便发送相关提醒给老师,由老师决定立刻进行批改,还是课程结束后进行批改。
3.直播课程,Flume采集到日志数据,对接到Kafka ,用SparkStreaming统计得出到当前学生在线人数,提问人数,来自哪些地区等一些字段,存入到MySQL中,前端进行调用展示到页面上。
4. 学生在完成阶段性学习之后,用SparkSql从Hive中的学习情况统计表中找到完成学习课程这一字段为1的学生抽取出来,存入到Hbase中,对应地从Hbase的题库中找到相关课程的试题,将这些试题推送给学生。
项目三
项目名称:牛影视在线电影网日志数据分析 2017.01—2017.06
系统架构:Flume+ Hadoop+ Hive+ SparkSql + Sqoop+MySQL+Azkaba+Kylin
项目描述:该项目是为电影网站进行收视统计,在用户观看的各类电视剧、电影节目中为了便于我们掌握用户哪个电视剧与电影更受观众欢迎,我们可以通过一些用户的观看情况进行监测,求出各类热门的电视剧与电影,实时的统计每天在线的人数。
主要职责:
1.用Flume从从日志系统中采集到用户的日志,清洗存入到Hdfs和Hive进行整合;
2. 负责参与网站指标离线统计分析:1)每天在线的用户数;2)统计出当天的电影播放的TOP-N;3)访问网站的分别来自什么客户端;4)统计出在线观看的电影类型TOP-N;5)统计用户的在线时长
3. 数仓分为三层,ODS的原始数据层,DW层业务数据层,ADS层数据分析层;
4. 使用Spark MLlib的ALS推荐算法分析给用户推荐离线视频;文章来源:https://www.toymoban.com/news/detail-707932.html
自我评价文章来源地址https://www.toymoban.com/news/detail-707932.html
- 本人性格开朗、待人热情、真诚;
- 工作认真负责,积极主动,纪律性强,工作积极配合;
- 勤于思考,热爱学习,逻辑清晰, 善于从多角度分析问题;
- 有很强的组织能力和团队协作精神,具有较强的适应能力。
到了这里,关于真实大数据简历模版(二)【大数据-3年经验】金融的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!