真实大数据简历模版(四)【大数据-2年经验】电影网数据分析

这篇具有很好参考价值的文章主要介绍了真实大数据简历模版(四)【大数据-2年经验】电影网数据分析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

个人简历
·个人信息·____________________________________________________________
姓  名: 性  别:
年 龄: 工作经验:
学 历: 本科 (全日制) 专 业: 计算机科学与技术
籍 贯: 英语水平:
电 话: E-mail:
·求职意向·____________________________________________________________
目标薪资:面议
工作职位:大数据开发工程师
求职状态:离职
·IT技能·____________________________________________________________
一、大数据技术
1、能够搭建Hadoop并熟练使用相关技术HDFS、Yarn、MapReduce、Flume、Sqoop;
2、掌握Mapreduce作业调度原理,深入理解Mapreduce运算原理与Shuffle过程;
3、熟悉Spark工作流程,会使用Spark Sql进行数据处理和能够使用SparkStreaming进行流式计算;
4、能够使用消息中间件Kafka进行数据缓存;
5、掌握Zookeeper工作原理,并能够借助Zookeeper搭建HadoopHA集群、SparkHA;
6、熟悉全文检索Lucene、Elasticsearch;
7、能够使用反向代理Nginx进行请求的动静分离与服务器的负载均衡;
8、了解Storm架构,能使用Storm进行实时计算。
二、数据库相关技术
1、能够使用Hive和Hbase进行海量数据的分析处理;
2、能够操作MySQL数据库进行数据的存储;
3、熟悉MongoDB和Redis的使用。
三、编程语言
1、能够使用Java进行编程;
2、能够使用Scala进行Spark操作;
3、了解Shell脚本编程;
4、了解Python的基本使用。
四、其他
1、能够使用Spring、SprngMVC、SpringBoot、MyBatis等框架搭建项目;
2、熟悉Linux常用命令;
3、熟悉使用GitHub、Maven等开发工具。

·工作经历·____________________________________________________________
2017年4月-2019年3月
公司行业:计算机软件 工作职位:大数据开发工程师
工作职责:
1、主要负责大数据分布式存储;
2、离线数据来源的分析,实时数据的计算;
3、数据采集、清洗等方案的设计。
·项目经验·____________________________________________________________
项目一:
草民电影网数据分析 开发周期 2018年8月-2019年2月
技术实现:
Hadoop+Flume+Kafka+Mycat+Hive+Spark+SparkMLlib+
Redis+MongoDB+Elaticaserch
项目职务:大数据开发工程师
项目简介:
该项目是为电影网站进行收视统计,在用户观看的各类电视剧、电影节目中为了便于我们掌握用户哪个电视剧与电影更受观众欢迎,我们可以通过一些用户的观看情况进行监测,求出各类热门的电视剧与电影,实时的统计每天注册的人数。
项目职责:
1、负责参与网站指标离线统计分析:如电影的平均得分统计、每个类别优质电影统计、最热们电影统计、优质电影统计等;
2、对数据进行采集,将数据清洗存入到Hdfs中;
3、利用Spark MLlib中的协同过滤ALS算法计算用户电影推荐矩阵、电影相似度矩阵;
4、使用ES计算出基于内容的推荐结果等。
技术要点:
1、Flume监控日志数据传输给Kafka;
2、Hadoop和ES分别从Kafka中拉取数据并进行实时的清洗入库;
3、利用SparkSql从Hadoop中拉取数据进行离线数据分析计算;
4、利用Spark Streaming从Kafka中拉取数据实时计算;
5、使用Spark MLlib的ALS推荐算法分析给用户推荐离线视频;
6、使用公司提供的算法流程计算实时推荐视频。
项目二:
游戏数据指标分析 开发周期 2018年4月-2018年8月
技术实现:
Hadoop+Zookeeper+Sqoop+Mycat+Hive+Kafka+Flume+Spark+Redis+Nginx+Hbase
项目职务:大数据开发工程师
项目简介:
通过对游戏数据的各项指标的分析,可以帮助游戏运维者了解玩家的行为和需求,通过玩家反馈的信息可以不断地矫正游戏中出现的问题,从而让游戏健康稳定的可持续运营。
项目职责:
1、统计活跃玩家:DAU、WAU、MAU、DAU/MAU,玩家等级、地区、年龄、性别维度分布;
2、统计忠实玩家(7、14、30持续在线)
3、统计玩家留存:次日、周及月留存玩家,玩家留存条件下等级,游戏次数、是否付费等
4、统计玩家流失(7、14、30持续不在线),当日回流玩家、流失玩家流失前等级、游戏次数、是否付费等情况。
技术要点:
1、Kafka从Nginx中获取数据;
2、使用Flume从Kafka拉取数据到Hdfs清洗入库;
3、利用SparkSql从Hdfs中拉取数据进行数据离线计算;
4、SparkStreaming从Kafka中拉取数据实时计算。
项目三:
周边游客流量数据分析 开发周期 2017年11月-2018年4月
技术实现:
Hadoop+Flume+Kafka+Hive+Mycat+Spark+Redis
项目职务:大数据开发工程师
项目简介:
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析,经过分析得到的数据给前端进行显示,从而可以为网站提供日常决策支撑,比如某些旅游景点的人气很高的话,就可以为该景点做更多的推荐介绍。
项目职责:
数据的清洗操作;
离线指标的一些计算比如:
1、指定路线的年客流量统计;
2、交通方式月、年的人次统计;
3、成熟客源市场分析-地市、省份排名;
4、成熟景区市场分析-地市、省份排名;
5、成熟景区出入比分析-省份、城市排名;
6、潜在客源市转化率分析-地市排名。
技术要点:
1、使用Flume监控日志存入到Hdfs;
2、利用MR对数据进行清洗入库;
3、使用Sparksql从数据仓库中读取数据对数据进行分析;
4、Flume直接发送数据给Kafka,Sparkstream对接Kafka进行实时的计算。
·自我评价·____________________________________________________________
1、熟悉hadoop分布式存储,能利用自己写的MR程序去解决问题;
2、良好的学习和沟通组织能力;
3、技术上具备较好的独立完成模块和解决问题的能力;
4、适应能力好,能承受较强的工作压力,能够快速的融入团队;
5、对前沿技术比较敏感,非常乐于研究大数据相关的技术。文章来源地址https://www.toymoban.com/news/detail-688795.html

到了这里,关于真实大数据简历模版(四)【大数据-2年经验】电影网数据分析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【大数据基础】基于 TMDB 数据集的电影数据分析

    https://dblab.xmu.edu.cn/blog/2400/ 环境搭建 数据预处理 本次项目使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集,该数据集包含大约 5000 部电影的相关数据。本次实验使用数据集中有关电影的数据表 tmdb_5000_movies.csv 进行实验。数据包含以下字段: 由于数据中某

    2024年02月08日
    浏览(36)
  • 基于python大数据的电影可视化分析及电影推荐

    随着信息技术和互联网技术的快速发展,利用数据采集技术实现用户感兴趣的数据收集分析成为很多互联网公司研究讨论的热门话题。通过对基于Python的大数据的电影可视化分析与电影推荐,采集进行电影热度动态变化的需求进行调查分析,发现作为研究电影热度波动变化的

    2023年04月23日
    浏览(40)
  • 电影票房之数据分析(Hive)

    #进入hive #在hive中创建数据库 mydb #使用数据库 mydb #创建表moviecleaned并使用\\\"/t\\\"分割字段 #将本地清洗后的数据导入moviecleaned表中 #创建top10_boxoffice表,用来存放数据查询的结果 #查询,并将结果导入top10_boxoffice表中 #创建boxoffice_national_day表,用来存放数据查询的结果 #查询,并将

    2024年02月13日
    浏览(40)
  • 基于hadoop豆瓣电影数据分析

    《 Hadoop大数据技术 》测试 试题 题    目:          基于hadoop豆瓣电影数据分析                 学生姓名:                               学    号:                               学    院:                               专业班级:          

    2024年02月02日
    浏览(65)
  • 毕设 大数据电影数据分析与可视化系统

    今天学长向大家介绍一个机器视觉的毕设项目 🚩基于大数据的电影数据分析与可视化系统 项目运行效果(视频): 毕业设计 大数据电影评论情感分析 项目获取: https://gitee.com/sinonfin/algorithm-sharing 研究中国用户电影数据,有助于窥探中国电影市场发展背后的规律,理解其来龙去

    2024年02月04日
    浏览(43)
  • 电影数据可视化综合分析

    1.1 沈腾参演电影数据获取 1.2 电影数据可视化分析 大家好✨,这里是bio🦖。点赞+关注不迷路。数据可视化在数据科学和数据分析中非常重要,例如论文中配色精美的结果图、PPT汇报中突出数据差异数据分析图等。通过可视化,我们可以直观地观察和理解数据的分布、趋势、

    2024年02月12日
    浏览(37)
  • 基于Python的电影影片数据分析

    摘 要 数据分析与可视化是当今数据分析的发展方向。大数据时代,数据资源具有海量特征。数据分析和可视化主要通过Python数据分析来实现。基于Python的数据分析可视化和技术实现是目前Python数据分析的主要目的,Python可以为数据分析可视化提供思路,在体现数据价值方面

    2024年02月08日
    浏览(57)
  • 毕设开源 大数据电影数据分析与可视化系统

    今天学长向大家介绍一个机器视觉的毕设项目 🚩基于大数据的电影数据分析与可视化系统 项目运行效果(视频): 毕业设计 大数据电影评论情感分析 项目获取: https://gitee.com/assistant-a/project-sharing 研究中国用户电影数据,有助于窥探中国电影市场发展背后的规律,理解其来龙去

    2024年03月18日
    浏览(47)
  • 电影评分数据分析案例-Spark SQL

    1. 2. 3. 4. 5. 6.

    2024年02月08日
    浏览(44)
  • pyecharts实现电影数据分析可视化

    根据电影数据,使用pyecharts进行可视化分析。 前5行数据如下: 需要安装的python库 查看缺失值 有部电影没有给出编剧和主演,因此没有爬取到,这不影响数据的分析及可视化。 之前数据介绍时可以看到,获取的数据各字段目前没有需要清洗的。这个环节就跳过吧。(想加个表

    2024年02月08日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包