【大数据】大数据学习路线

这篇具有很好参考价值的文章主要介绍了【大数据】大数据学习路线。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

职位选择

首先明确一点:大数据涉及的知识面广度还是有的,需要学习的组件繁多,想要每一项精通几乎不可能,所以企业在招聘的时候会进行细分,基于某个方向进行招聘,比如关键字,数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重,保证自己兴趣所致并重点关注。
方向1:ETL工程师
ETL:数据抽取、转换、加载
ETL工作属于业务与数据的交点、需要处理上下游的关系,首先,需要对业务层面非常熟悉,其次,需要对接数据开发工程师、数据科学家,整理并准备数据、进行数据清洗、整理、融合。

方向2:数据仓库工程师
数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了,实时数仓是未来趋势和方向。

方向3:数据治理工程师(国企岗位居多)
数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。

方向4:大数据开发工程师
大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力

大数据学习路线

系统的学习大数据相关的课程,可按照如下顺序学习
需要先掌握 Java SE 阶段,Linux 基础命令,MySQL数据库
如果上述基础技能没有掌握,可网上搜索相关课程进行学习(这类基础课程网上免费的特别多)
Java可以先学习 Java SE
会在虚拟机中安装Linux发行版本(建议安装 CentOS),学完Linux基础即可。
MySQL需要学习 sql 语法,范式,事务等。(Sql能力是必备的,没有上限)
如果以上技能你都掌握的话,接下来就进入大数据框架
可按照如下顺序进行学习(涵盖ETL、数仓、开发等岗位)
Hadoop -> Zookeeper -> Hive -> Flume && Sqoop && DataX-> Azkaban && DolphinScheduler -> 数仓建模理论+实践 ->离线数仓项目 ->Kafka -> Hbase -> Spark -> Doris-> Flink -> 实时数仓项目 ->数据治理相关知识 ->数据湖(Hudi,Iceberg)

注1.橙色为优先学习组件
** 2.大家一定要重视自己的后端开发能力,要至少做到不比后端同学差,不要让这方面的能力成为制约你职业发展的束缚。**

学习视频推荐

编程语言

关于编程语言这部分,大部分同学都是Java附带Scala技能加点,当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频,尤其是如果你的语言基础极差,都没有用过Java语言。

《Java基础到高级-宋红康》
https://www.bilibili.com/video/BV1Qb411g7cz

数据结构

《数据结构-浙江大学》
https://www.bilibili.com/video/BV1JW411i731

Linux基础

Linux基础这块对于数据开发非常重要,因为大家平时接触过的数据框架的搭建过程涉及大量的Linux命令操作,并且在系统级别的调优还会接触atime、ulimit这种比较高级的命令。

《史上最牛的Linux视频教程—兄弟连》
https://www.bilibili.com/video/av18156598

数据库入门

基于MySQL了解常见的SQL语法,大数据领域SQL化是未来的发展方向。

MySQL数据库教程天花板
https://www.bilibili.com/video/BV1Kb411W75N

Hadoop

尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优)
https://www.bilibili.com/video/BV1Qp4y1n7EN/

Hive

尚硅谷大数据Hive 3.x教程
https://www.bilibili.com/video/BV1g84y147sX/?

Kafka

尚硅谷Kakfa3.X教程
https://www.bilibili.com/video/BV1vr4y1677k/

Spark

尚硅谷大数据Spark教程从入门到精通
https://www.bilibili.com/video/BV11A411L7CK

Flink

【尚硅谷】Flink1.13实战教程(Java)
https://www.bilibili.com/video/BV133411s7Sa/
【尚硅谷】Flink1.13实战教程(Scala)
https://www.bilibili.com/video/BV1zr4y157XV/

Hudi

Hudi数据湖
https://www.bilibili.com/video/BV1ue4y1i7n

Doris

【尚硅谷】大数据Apache Doris教程
https://www.bilibili.com/video/BV15S4y1h7Kt

Sqoop

尚硅谷Sqoop教程(sqoop大数据开发标配)
https://www.bilibili.com/video/BV1jb411A7tc/

Flume

【尚硅谷】大数据技术之Flume教程从入门到实战

https://www.bilibili.com/video/BV1wf4y1G7EQ

DataX

【尚硅谷】Alibaba开源数据同步工具DataX技术教程

https://www.bilibili.com/video/BV1H44y1x76X

Atlas

【尚硅谷】大数据技术之Atlas数据治理
https://www.bilibili.com/video/BV1jA411F76d/

项目学习

离线数仓

尚硅谷大数据项目【电商数仓5.0】

https://www.bilibili.com/video/BV1AT411j7hu

实时数仓

尚硅谷大数据之Flink实时数仓3.0
https://www.bilibili.com/video/BV1TG411a7nL

数据中台

大数据九章云台项目
https://www.bilibili.com/video/BV1vR4y1z79G

注:电商数仓项目早已烂大街,尽量不要把这两个项目写到自己的简历上。文章来源地址https://www.toymoban.com/news/detail-802097.html

到了这里,关于【大数据】大数据学习路线的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3教程(十九):MapReduce之ETL清洗案例

    ETL,即 Extract-Transform-Load 的缩写,用来描述数据从源端,经过抽取(Extract)、转换(transform),最后加载(load)到目标端的处理过程。 ETL主要应用于数据仓库,但不只是应用于数据仓库,毕竟这个更像是一类思想。 在运行核心的MR程序之前,往往要对数据进行清理,清除掉

    2024年02月06日
    浏览(46)
  • 商业智能系统的主要功能包括数据仓库、数据ETL、数据统计输出、分析功能

    ETL服务内容包含: 数据迁移 数据合并 数据同步 数据交换 数据联邦 数据仓库

    2024年02月07日
    浏览(41)
  • 数据迁移和ETL:从传统系统到云平台的平稳过渡

    随着云计算的快速发展,越来越多的组织开始将其数据和应用程序迁移到云平台上。数据迁移是这个过程中的核心环节,而ETL(提取、转换和加载)则是实现数据迁移的重要工具。本文将探讨数据迁移和ETL在从传统系统向云平台进行平稳过渡时的关键作用和最佳实践。 首先,

    2024年02月16日
    浏览(39)
  • 数据库第十七课-------ETL任务调度系统的安装和使用

    🎂 ✨✨✨✨✨✨🍧🍧🍧🍧🍧🍧🍧🎂 ​🎂 作者介绍: 🎂🎂 🎂 🎉🎉🎉🎉🎉🎉🎉 🎂 🎂作者id:老秦包你会, 🎂 简单介绍:🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂🎂 喜欢学习C语言和python等编程语言,是一位爱分享的博主,有兴趣的小可爱可以来互讨 🎂🎂

    2024年02月11日
    浏览(69)
  • 网络安全系统教程+学习路线

    网络安全可以基于攻击和防御视角来分类,我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术,而“蓝队”、“安全运营”、“安全运维”则研究防御技术。 无论网络、Web、移动、桌面、云等哪个领域,都有攻与防两面性,例如 Web 安全技术,既有 Web 渗透,也有

    2024年02月13日
    浏览(46)
  • ue4技术方向学习路线如何安排?

    作为初学者,您可能会感到UE4(Unreal Engine 4)的学习曲线很陡峭。但是,只要您有一个良好的学习路线和资源,就可以轻松地掌握UE4技术方向。下面是一个可以帮助您快速入门UE4技术方向的学习路线安排。 第一阶段:基础知识 在开始使用UE4之前,您需要先了解一些基础知识

    2024年02月08日
    浏览(40)
  • 【大数据】大数据学习路线

    首先明确一点:大数据涉及的知识面广度还是有的,需要学习的组件繁多,想要每一项精通几乎不可能,所以企业在招聘的时候会进行细分,基于某个方向进行招聘,比如,数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们

    2024年01月18日
    浏览(35)
  • 网络安全系统教程+学习路线(自学笔记)

    网络安全可以基于攻击和防御视角来分类,我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术,而“蓝队”、“安全运营”、“安全运维”则研究防御技术。 无论网络、Web、移动、桌面、云等哪个领域,都有攻与防两面性,例如 Web 安全技术,既有 Web 渗透,也有

    2024年02月09日
    浏览(49)
  • 系统架构设计师-第0章-学习路线

    架构师的定义 架构设计师是系统开发的主体角色,他们通过执行一系列活动来实施架构设计。架构设计通过生成过程形成最终的产品架构,架构设计师的成果是创建架构。从图1可以看出,系统开发中架构设计师是整个系统的核心. 架构设计师是负责系统架构的人、团队或组织

    2024年01月22日
    浏览(33)
  • 基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

    有需要本项目或者部署的系统可以私信博主,提供远程部署和讲解 本研究基于淘宝用户行为的开源数据展开大数据分析研究,通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析,为电商销售提供可行性决策。 首先我们将大数据集上传到Hadoop中

    2024年01月22日
    浏览(98)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包