Spark心得体会

这篇具有很好参考价值的文章主要介绍了Spark心得体会。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 Spark学期心得总结   

        学习了spark之后我才知道Hadoop和spark还有着这种缘分:Hadoop 是由Java语言编写的,部署在分布式服务器集群上,用于存储海量数据并运行分布式分析应用的开源框架;其重要组件有,HDFS 分布式文件系统、MapReduce 编程模型、Hbase 基于HDFS的分布式数据库:擅长实时随机读/写超大规模数据集。

        由于上半学期的松懈,对于Hadoop的知识掌握的不是很好,所以在下半学期一边学习Spark一边学习Hadoop,对于他们的掌握有了显著的提升。我知道了Spark重要的内置模块:Spark Core:包括了内存计算、任务调度、部署模式、故障恢复、存储管理等;Spark SQL:统一处理关系和RDD,使用SQL命令进行数据分析;Spark Streaming:将流式计算分解为一系列的短小的批处理作业,支持多种数据源。

        要学习好spark,scala语言的学习至关重要,在Spark诞生之初,就有人诟病为什么AMP实验室选了一个如此小众的语言——Scala,很多人还将原因归结为学院派的高冷,但后来事实证明,选择Scala是非常正确的,Scala很多特性与Spark本身理念非常契合,可以说它们是天生一对。Scala背后所代表的函数式编程思想也越来越为人所知。函数式编程思想早在50多年前就被提出,但当时的硬件性能太弱,并不能发挥出这种思想的优势,scala语言是一门非常简洁的语言,但是这种简洁也给我带来很多苦恼,我时常不能分辨这些参数对应着谁,每每看到已经是脑袋空白啦!!!

        学习Spark需要将基础和实践结合起来,很多的基础知识在Hadoop中基础知识之上进行学习,只有去体验实际操作才能体会到区别。整个Spark讲的知识点不是很多,但是关键在于去理解,每个模块如何去工作、怎么去使用。

        从Spark的上手到最后的项目,整个过程我一路磕磕绊绊的时常遇到一些奇怪的问题,但是好在本人寻找bug的能力还不错,都一一得到了解决,后半期学习结束了,但我还需要继续花时间去学习,尤其是Hadoop的知识点,结合两者的实际应用去体会不同。目前做的项目中还是用的Hadoop为主,Spark还是初期新项目中使用,因此两个都需要学好。

         从大数据课程学习下来,体会到在平时的学习中需要经常记下错误和进度,时间长了容易忘记。需要能养成一个好的习惯,每天学的东西无论多少都学下来,最后项目结束再回头看,就会很容易解决当时的困难。接下来的时间,要继续学习好Hadoop和Spark,已经以后进行扩展其他的相关技术,愿你我走得更远!!!文章来源地址https://www.toymoban.com/news/detail-510445.html

到了这里,关于Spark心得体会的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • STM32-个人心得体会

    目录 什么是STM32? 该怎么学STM32? 个人实践案例 总结         1.概述         在准备学习STM32之前,得知道什么是STM32,大家翻阅资料都知道STM32是意法半导体(STMicroelectronics)公司推出的一系列32位基于ARM Cortex-M内核的微控制器。它具有低功耗、高性能和丰富的外设资源

    2024年02月04日
    浏览(30)
  • 近期参与开源的心得体会

    最近随着Kepler项目加入CNCF sandbox,写一篇blog来记录下参与这个项目半年的发展的心得体会。 项目的运营最好还是专注于项目自身的发展,围绕项目的特点,创新点入手,为大家提供价值,从而自然而然的扩大自身影响力。 我们的文档写的,并不好。这是Thoughtworks技术雷达对

    2024年02月11日
    浏览(78)
  • JAVA 实训报告心得体会

    一开始想做计算器那个课题,原因很简单,就是因为我感觉那个课题很简 单,在百度里一搜就搜到了一模一样的源程序。只是感觉没什么意思,那个界面也 不是很好看,又不好玩。所以就做了现在这个猜数游戏。一直想编个游戏程序,于 是就到网上去搜代码,一下子就搜到

    2024年02月13日
    浏览(28)
  • 实验心得,包括代码复现工作的体会

    实践是检验真理的唯一标准 resnet20,cifar100. Direct training: 和原论文一样的参数 64.45 time step 1, Accuracy = 0.5918 time step 2, Accuracy = 0.6320 time step 4, Accuracy = 0.6446 time step 8, Accuracy = 0.6531 time step 16, Accuracy = 0.6608 time step 32, Accuracy = 0.6631 和原论文69.97相差比较大。 加了部分预处理,参数

    2024年02月14日
    浏览(30)
  • python课实训报告心得体会2000字

    大家好,小编来为大家解答以下问题,一个有趣的事情,一个有趣的事情,今天让我们一起来看看吧! 20192416 实验四 《Python程序设计》 综合实践报告 课程:《Python程序设计》 班级:1924 姓名:不愿透露姓名的はんたくさん 学号:20192416 实验教师:王志强老师 实验日期:

    2024年02月07日
    浏览(38)
  • 关于参加大学生挑战杯赛的心得体会

    CSDN话题挑战赛第1期 活动详情地址:https://marketing.csdn.net/p/bb5081d88a77db8d6ef45bb7b6ef3d7f 参赛话题:大学生竞赛指南 话题描述:本话题聚焦于大学生竞赛心得体会分享,对于计算机众多领域每年都有很多都会举办科技竞赛,很多学生也都会踊跃参与,每到竞赛结束,学生们都会收

    2024年02月06日
    浏览(28)
  • Labview实现程序控制(有一篇心得体会)

    这次博客,我将刚刚所学的知识进行总结。如有不足,欢迎交流。 使用移位寄存器或反馈节点计算0+5+10+…+50的值 用顺序结构实现两数相加,同时实现两数相加后再乘以2。 使用条件结构实现5个LED轮流亮灭。 设计一个VI程序,前面板如下。单击确定,计数加1;单击停止,程序

    2024年02月09日
    浏览(26)
  • 大数据Hadoop完全分布式及心得体会

    Hadoop是一个 分布式系统 基础技术框架,利用hadoop,开发用户可以在不了解分布式底层细节的情况下,开发分布式程序,从而达到充分利用集群的威力高速运算和存储的目的;而在本学期中,我们的专业老师带我们学习了Hadoop框架中最 核心 的设计: MapReduce 和 HDFS 。 MapReduc

    2024年02月08日
    浏览(36)
  • 华为云CodeArts产品体验的心得体会及想法

    华为云作为一家全球领先的云计算服务提供商,致力于为企业和个人用户提供高效、安全、可靠的云服务。在其众多产品中,CodeArts作为一款全新的开发工具集,为开发者提供了一种全新的编程体验,以其强大的功能和简洁的设计风格受到了广大开发者的喜爱。 本文将对华为

    2024年02月16日
    浏览(28)
  • 浅谈对python的心得与体会2000字

    本学期,我们学习了杨老师的《python语言程序设计》这门课程,其实早在大一期间,通过谭老师的《计算机科学导论》就对Python语言有了初步的了解,也是从那时候开始,我也是深深的体会到了python语言的魅力所在——语法精简、功能强大。 相对于其他编程语言,python有以下

    2024年02月04日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包