学习Spark遇到的问题

10月前作者：黄黄黄黄黄莹分类：Toy博客阅读(25) 违法举报

这篇具有很好参考价值的文章主要介绍了学习Spark遇到的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.【报错】AttributeError: ‘SparkContext’ object has no attribute ‘setcheckpointDir’

本人传参：

    conf = SparkConf().setAppName("test").setMaster("local[*]")
    sc = SparkContext(conf=conf)
    # 1.告知spark，开启CheckPoint功能
    sc.setcheckpointDir("hdfs://node1:8020/output/ckp")

分析：SparkContext找不到setcheckpointDir方法，参数传参错误
解决：将setcheckpointDir改成setCheckpointDir，其中c字母大写。是因为两个方法的传参不同导致

updateTime：2024-01-23文章来源地址https://www.toymoban.com/news/detail-821795.html

到了这里，关于学习Spark遇到的问题的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【Spark】Spark运行时产生的临时目录的问题

今日发现下游用户spark 任务在我们的大数据集群上的 client 节点 /tmp 目录下产生了60G大量的临时文件。触发监控告警。 Spark 默认使用 /tmp/spark* 作为临时目录以存储一些临时数据, 如果该默认路径所在的磁盘满了, 会出现报错方法一（推荐）：在 spark-submit 命令行加入如下配置

2024年02月06日
浏览(51)
Spark学习（6）-Spark SQL

SparkSQL是Spark的一个模块, 用于处理海量结构化数据。 SparkSQL是非常成熟的海量结构化数据处理框架. 学习SparkSQL主要在2个点: SparkSQL本身十分优秀, 支持SQL语言性能强可以自动优化API简单兼容HIVE等等。企业大面积在使用SparkSQL处理业务数据。离线开发数仓搭建科学计算

2024年02月16日
浏览(70)
[机器学习、Spark]Spark MLlib分类

👨‍🎓👨‍🎓博主：发量不足 📑📑本期更新内容： Spark MLlib分类 🔥🔥 📑📑下篇文章预告：Hadoop全分布部署🔥🔥🔥 简介：耐心，自信来源于你强大的思想和知识基础！！目录一、线性支持向量机二、逻辑回归 MLB支持多种分类分新方法。如一元分类、多元分

2024年02月02日
浏览(43)
Spark学习(二)---Spark运行架构和核心概念

1.Spark运行架构 Spark框架的核心是一个计算引擎，它采用了master-slave的结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。 1.1 核心组件由此可以得出，在Spark框架中有两个核心组件： 1.1.1 Driver Spark 驱动器

2024年02月13日
浏览(38)
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型

👨‍🎓👨‍🎓博主：发量不足 📑📑本期更新内容： Spark机器学习库MLlib的概述与数据类型 📑📑下篇文章预告：Spark MLlib基本统计 💨💨简介：分享的是一个当代疫情在校封校的大学生学习笔记目录 Spark机器学习库MLlib的概述一．MLib的简介二．Spark机器学习工作流程数

2023年04月09日
浏览(86)
[机器学习、Spark]Spark MLlib实现数据基本统计

👨‍🎓👨‍🎓博主：发量不足 📑📑本期更新内容： Spark MLlib基本统计 📑📑下篇文章预告：Spark MLlib的分类🔥🔥 简介：耐心，自信来源于你强大的思想和知识基础！！目录 Spark MLlib基本统计一．摘要统计二．相关统计三．分层抽样 MLlib提供了很多统计方法，包含

2024年02月02日
浏览(48)
Spark编程实验六：Spark机器学习库MLlib编程

目录一、目的与要求二、实验内容三、实验步骤 1、数据导入 2、进行主成分分析（PCA） 3、训练分类模型并预测居民收入 4、超参数调优四、结果分析与实验体会 1、通过实验掌握基本的MLLib编程方法； 2、掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析

2024年02月20日
浏览(42)
手把手带你玩转Spark机器学习-深度学习在Spark上的应用

手把手带你玩转Spark机器学习-专栏介绍手把手带你玩转Spark机器学习-问题汇总手把手带你玩转Spark机器学习-Spark的安装及使用手把手带你玩转Spark机器学习-使用Spark进行数据处理和数据转换手把手带你玩转Spark机器学习-使用Spark构建分类模型手把手带你玩转Spark机器学习-使

2023年04月08日
浏览(50)
Spark优化和问题

在配置SparkSQL任务时指定executor核心数建议为4 (同一 executor [进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两个任务, executor总量少的任务不容易OOM,因为单核心最大可用内存大.但是并非越大越好,因为单个exector最大core受服务器剩余core数量限制, 过大的core 数量可能

2024年01月21日
浏览(32)
spark集群问题汇总

问题描述可能原因解决措施 core节点磁盘不足, 并且持续增加未开启spark-history的日志清理打开日志清理: spark.history.fs.cleaner.enabled task节点磁盘不足 APP应用使用磁盘过大: 1. 严重的数据倾斜 2. 应用本身数据量大 1. 解决数据倾斜 2. 加大资源, 增加excutor的数量, 分散压力 his

2024年02月09日
浏览(22)