hadoop spark jupyterbook 打开过程

这篇具有很好参考价值的文章主要介绍了hadoop spark jupyterbook 打开过程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

[root@Host1 ~]# /Hadoop/hadoop-3.3.6/sbin/start-dfs.sh
Starting namenodes on [Host1]
Starting datanodes
Starting secondary namenodes [Host1]
[root@Host1 ~]# jps
2288 NameNode
2917 Jps
2760 SecondaryNameNode
[root@Host1 ~]# /Spark/spark-3.5.1-bin-hadoop3/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /Spark/spark-3.5.1-bin-hadoop3/logs/spark-root-org.apache.spark.deploy.master.Master-1-Host1.out
Host2: starting org.apache.spark.deploy.worker.Worker, logging to /Spark/spark-3.5.1-bin-hadoop3/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Host2.out
Host1: starting org.apache.spark.deploy.worker.Worker, logging to /Spark/spark-3.5.1-bin-hadoop3/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Host1.out
[root@Host1 ~]# jps
2288 NameNode
3040 Worker
3090 Jps
2760 SecondaryNameNode
2954 Master
[root@Host1 ~]# jupyter lab
[I 2024-03-09 19:55:55.155 ServerApp] jupyter_lsp | extension was successfully linked.
[I 2024-03-09 19:55:55.161 ServerApp] jupyter_server_terminals | extension was successfully linked.
[I 2024-03-09 19:55:55.169 ServerApp] jupyterlab | extension was successfully linked.
[I 2024-03-09 19:55:55.169 ServerApp] jupyterlab_code_formatter | extension was successfully linked.
[W 2024-03-09 19:55:55.178 ServerApp] notebook_dir is deprecated, use root_dir
[W 2024-03-09 19:55:55.179 ServerApp] ServerApp.password config is deprecated in 2.0. Use PasswordIdentityProvider.hashed_password.
[I 2024-03-09 19:55:55.180 ServerApp] notebook | extension was successfully linked.
[I 2024-03-09 19:55:55.948 ServerApp] notebook_shim | extension was successfully linked.
[I 2024-03-09 19:55:56.011 ServerApp] notebook_shim | extension was successfully loaded.
[I 2024-03-09 19:55:56.017 ServerApp] jupyter_lsp | extension was successfully loaded.
[I 2024-03-09 19:55:56.025 ServerApp] jupyter_server_terminals | extension was successfully loaded.
[I 2024-03-09 19:55:56.035 LabApp] JupyterLab extension loaded from /usr/local/lib/python3.9/site-packages/jupyterlab
[I 2024-03-09 19:55:56.035 LabApp] JupyterLab application directory is /usr/local/share/jupyter/lab
[I 2024-03-09 19:55:56.037 LabApp] Extension Manager is 'pypi'.
[I 2024-03-09 19:55:56.087 ServerApp] jupyterlab | extension was successfully loaded.
[I 2024-03-09 19:55:56.088 ServerApp] Registered jupyterlab_code_formatter server extension
[I 2024-03-09 19:55:56.088 ServerApp] jupyterlab_code_formatter | extension was successfully loaded.
[I 2024-03-09 19:55:56.093 ServerApp] notebook | extension was successfully loaded.
[I 2024-03-09 19:55:56.094 ServerApp] Serving notebooks from local directory: /Spark/source
[I 2024-03-09 19:55:56.094 ServerApp] Jupyter Server 2.12.5 is running at:
[I 2024-03-09 19:55:56.094 ServerApp] http://Host1:8888/lab
[I 2024-03-09 19:55:56.094 ServerApp]     http://127.0.0.1:8888/lab
[I 2024-03-09 19:55:56.094 ServerApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[I 2024-03-09 19:55:56.138 ServerApp] Skipped non-installed server(s): bash-language-server, dockerfile-language-server-nodejs, javascript-typescript-langserver, jedi-language-server, julia-language-server, pyright, python-language-server, python-lsp-server, r-languageserver, sql-language-server, texlab, typescript-language-server, unified-language-server, vscode-css-languageserver-bin, vscode-html-languageserver-bin, vscode-json-languageserver-bin, yaml-language-server
[I 2024-03-09 19:56:02.133 ServerApp] 302 GET / (@192.168.245.1) 1.87ms
[I 2024-03-09 19:56:02.137 LabApp] 302 GET /lab? (@192.168.245.1) 1.80ms
[I 2024-03-09 19:56:07.142 ServerApp] User 4d73778b7af049319d3ccab2bdf83f43 logged in.
[I 2024-03-09 19:56:07.144 ServerApp] 302 POST /login?next=%2Flab%3F (4d73778b7af049319d3ccab2bdf83f43@192.168.245.1) 225.05ms
[W 2024-03-09 19:56:08.311 LabApp] Could not determine jupyterlab build status without nodejs
^C[I 2024-03-09 20:04:19.425 ServerApp] interrupted
[I 2024-03-09 20:04:19.426 ServerApp] Serving notebooks from local directory: /Spark/source
    0 active kernels
    Jupyter Server 2.12.5 is running at:
    http://Host1:8888/lab
        http://127.0.0.1:8888/lab

  1. 连接Spark集群的master主机,在Spark安装目录下,运行命令(注意目录的相对位置要正确):

/Spark/spark-3.5.1-bin-hadoop3/bin/pyspark --master spark://Host1:7077


 文章来源地址https://www.toymoban.com/news/detail-839396.html

到了这里,关于hadoop spark jupyterbook 打开过程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop与Spark:大数据处理框架的比较与选择

    Hadoop与Spark:大数据处理框架的比较与选择 在大数据的时代背景下,数据处理和分析的需求日益增长。为了满足这些需求,开发者们创造了许多大数据处理框架,其中最为人们熟知的可能就是Hadoop和Spark了。这两者各有其优势,选择哪一个取决于你的具体需求。下面我们将对

    2024年01月25日
    浏览(41)
  • 大数据实战(hadoop+spark+python):淘宝电商数据分析

    虚拟机:Ubuntu 20.04.6 LTS docker容器 hadoop-3.3.4 spark-3.3.2-bin-hadoop3 python,pyspark, pandas,matplotlib mysql,mysql-connector-j-8.0.32.jar(下载不需要积分什么的) 淘宝用户数据 以上的技术积累需要自行完成 创建容器(##ubuntu的代码块,在ubuntu中运行,无特殊说明的在docker中运行) 更新软件

    2024年02月11日
    浏览(66)
  • 大数据:Hadoop基础常识hive,hbase,MapReduce,Spark

    Hadoop是根据Google三大论文为基础研发的,Google 三大论文分别是: MapReduce、 GFS和BigTable。 Hadoop的核心是两个部分: 一、分布式存储(HDFS,Hadoop Distributed File System)。 二、分布式计算(MapReduce)。 MapReduce MapReduce是“ 任务的分解与结果的汇总”。 Map把数据切分——分布式存放

    2024年04月25日
    浏览(54)
  • 利用Hadoop处理离线数据:Hive和Spark离线数据处理实现

    作者:禅与计算机程序设计艺术 引言 随着大数据时代的到来,越来越多的数据产生于各种业务系统。这些数据往往需要在离线环境中进行处理,以降低数据处理的时间和成本。Hadoop作为目前最为流行的分布式计算框架,提供了强大的离线数据处理能力。Hive和Spark作为Hadoop生

    2024年02月11日
    浏览(41)
  • Python与大数据:Hadoop、Spark和Pyspark的应用和数据处理技巧

      在当今的数字时代,数据成为了无处不在的关键资源。大数据的崛起为企业提供了无限的机遇,同时也带来了前所未有的挑战。为了有效地处理和分析大规模数据集,必须依靠强大的工具和技术。在本文中,我们将探讨Python在大数据领域的应用,重点介绍Hadoop、Spark和Pysp

    2024年02月16日
    浏览(43)
  • 大数据毕业设计选题推荐-收视点播数据分析-Hadoop-Spark-Hive

    ✨ 作者主页 :IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐 ⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序项目

    2024年02月05日
    浏览(50)
  • 大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别

    Hadoop是一个开源的分布式计算框架,用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统(HDFS)和一个分布式计算框架(MapReduce),可以在大量廉价硬件上进行并行计算。 HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统。它被设计用于在集群中存储

    2024年02月16日
    浏览(55)
  • 数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析

    案例数据集是在线零售业务的交易数据,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并使用Echarts做数据可视化。由于案例公司商业模式类似新零售,或者说有向此方向发展利好的趋势,所以本次基于利于公司经营与发展的方向进行数据分析。

    2024年02月11日
    浏览(42)
  • 大数据毕业设计选题推荐-热门旅游景点数据分析-Hadoop-Spark-Hive

    ✨ 作者主页 :IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐 ⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序项目

    2024年02月05日
    浏览(56)
  • 大数据毕业设计选题推荐-旅游景点游客数据分析-Hadoop-Spark-Hive

    ✨ 作者主页 :IT毕设梦工厂✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐 ⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序

    2024年02月05日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包