Big Data Tools插件(详细讲解安装,连接,包教包会!!!)

这篇具有很好参考价值的文章主要介绍了Big Data Tools插件(详细讲解安装,连接,包教包会!!!)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

🐮博主syst1m 带你 acquire knowledge!

✨博客首页——syst1m的博客💘

😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈

😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕

🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样的官方大型专栏,python面向对象必学之一!🐽

🎉希望本文能够给读者带来帮助,更好地理解这个问题或解决你的困惑🐾

前言

​ 最近有很多朋友都开始转行大数据竞赛了,大部分都是刚刚入门之类的,我自己是有一些基础的,玩过一段时间,最近很多好友学弟,都问过一个问题就是有没有什么类似于远程控制,或者图形化控制HDFS的插件或者软件啥的,我就想起来有一个插件叫Big Data Tools,之前我学的时候几乎一直都是使用这个插件,巨巨巨好用,就想到出一片文章来为大家讲解一下这个工具,让大家又减少弯路,那就废话不多说了,接下来就是正文了

正文

简介

​ 在Jetbrains的产品软件中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:

IntelliJ IDEA(Java IDE),PyCharm (python IDE),DataGrip (SQL IDE)均可支持Bigdata Tool插件的安装

安装

​ 以下我使用的是pycharm(应该也是大家拥有率最高的),重点!!!必须要使用专业版,社区版没有这个插件,打开pycharm的设置settings,然后找到plugins,搜索Big Data Tools

jetbrains big data tools,大数据,大数据

点击install安装该插件

配置windows

​ 这个插件使用需要对windows系统做一些配置,才能更好的配合插件使用,解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4,设置KaTeX parse error: Undefined control sequence: \hadoop at position 21: …P_HOME环境变量指向:E:\̲h̲a̲d̲o̲o̲p̲-3.1.4,将hadoop.…HADOOP_HOME/bin中

jetbrains big data tools,大数据,大数据

环境变量配置好后,需要重启电脑

配置插件

​ 打开IDE,打开插件Big Data Tools

jetbrains big data tools,大数据,大数据

输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的✔,就说明能连接,点击ok连接

jetbrains big data tools,大数据,大数据

还有一种方法就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹

jetbrains big data tools,大数据,大数据

因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的,所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来

jetbrains big data tools,大数据,大数据

放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去

jetbrains big data tools,大数据,大数据

再进行连接

jetbrains big data tools,大数据,大数据

完事

总结

​ 在HDFS中结合插件Big Data Tools的使用,对于我们管理HDFS也是变的非常方便了,对于初学者也是非常的友好,能更好的理解文章来源地址https://www.toymoban.com/news/detail-774633.html

到了这里,关于Big Data Tools插件(详细讲解安装,连接,包教包会!!!)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • INT303 Big Data 个人笔记

    又来到了经典半个月写一个学期内容的环节 目前更新至Lec{14}/Lec14 依旧是不涉及代码,代码请看学校的jupyter notebook~ 介绍课程 Topic Range Topic 1: Introduction to Big Data Analytics Lec1~Lec3 Topic2: Big data collection and visualization Lec4~Lec5 Topic3: Systems and software Lec6 Topic 4: Data processing methods and a

    2024年02月03日
    浏览(69)
  • 新手小白必看——基于STM32+ESP8266模块连接阿里云平台读取传感器数据(从0到1,包教包会)

    目录 前言             本次我们学习一下STM32F103驱动ESP8266去连接阿里云的实操过程,在次过程中我会详细讲解开发过程中遇到的问题以及面对问题的解决,希望大家在这篇博客里面也有所收获。 一、ESP8266WIFI模块的固件库刷新(MQTT) 1.固件库刷新 1.1 固件库烧录下载 1.2 固

    2024年04月26日
    浏览(43)
  • Learning Spark: LightningFast Big Data Analysis

    作者:禅与计算机程序设计艺术 Spark是一种开源快速通用大数据分析框架。它能够在超高速的数据处理能力下,轻松完成海量数据处理任务。相比于其他大数据处理系统(如Hadoop)来说,Spark具有如下优点: 更快的速度:Spark可以更快地处理超高速的数据,特别是在内存计算时,

    2024年02月08日
    浏览(57)
  • Databases and Big Data Technologies: Essential Knowledg

    作者:禅与计算机程序设计艺术 互联网正在改变着传统行业和新兴行业的结构,电子商务、社交网络、移动应用程序等新兴产业的迅速发展也催生了基于数据中心的数据库应用的需求,而这方面的知识技能是越来越重要。然而,除了数据库技术的基础知识和技术栈外,基于数

    2024年02月07日
    浏览(49)
  • VMware Tools安装详细过程

    有两个方法 第一种: 1.打开虚拟机VMware Workstation,启动Ubuntu系统,菜单栏 - 虚拟机 - 安装VMware Tools,不启动Ubuntu系统是无法点击“安装VMware Tools”选项的,如下图: 2、如果弹出如下框,点击是即可:   3、此时,会发现虚拟机设备下多了VMware Tools这一项,点击它,其里面有

    2024年02月10日
    浏览(39)
  • Establishing a RealTime Big Data Platform for Transport

    作者:禅与计算机程序设计艺术 Apache Kafka是一个开源的分布式流处理平台,它最初由LinkedIn公司开发,用于实时数据管道及流动计算,随着时间的推移,Kafka已成为最流行的开源消息代理之一。同时,它还是一个快速、可靠的分布式存储系统,它可以作为消息队列来用。Mong

    2024年02月07日
    浏览(57)
  • How AI is changing Big Data and Business

    作者:禅与计算机程序设计艺术 随着人工智能的不断进步、计算机算力的不断提高,以及基于云计算平台的大数据产生的越来越多的数据,人工智能已成为经济界和产业界的一股重要力量。而人工智能究竟能给企业带来哪些新的机遇和变化,如何运用人工智能为企业提供更好

    2024年02月08日
    浏览(40)
  • Building a big data platform system, architecture desig

    作者:禅与计算机程序设计艺术 Apache Hadoop是一个开源的分布式计算平台,它可以运行在廉价的商用硬件上,并提供可扩展性和高容错性。作为Hadoop框架的一部分,MapReduce是一种编程模型和执行引擎,用于对大数据集进行并行处理。但是,由于其复杂性和庞大的体系结构,开

    2024年02月05日
    浏览(62)
  • Apache Hadoop: Building a Big Data Distributed Environm

    作者:禅与计算机程序设计艺术 Apache Hadoop (以下简称HDFS)是一个开源的分布式文件系统,用来存储大量的数据集并进行计算处理。它可以处理超大数据集、实时数据分析、日志聚类等应用场景。HDFS被广泛应用于企业数据仓库、电子商务网站、搜索引擎、Hadoop生态系统中的大多

    2024年02月06日
    浏览(50)
  • Python Packages for Big Data Analysis and Visualization

    作者:禅与计算机程序设计艺术 Python第三方库主要分为两类:数据处理、可视化。下面是用于大数据分析与可视化的常用的Python第三方库列表(按推荐顺序排序): NumPy: NumPy 是用 Python 编写的一个科学计算库,其功能强大且全面,尤其适用于对大型多维数组和矩阵进行快速

    2024年02月07日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包