【大数据实验一 】熟悉常用的Linux操作和Hadoop操作

这篇具有很好参考价值的文章主要介绍了【大数据实验一 】熟悉常用的Linux操作和Hadoop操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大数据实验一 熟悉常用的Linux操作和Hadoop操作

1.实验目的
Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。

2.实验平台
(1)操作系统:Linux(Ubuntu18.04);
(2)Hadoop版本:3.1.3。

3.实验步骤

1.熟悉常用的Linux操作
1)cd命令:切换目录
(1)切换到目录“/usr/local”
(2)切换到当前目录的上一级目录
(3)切换到当前登录Linux系统的用户的自己的主文件夹
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

2)ls命令:查看文件与目录
查看目录“/usr”下的所有文件和目录
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

3)mkdir命令:新建目录
(1)进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录
(2)进入“/tmp”目录,创建目录“a1/a2/a3/a4”
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

4)rmdir命令:删除空的目录
(1)将上面创建的目录a(在“/tmp”目录下面)删除
(2)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

5)cp命令:复制文件或目录
(1)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1
(2)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

6)mv命令:移动文件与目录,或更名
(1)将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
(2)将“/usr”目录下的test目录重命名为test2
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

7)rm命令:移除文件或目录
(1)将“/usr/test2”目录下的bashrc1文件删除
(2)将“/usr”目录下的test2目录删除
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

8)cat命令:查看文件内容
查看当前用户主文件夹下的.bashrc文件内容
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

9)tac命令:反向查看文件内容
反向查看当前用户主文件夹下的.bashrc文件的内容
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

10)more命令:一页一页翻动查看
翻页查看当前用户主文件夹下的.bashrc文件的内容
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

11)head命令:取出前面几行
(1)查看当前用户主文件夹下.bashrc文件内容前20行
(2)查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

12)tail命令:取出后面几行
(1)查看当前用户主文件夹下.bashrc文件内容最后20行
(2)查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

13)touch命令:修改文件时间或创建新文件
(1)在“/tmp”目录下创建一个空文件hello,并查看文件时间
(2)修改hello文件,将文件时间整为5天前
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

14)chown命令:修改文件所有者权限
将hello文件所有者改为root帐号,并查看属性
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

15)find命令:文件查找
找出主文件夹下文件名为.bashrc的文件
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

16)tar命令:压缩命令
(1)在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz
(2)把上面的test.tar.gz压缩包,解压缩到“/tmp”目录
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

17)grep命令:查找字符串
从“~/.bashrc”文件中查找字符串’examples’
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

18)配置环境变量
(1)请在“~/.bashrc”中设置,配置Java环境变量
(2)查看JAVA_HOME变量的值
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

2.熟悉常用的Hadoop操作
(1)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

出现问题。
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

按照以上命令行解决问题。
(2)接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

(3) 将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

(4)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据

4.实验出现的问题与解决
出现的问题:使用hadoop用户登录Linux系统,启动Hadoop时出现拒绝连接。
解决方案(列出遇到的问题和解决办法,列出没有解决的问题):重启jsp。
熟悉常用的linux操作和hadoop操作,软件工程本科实验,Linux操作系统,linux,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-717485.html

到了这里,关于【大数据实验一 】熟悉常用的Linux操作和Hadoop操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop 使用Linux操作系统与Java熟悉常用的HDFS操作

    注意看评论区获取完整代码资料 目录 一、实验目的 二、实验平台 三、实验步骤 理解HDFS在Hadoop体系结构中的角色; 熟练使用HDFS操作常用的Shell命令; 熟悉HDFS操作常用的Java API。 操作系统:Linux(建议Ubuntu16.04); Hadoop版本:2.7.1; JDK版本:1.8或以上版本; Java IDE:Eclipse。

    2024年02月03日
    浏览(42)
  • 【大数据实训】—Hadoop开发环境搭建(一)

    本关任务:配置JavaJDK。 相关知识 配置开发环境是我们学习一门IT技术的第一步,Hadoop是基于Java开发的,所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。 下载JDK 前往Oracle的官网下载JDK:点我前往Oracle的官网下载JDK 我们可以先下载到本地,然后从Windows中将文件传

    2024年02月06日
    浏览(39)
  • 【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)

    博主介绍 : ✌ 全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战 ✌ 🍅 文末获取项目联系 🍅 2019—2020 学年第二学期《分布式系统原理与技术》期末大作业评分表 评价内容

    2024年02月06日
    浏览(38)
  • 云计算与大数据实验三 HDFS的基本操作

    一、实验目的 理解 HDFS 架构和工作原理 掌握 HDFS 部署环境和步骤 掌握 HDFS( 集群的启动 start-dfs.sh) 启动 使用 Hadoop 命令 ( 文件的增 / 删 / 改 / 查 / 上传 / 下载 ) 来操作分布式文件系统 二、实验内容 HDFS 伪分布式环境搭建 HDFS( 集群的启动 start-dfs.sh) 启动 练习 Hadoop 命令 ( 文件

    2024年02月04日
    浏览(26)
  • 云计算与大数据实验七 HBase的安装与基本操作

    一、实验目的 回顾 Hadoop 和 Zookeeper安装与配置 掌握 HBase 安装与配置 理解HBase工作原理 掌握HBase表的基本操作 二、实验内容 HBase 安装与配置 使用 HBase shell 指令创建表 使用 HBase shell 命令添加/删除数据 使用命令删除表 三、实验步骤 (一)HBase 安装与配置 HBase安装 HBase 的安

    2024年02月03日
    浏览(32)
  • 大数据实验 实验四:NoSQL 和关系数据库的操作比较

    理解四种数据库(MySQL、HBase、Redis 和 MongoDB)的概念以及不同点; 熟练使用四种数据库操作常用的 Shell 命令; 熟悉四种数据库操作常用的 Java API。 操作系统:centos7 Hadoop 版本:3.3; MySQL 版本:8.0.22; HBase 版本:2.4.11; Redis 版本:5.0.5; MongoDB 版本:5.0; JDK 版本:1.8; Java

    2024年04月16日
    浏览(29)
  • 简历上写熟悉Linux下常用命令?直接寄

                     大家写简历技术栈时,都觉得越多越好,其中一条,熟悉Linux下常用命令?其实开发中Linux不是必备考点,除了运维,真正用的多的仅仅cd ls mkdir等,但当面试官问到上面命令时,是不是就傻眼了。         面试中最忌讳的就是简历上写了,但答不出来

    2024年04月15日
    浏览(26)
  • 大数据实训

    1、Hadoop集群框架搭建(学过,但是没有现成的) 2、python(机器学习) 3、Spark(没有) 4、Flume(没有) 5、Sqoop(没有接触) 6、编程语言: SpringBoot(有)+echarts(数据可视化框架) 1.1 百度百科:大数据,短期无法运用常规一些手段去及时处理海量数据,需要使用新型的技术

    2024年02月02日
    浏览(33)
  • 泰迪大数据实训平台产品介绍

          大数据产品包括: 大数据实训管理平台、大数据开发实训平台、大数据编程实训平台 等      大数据实训管理平台      泰迪大数据实训平台从课程管理、资源管理、实训管理等方面出发,主要解决现有实验室无法满足教学需求、传统教学流程和工具低效耗时和内部

    2024年02月11日
    浏览(29)
  • 大数据实验三-HBase编程实践

    目录 一.实验内容 二.实验目的 三.实验过程截图及说明 1、安装HBase 2、配置伪分布式模式: 3、使用hbase的shell命令来操作表: 4、使用hbase提供的javaAPI来编程实现类似操作: 5、实验总结及心得体会 6、完整报告在文章开头,挂载。 HBase编程实践: 1)在Hadoop基础上安装H

    2024年04月12日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包