hadoop常用的启动命令

这篇具有很好参考价值的文章主要介绍了hadoop常用的启动命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本人三台节点:hadoop01,hadoop02,hadoop03(部署hive,mysql)

默认jdk,zookeeper,hadoop,hbase,kafka,flume,hue,spark已经安装

#一.zookeeper启动  (QuorumPeerMain)

1.启动zookeeper
      启动:bin/zkServer.sh start   (单台节点启动命令)
      关闭:bin/zkServer.sh stop    (单台节点关闭命令)
      查看:bin/zkServer.sh status  (单台节点查看命令)
2.启动zookeeper中shell的操作(启动zookeeper服务)
      启动: bin/zkCli.sh
      关闭:  quit


#二.hadoop启动
  

 1.进入hadoop>sbin(这是用管理员的命令,里面存放在都是脚本)
          启动脚本命令:  ./start-all.sh  hdfs和yarn都会启动 (此时会hadoop01会启动8个,但是haddoop02没有启动ResourceManager这不是bug漏洞)
        接着启动hadoop02的ResourceManager:      命令 yarn-daemon.sh start resourcemanager (start)
                                                      yarn-daemon.sh stop resourcemanager   (stop)

        启动单个节点的namenode命令:sbin/hadoop-daemon.sh start namenode
    
2.启动hdfs (JournalNode,NameNode, DataNode, DFSZKFailoverController)          (web访问  hadoop01:50070)
        启动:sbin/start-dfs.sh
        关闭:sbin/stop-dfs.sh

3.启动yarn  (ResourceManager,NodeManager)                (web访问  Hadoop01:8088)
        启动:sbin/start-yarn.sh
        关闭:sbin/stop-yarn.sh
        


#三.hbase启动 (HMaster HRegionServer) (仅依赖hdfs,hdfsHA依赖zookeeper   首先启动zookeeper,然后在启动sbin/start-dfs.sh)     
    (必须时间同步,不然hbase进程很容易挂掉)
  

  启动:bin/start-hbase.sh       (注意时间同步)                                  (web访问  hadoop01:60010)
    关闭:bin/stop-hbase.sh
    进入:  hbase shell
    退出:     exit

#四.kafka启动 (kafka依赖zookeeper可以实现对kafka集群的管理) (每台kafka服务器都要启动)       
  

 启动:bin/kafka-server-start.sh config/server.properties &   (加上&就是后台启动)
    关闭:kill -9 进程号 或 ctrl+c
    新api使用
    消费者启动:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
    生产者启动:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
        再打开一个消费者如果从头开始消费:
        bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test (--from-beginning)
    查看topic列表
        bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list
        


#五.flume启动
  

 启动:bin/flume-ng agent -n agent -c conf -f conf/flume-conf2.properties  -Dflume.root.logger=INFO,console  (hadoop01)
          bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop02)
          bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop03)

    关闭:kill -9 进程号 或 ctrl+c

#六.hive启动 (启动之前要开启mysql服务,依赖zookeeper,hadoop中HDFS Yarn)

    启动mysql服务 (hadoop03中root用户启动mysql服务)  查看:service mysqld status 
                                                       启动:service mysqld start   
                                                       关闭:service mysqld stop 
    问题:linux下mysql中文乱码?  
            永久解决:1.:首先用命令进入到vim /etc/my.cnf,(可能有的没有这个文件打开是空的,可以直接添加下面的语句
                        如果root用户/etc/my.cnf有这个文件的话那就修改下面的这些语句:
                            [client]
                            default-character-set=utf8
                            [mysql]
                            default-character-set=utf8
                            [mysqld]
                            init_connect='SET collation_connection = utf8_unicode_ci'
                            init_connect='SET NAMES utf8'
                            character-set-server=utf8
                            collation-server=utf8_unicode_ci
                            skip-character-set-client-handshake
                      2.重启mysql服务:service mysql restart
                      3.:进入mysql    用命令查看一下几个地方是不是变成了utf8,命令是:show variables like "%char%";
            
    hadoop03节点启动mysql
        启动:mysql -u hive -h hadoop03 -p    (密码是hive)
        退出:exit; 或者 ctrl+c
    说明:启动hive 
    启动:bin/hive
    关闭  exit; 或者 ctrl+c
    Hive Web 界面的启动命令:bin/hive --service hwi   (必须先启动hive,进入hive界面)
    通过浏览器访问 Hive,默认端口为 9999。  (http://hadoop03:9999/hwi/)

#七.hue启动    (访问地址:hadoop03:8888 )   
  

 启动命令:/home/hadoop/app/hue-3.9.0-cdh5.10.0/build/env/bin/supervisor
      
   

#八,spark启动
    文章来源地址https://www.toymoban.com/news/detail-540973.html

启动:    在主节点执行以下命令
            sbin/start-all.sh
            再选择一个节点作为master启动,执行命令如下
            sbin/start-master.sh
            sbin/stop-master.sh
    查看主节点web界面
        http://hadoop01:8888/

到了这里,关于hadoop常用的启动命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop常用的启动命令

    本人三台节点:hadoop01,hadoop02,hadoop03(部署hive,mysql) 默认jdk,zookeeper,hadoop,hbase,kafka,flume,hue,spark已经安装 #一.zookeeper启动  (QuorumPeerMain) #二.hadoop启动    #三.hbase启动 (HMaster HRegionServer) (仅依赖hdfs,hdfsHA依赖zookeeper   首先启动zookeeper,然后在启动sbin/start-dfs.s

    2024年02月13日
    浏览(42)
  • Hadoop大数据技术-通过shell命令访问HDFS

    HDFS shell大致可以分为操作命令、管理命令、其他命令三类。 注意:当命令以“$”开头时,当前用户为普通用户;以“#”开头时,当前用户为root用户。 操作命令是以“ hdfs dfs ”开头的命令,用户可以通过执行这些命令,完成对文件的查找、上传、删除等操作。 [-p]:表示如

    2023年04月11日
    浏览(45)
  • 大数据技术之Hadoop:使用命令操作HDFS(四)

    目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八、HDFS数据删除操作 九、HDFS的其他命令 十、hdfs web查看目录 十一、HDFS客户端工具 11.1 下载插件 11.2 本地安装Had

    2024年02月09日
    浏览(47)
  • 【大数据】HDFS 的常用命令

    操作命令是以 hdfs dfs 开头的命令。通过这些命令,用户可以完成 HDFS 文件的 复制 、 删除 和 查找 等操作,Shell 命令的一般格式如下。 其中, hdfs 是 Hadoop 系统在 Linux 系统中的主命令; dfs 是子命令,表示执行文件系统操作;通用选项由 HDFS 文件操作命令和操作参数组成。

    2024年02月04日
    浏览(41)
  • 大数据技术分享 4.HDFS常用命令

    觉得有用点个赞呗~ 常用命令: bin/hadoop fs commod bin/hdfs dfs -help rm hadoop fs -ls / hadoop fs -mkdir -p /opt/module/software (1)-help:输出这个命令参数 bin/hdfs dfs -help rm (2)-ls: 显示目录信息 hadoop fs -ls / (3)-mkdir:在hdfs上创建目录 hadoop fs -mkdir -p /aaa/cc (4)-moveFromLocal从本地剪切粘贴到

    2024年02月16日
    浏览(45)
  • 大数据:HDFS的Shell常用命令操作

    HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。 Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执

    2023年04月09日
    浏览(51)
  • Hadoop -HDFS常用操作指令

    path 指定目录路径 -h 人性化显示文件size -R 递归查看指定目录及其子目录 -f 覆盖目标文件(已存在下) -p 保留访问和修改时间,所有权和权限。 localsrc 本地文件系统(客户端所在机器 ) dst 目标文件系统(HDFS) 下载文件到本地文件系统指定目录,localdst必须是目录 -f 覆盖目

    2024年02月10日
    浏览(44)
  • Hadoop Hdfs基本命令

    1.hadoop 安装问题处理 2.hdfs 基本命令 3. 上传/下载文件和文件夹 1.hadoop安装问题处理 如果安装有进程无法启动,如下图 重新检查6个配置文件 Core-site.xml hdfs-site.xml hadoop-env.sh yarn-site.xml workers yarn-site.xml 来到hadoop313目录 清空data和yarndata 重新初始化 测试 2.hadoop hdfs基本命

    2024年02月11日
    浏览(43)
  • Hadoop集群启动后利用Web界面管理HDFS

           Hadoop集群启动后,可以通过自带的浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址, hadoop版本为3.0以前访问端口默认为9870 , hadoop版本为3.0以后访问端口默认为50070 。( 下面测试版本为Hadoop3.0以后的 ) 一、利用ifconfig命令查看NameNode所在服

    2024年02月11日
    浏览(51)
  • hadoop命令行查看hdfs容量剩余

    #需要有superuser权限才能执行 hadoop dfsadmin -report #Remaining是剩余的容量 也可以通过浏览器访问50070端口查看

    2024年02月15日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包