Hadoop集群/Zookeeper服务启动失败(Unable to write in /tmp等问题)----虚拟机内存问题导致

这篇具有很好参考价值的文章主要介绍了Hadoop集群/Zookeeper服务启动失败(Unable to write in /tmp等问题)----虚拟机内存问题导致。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、问题描述:1.输入命令start-all.sh正常启动集群时

出现以下图片报错:

hadoop1错误unable to write in tmp.aborting,hadoop,zookeeper,linux

2.或在正常启动zookeeper服务时zkServer.sh start后发现内存不足报错,导致zookeeper服务启动失败。

以上两个问题都是因为根目录内存不足所导致服务启动失败

二、问题查找分析:

查看分区状况

根目录在/dev/mapper/centos-root

hadoop1错误unable to write in tmp.aborting,hadoop,zookeeper,linux

发现根目录已用空间已达100%,没有空余空间,导致集群及zookeeper服务启动失败

三、问题解决

1.根据所需内存需求,使用虚拟机扩展磁盘,然后在系统内进行分区(注意在虚拟机具有快照的情况下不能进行扩展,要先将快照进行清除后才可继续扩展)

hadoop1错误unable to write in tmp.aborting,hadoop,zookeeper,linux

2.新建分区,并将id改为8e(以为将文件系统改为LVM)

[root@master ~]# fdisk /dev/sda
欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中,直到您决定将更改写入磁盘。
使用写入命令前请三思。


命令(输入 m 获取帮助):n(添加新的分区)
Partition type:
   p   primary (2 primary, 0 extended, 2 free)
   e   extended
Select (default p): p(查看分区信息)
分区号 (3,4,默认 3):
起始 扇区 (41943040-419430399,默认为 41943040):
将使用默认值 41943040
Last 扇区, +扇区 or +size{K,M,G} (41943040-419430399,默认为 419430399):
将使用默认值 419430399
分区 3 已设置为 Linux 类型,大小设为 10 GiB

命令(输入 m 获取帮助):p

磁盘 /dev/sda:214.7 GB, 214748364800 字节,419430400 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:dos
磁盘标识符:0x000b4e82

   设备 Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200    41943039    19921920   8e  Linux LVM
/dev/sda3        41943040   419430399   188743680   83  Linux

命令(输入 m 获取帮助):t(改变某个分区的类型)
分区号 (1-3,默认 3):
Hex 代码(输入 L 列出所有代码):l

 0  空              24  NEC DOS         81  Minix / 旧 Linu bf  Solaris        
 1  FAT12           27  隐藏的 NTFS Win 82  Linux 交换 / So c1  DRDOS/sec (FAT-
 2  XENIX root      39  Plan 9          83  Linux           c4  DRDOS/sec (FAT-
 3  XENIX usr       3c  PartitionMagic  84  OS/2 隐藏的 C:  c6  DRDOS/sec (FAT-
 4  FAT16 <32M      40  Venix 80286     85  Linux 扩展      c7  Syrinx         
 5  扩展            41  PPC PReP Boot   86  NTFS 卷集       da  非文件系统数据 
 6  FAT16           42  SFS             87  NTFS 卷集       db  CP/M / CTOS / .
 7  HPFS/NTFS/exFAT 4d  QNX4.x          88  Linux 纯文本    de  Dell 工具      
 8  AIX             4e  QNX4.x 第2部分  8e  Linux LVM       df  BootIt         
 9  AIX 可启动      4f  QNX4.x 第3部分  93  Amoeba          e1  DOS 访问       
 a  OS/2 启动管理器 50  OnTrack DM      94  Amoeba BBT      e3  DOS R/O        
 b  W95 FAT32       51  OnTrack DM6 Aux 9f  BSD/OS          e4  SpeedStor      
 c  W95 FAT32 (LBA) 52  CP/M            a0  IBM Thinkpad 休 eb  BeOS fs        
 e  W95 FAT16 (LBA) 53  OnTrack DM6 Aux a5  FreeBSD         ee  GPT            
 f  W95 扩展 (LBA)  54  OnTrackDM6      a6  OpenBSD         ef  EFI (FAT-12/16/
10  OPUS            55  EZ-Drive        a7  NeXTSTEP        f0  Linux/PA-RISC  
11  隐藏的 FAT12    56  Golden Bow      a8  Darwin UFS      f1  SpeedStor      
12  Compaq 诊断     5c  Priam Edisk     a9  NetBSD          f4  SpeedStor      
14  隐藏的 FAT16 <3 61  SpeedStor       ab  Darwin 启动     f2  DOS 次要       
16  隐藏的 FAT16    63  GNU HURD or Sys af  HFS / HFS+      fb  VMware VMFS    
17  隐藏的 HPFS/NTF 64  Novell Netware  b7  BSDI fs         fc  VMware VMKCORE 
18  AST 智能睡眠    65  Novell Netware  b8  BSDI swap       fd  Linux raid 自动
1b  隐藏的 W95 FAT3 70  DiskSecure 多启 bb  Boot Wizard 隐  fe  LANstep        
1c  隐藏的 W95 FAT3 75  PC/IX           be  Solaris 启动    ff  BBT            
1e  隐藏的 W95 FAT1 80  旧 Minix       
Hex 代码(输入 L 列出所有代码):8e
已将分区“Linux”的类型更改为“Linux LVM”

命令(输入 m 获取帮助):w(保存并退出)
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: 设备或资源忙.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
正在同步磁盘。

3. 刷新并查看sda3是否存在

​[root@master ~]# partprobe
[root@master ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0  200G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
├─sda2            8:2    0   19G  0 part 
│ ├─centos-root 253:0    0   17G  0 lvm  /
│ └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
└─sda3            8:3    0  180G  0 part 
sr0              11:0    1 1024M  0 rom

4. 使用lvm命令新建卷/dev/sda3,并将其加载到卷组centos中

[root@master ~]# lvm
lvm> pvcreate /dev/sda3(建立逻辑卷)
  Physical volume "/dev/sda3" successfully created.
lvm> pvdisplay(显示物理卷信息)
  --- Physical volume ---
  PV Name               /dev/sda2
  VG Name               centos
  PV Size               <19.00 GiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              4863
  Free PE               0
  Allocated PE          4863
  PV UUID               mxA5P7-4vL0-0cOO-0PPy-1Uq3-HRdn-DHRmNV
   
  "/dev/sda3" is a new physical volume of "10.00 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sda3
  VG Name               
  PV Size               180.00 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               wor8da-PkXI-ghCq-U8sE-vkfq-ZhJo-di78al
   
lvm> vgdisplay(查看卷组)
  --- Volume group ---
  VG Name               centos
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <19.00 GiB
  PE Size               4.00 MiB
  Total PE              4863
  Alloc PE / Size       4863 / <19.00 GiB
  Free  PE / Size       0 / 0   
  VG UUID               cDss9h-G3Tk-zTb1-4vsa-lKcs-DX8B-8fDpmv
   
lvm> vgextend centos /dev/sda3
  Volume group "centos" successfully extended
lvm> vgdisplay
  --- Volume group ---
  VG Name               centos
  System ID             
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               30.00 GiB
  PE Size               4.00 MiB
  Total PE              50942
  Alloc PE / Size       4863 / <19.00 GiB
  Free  PE / Size       46079 / <10.00 GiB
  VG UUID               cDss9h-G3Tk-zTb1-4vsa-lKcs-DX8B-8fDpmv
   
lvm> lvextend -l +100%FREE /dev/centos/root(将新添内存100%扩展逻辑卷)
  Size of logical volume centos/root changed from <17.00 GiB (4351 extents) to 27.00 GiB (50430 extents).
  Logical volume centos/root successfully resized.
lvm> exit

 5.之前对逻辑卷的扩容,还要同步到文件系统,实现对根目录的扩容

​[root@master ~]# xfs_growfs /dev/centos/root
meta-data=/dev/mapper/centos-root isize=512    agcount=4, agsize=1113856 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=4455424, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 4455424 to 51640320

 再次df-h查看  发现根目录实现扩容完毕

hadoop1错误unable to write in tmp.aborting,hadoop,zookeeper,linux

启动zookeeper和集群服务,发现启动成功,问题解决文章来源地址https://www.toymoban.com/news/detail-851041.html

到了这里,关于Hadoop集群/Zookeeper服务启动失败(Unable to write in /tmp等问题)----虚拟机内存问题导致的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 解决Docker 启动失败问题,Docker Desktop is unable to detect a Hypervisor.

     1.确认是否开启Hyper-V win11:进入控制面板-程序-启用或关闭windows功能-勾选Hyper-V  2.如果找不到Hyper-V:windows自动隐藏了该功能,设置开启hyper-v。 桌面新建一个记事本文件,将它的后缀改成cmd或bat,复制下面的代码 然后,右键选择:以管理员身份运行。代码执行结束后,重

    2024年02月11日
    浏览(64)
  • Zookeeper 启动失败【Cannot open channel to 3 at election address...】

    完整报错信息 Cannot open channel to 3 at election address hadoop121/192.168.10.121:3888 java.net.ConnectException 解决方法 1.检查文件夹权限 检查当前用户是否拥有 Zookeeper 安装目录管理权限,没有的话需要进行授权: 2.未监听所有IP 在 zoo.cfg 文件中授权监听所有 IP: 添加完成后,注意分发到其它

    2024年02月05日
    浏览(37)
  • zookeeper搭建分布式集群启动失败(Error contacting service. It is probably not running.)

    1.启动zookeeper后查看状态 /bin/zkServer.sh status 发现报错 Error contacting service. It is probably not running. 2.查看日志 zookeeper-root-server-zookeeper01.out 发现报了一拒绝链接java.net.ConnectException: 拒绝连接 (Connection refused) 方法1: 将配置文件 zoo.cfg 中节点对应机器的地址改为:0.0.0.0 修改完再此

    2024年02月06日
    浏览(62)
  • 搭建nacos集群启动时,报错Unable to start web server; nested exception is org.springframework.boot.web.server

    最近在学习springcloud阿里巴巴的使用,单机使用nacos启动时没有问题,修改了配置之后启动报错,如下 贴出已经修改的配置文件,cluster.conf和application.properties cluster.conf如下 application.properties如下,其他不需要修改的地方没有复制进来 因为是看着视频一步一步改的,然后视频里

    2024年02月14日
    浏览(61)
  • Zookeeper Unable to connect to zookeeper server within timeout: 15000

    Zookeeper Unable to connect to zookeeper server within timeout: 15000 一般情况都是防火墙没关,或者Zookeeper 没启动。 如果不是上面两种情况,则可能跟我一样在Spring初始化过程中去连接了Zookeeper ,由于应用启动时间超过15000,把超时时间加大即可。

    2024年02月12日
    浏览(44)
  • Zookeeper集群和Hadoop集群安装(保姆级教程)

    HA(Heigh Available)高可用 解决单点故障,保证企业服务 7*24 小时不宕机 单点故障:某个节点宕机导致整个集群的宕机 Hadoop 的 HA NameNode 存在单点故障的可能,需要配置 HA 解决 引入第二个 NameNode 作为备份 同步两个 NameNode 的数据 在第一个 NameNode 宕机后启用第二个 NameNode HA架

    2024年02月01日
    浏览(48)
  • git clone失败:fatal: unable to access

    在控制台命令行依次输入: 再次尝试后成功:

    2024年02月03日
    浏览(43)
  • cadence原理图生成网表错误解决方法,出现Unable to open file ......Temp\tmp_pstxnet.dat“ for writing

    这个问题困扰我好多天,以至于我每次在家都不敢用笔记本导入网表。,事情的原因是这样的...... 之前画原理图都是cadence,一直用没有什么问题,突然有一天导出网表的时候发生错误,如图:   打开netlist.log查看,是如下错误:  { Using PSTWRITER 16.6.0 d001Nov-12-2022 at 20:09:09 }

    2023年04月08日
    浏览(52)
  • win10 hadoop报错 unable to load native-hadoop library

    win10 安装hadoop执行hdfs -namenode format 和运行hadoop的start-all报错 unable to load native-hadoop library 验证: hadoop checknative -a 这个命令返回都是false是错的 返回下图是正确的 winutils: true D:softhadoop-3.0.0binwinutils.exe Native library checking: hadoop:  true D:softhadoop-3.0.0binhadoop.dll zlib:    false

    2024年02月15日
    浏览(48)
  • SpringBoot连接Redis失败报错:Unable to connect to Redis; (小白篇)

    学习redis一段时间了,现在开始使用springboot整合redis,实现Java与redis数据库的连接与一系列的使用。 但刚开始就给我来了个下马威,直接寄,连接不上redis,在swagger的报错如下: Unable to connect to Redis; nested exception is org.springframework.data.redis.connection.PoolException: Could not get a reso

    2024年02月07日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包