1. Toy模板网首页
  2. > Toy博客

spark中排查Premature EOF: no length prefix available

10月前 作者：不吃饭的猪 分类：Toy博客 阅读(25) 违法举报

这篇具有很好参考价值的文章主要介绍了spark中排查Premature EOF: no length prefix available。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

报错信息

/07/22 10:20:28 WARN DFSClient: Error Recovery for block BP-888461729-172.16.34.148-1397820377004:blk_15089246483_16183344527 in pipeline 172.16.34.64:50010, 172.16.34.223:50010: bad datanode 172.16.34.64:50010 [DataStreamer for file /bdp/data/u9083189ae0349dbaf8f2f2ee3351579_temp/.hive-staging_hive_2022-07-22_10-16-47_909_6320972307505128897-167/-ext-10000/_temporary/0/_temporary/attempt_20220722101347_2794_m_000034_0/part-00034-c0b2f98a-7049-4a5d-bcf3-b3042cd16645-c000 block BP-888461729-172.16.34.148-1397820377004:blk_15089246483_16183344527]
22/07/22 10:21:07 WARN DFSClient: Slow ReadProcessor read fields took 51412ms (threshold=30000ms); ack: seqno: 10 status: SUCCESS status: SUCCESS downstreamAckTimeNanos: 1027966, targets: [172.16.34.64:50010, 172.16.34.95:50010] [ResponseProcessor for block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712]
22/07/22 10:22:18 WARN DFSClient: DFSOutputStream ResponseProcessor exception  for block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712 [ResponseProcessor for block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712]
java.io.EOFException: Premature EOF: no length prefix available
	at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2207)
	at org.apache.hadoop.hdfs.protocol.datatransfer.PipelineAck.readFields(PipelineAck.java:176)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer$ResponseProcessor.run(DFSOutputStream.java:867)
22/07/22 10:23:09 WARN DFSClient: DataStreamer Exception [DataStreamer for file /bdp/data/9ca8f3a33ce543909594541286116aec_temp/.hive-staging_hive_2022-07-22_10-19-47_845_1102463989488675558-143/-ext-10000/_temporary/0/_temporary/attempt_20220722101658_2821_m_000049_0/part-00049-b0b65b5f-f8f0-4b60-9e72-04dde1343ede-c000 block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712]
java.io.IOException: Broken pipe
	at sun.nio.ch.FileDispatcherImpl.write0(Native Method)
	at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)
	at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:93)
	at sun.nio.ch.IOUtil.write(IOUtil.java:65)
	at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:471)
	at org.apache.hadoop.net.SocketOutputStream$Writer.performIO(SocketOutputStream.java:63)
	at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)
	at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:159)
	at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:117)
	at java.io.BufferedOutputStream.write(BufferedOutputStream.java:122)
	at java.io.DataOutputStream.write(DataOutputStream.java:107)
	at org.apache.hadoop.hdfs.DFSOutputStream$Packet.writeTo(DFSOutputStream.java:321)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:643)
22/07/22 10:23:09 WARN DFSClient: Error Recovery for block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712 in pipeline 172.16.34.64:50010, 172.16.34.95:50010: bad datanode 172.16.34.64:50010 [DataStreamer for file /bdp/data/9ca8f3a33ce543909594541286116aec_temp/.hive-staging_hive_2022-07-22_10-19-47_845_1102463989488675558-143/-ext-10000/_temporary/0/_temporary/attempt_20220722101658_2821_m_000049_0/part-00049-b0b65b5f-f8f0-4b60-9e72-04dde1343ede-c000 block BP-888461729-172.16.34.148-1397820377004:blk_15089250682_16183349712]

在这里插入图片描述
spark中排查Premature EOF: no length prefix available,spark,大数据,分布式
查看116节点的datanode日志
spark中排查Premature EOF: no length prefix available,spark,大数据,分布式

2022-07-21 12:04:27,437 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception for BP-888461729-172.16.34.148-1397820377004:blk_15087313175_16181097975
java.io.IOException: Premature EOF from inputStream
        at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:194)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:496)
        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:889)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:757)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:137)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:239)
        at java.lang.Thread.run(Thread.java:745)
2022-07-21 12:04:27,438 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: opWriteBlock BP-888461729-172.16.34.148-1397820377004:blk_15087313175_16181097975 received exception java.io.IOException: Premature EOF from inputStream
2022-07-21 12:04:27,438 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: bdp-171:50010:DataXceiver error processing WRITE_BLOCK operation  src: /172.16.34.214:9107 dst: /172.16.34.214:50010
java.io.IOException: Premature EOF from inputStream
        at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:194)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:496)
        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:889)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:757)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:137)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:239)
        at java.lang.Thread.run(Thread.java:745)

看到别人排查看到文章
https://stackoverflow.com/questions/32060049/hadoop-mapreduce-job-i-o-exception-due-to-premature-eof-from-inputstream
spark中排查Premature EOF: no length prefix available,spark,大数据,分布式
排查相关参数
spark中排查Premature EOF: no length prefix available,spark,大数据,分布式
查看丢包也没有，查看磁盘速度也很正常。具体还没找到原因。。。待后续找到更新文章来源地址https://www.toymoban.com/news/detail-685924.html

到了这里，关于spark中排查Premature EOF: no length prefix available的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • yum安装出现No package ****** available问题

    yum安装出现No package ****** available问题

    今天新装虚拟机centos7 在安装openvpn时候出现了如下问题 参考了网上的办法： 出现这种错误的原因分为两种： 网络问题 检查你的网络情况，可以ping一下百度，看能不能ping通。 解决方法：请设置你的网络连接。 2. 镜像连接错误 使用yum搜索某些rpm包，找不到包是因为CentOS是

    2023年04月24日
    浏览(33)
  • No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi

    No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi

    同时安装两个版本的ndk，将21.3.6528147版本中的以下文件copy至25.1.8937393版本同一文件夹下即可。

    2024年02月11日
    浏览(40)

  • RuntimeError: No CUDA GPUs are available

    在之前运行代码时正常没有任何问题，但是后面莫名其妙突然报错：RuntimeError: No CUDA GPUs are available 一开始还有这个：No CUDA runtime is found, using CUDA_HOME=\\\'/usr/local/cuda\\\' 这里主要有几个考虑的方面： 1、用于运行代码的GPU号设置问题 如果你的代码里面有下面这句话 （1）如果使用的

    2024年02月16日
    浏览(41)

  • 解决：No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi

    Android 编译时报错以下信息： No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi。 大概意思是 NDK 工具链中缺少 CPU 架构支持：arm-linux-androideabi。 看了一下我的 NDK 版本是 25.2.9519653，内部确认没有 arm-linux-androideabi 架构的支持。 下载了 20.0.5594570 版本 ND

    2024年02月11日
    浏览(103)
  • No plugin found for prefix ‘install‘ in the current project and in the plugin groups 的解决方法

    No plugin found for prefix ‘install‘ in the current project and in the plugin groups 的解决方法

    【现象】 【解决方法】 settings.xml文件的mirrors，新增如下信息 新增后的截图如下：  

    2024年02月14日
    浏览(52)

  • 解决RuntimeError：No CUDA GPUs are available

    解决RuntimeError：No CUDA GPUs are available 如果本来显卡是能用的 版本这些也能对的上。 基本解决方法为 在使用之前检查cuda是否可用 不检测默认不可用。 或者在文件头加入import torch torch.cuda.current_device() torch.cuda._initialized = True // 检测一下cuda是否可用 print(torch.cuda.is_available()) F

    2024年02月03日
    浏览(36)

  • Springboot No bean named 'XXXXX' available 问题解决

    近日在工作中遇见了一个bug，后端程序频频报错 No bean named \\\'XXXXX\\\' available 。对比同类程序文件，没有发现有任何特殊之处。在网上搜索方法基本上就是扫描包配置、注解问题、路径问题等，皆不能解决我的问题。 排查问题是发现出现问题的类命名不符合驼峰规范，按照这个思

    2024年02月12日
    浏览(43)

  • [ This request has no response data available问题 ]

    目录 前言: 提示背景: 问题导致情况: 跨域设置: Canceled    摸鱼来了  接口响应200 response返回提示:This request has no response data available 1: 确定是否是跨域引起, 一般情如果有跨域会报跨域错误。报无响应的比较少。 2: 浏览器端的代码问题了，然后发现问题请求的代码执行后，紧

    2024年02月15日
    浏览(59)

  • IPVS: rr: TCP xxxxxX - no destination available 问题优化

    可以参考腾讯的 sysctl参数控制输出 参考 ：https://github.com/Tencent/TencentOS-kernel/commit/fe66d659f44e13c0e1c007782309d79c987b4788

    2024年02月12日
    浏览(46)
  • No Presto metadata available for docker-ce-stable

    No Presto metadata available for docker-ce-stable

    Linux CentOS中执行Docker一键安装脚本报错： No Presto metadata available for docker-ce-stable 执行以下命令可以解决，整个过程比较耗费时间，请耐心等待。 yum install docker-ce -y

    2024年02月05日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包