启动Flink显示初始化状态怎么解决？-Toy模板网

这篇具有很好参考价值的文章主要介绍了启动Flink显示初始化状态怎么解决？。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

启动Flink显示初始化状态怎么解决？

Flink On Yarn模式

问题

      flnk任务在跑的过程中， 有时候任务停掉了 ，不过我有 定时任务，可以把失败的flink任务拉起来，但是因为最新的checkpoint做失败了，导致脚本无法拉起flink任务，任务会一直处于初始化状态，这样是有问题的  因为我无法识别到最后一个checkpoint是成功的还是失败的

启动Flink显示初始化状态怎么解决？,flink,大数据

思路

通过flink rest api可以判断出来这个初始化的状态，然后删除失败的checkpoint

具体实现思路

具体的解决步骤(脚本实现):
1.通过任务名称获取appid;
2.curl http://${yarnaddr}/proxy/${appid}/jobs/overview 获取job的状态;
3.如果是初始化状态，就删除当前的chk(其实就是最新的chk，也是有问题的);,然后调用启动脚本；
4.这个脚本就相当于一个巡检程序，定时去扫描一下 ， 如果有初始化，就处理一下， 如果没有的话，忽略即可;

脚本如下

flinkInitDeal.sh文章来源地址https://www.toymoban.com/news/detail-623401.html

#!/bin/bash


source ~/.bash_profile

yarnaddr=172.2.3.8:8088


applicationname=`yarn application --list | grep "flink-etl" | cut -f1 `
let i=0  #获取任务数
let log_count=0  #获取日志中的任务数
start_count=RUNNING  #判断任务是否存在异常

cd /test/flink

curl http://${yarnaddr}/proxy/${applicationname}/jobs/overview  > flink_job.log

jobstatus=`cat /test/flink/flink_job.log | awk -F\" '{print $14}'`

if [[  ${jobstatus} = 'INITIALIZING' ]]
then

path=$(hadoop fs -ls -t -r /flink/checkpoints/* | sort -nr | grep 'chk' | head -n 1 | awk '{print $NF}')

hadoop dfs -rmr  ${path}

cd /home/hadoop/flink-1.14/app
sh stop.sh

sleep 10

sh start.sh

到了这里，关于启动Flink显示初始化状态怎么解决？的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！