1. Toy模板网首页
  2. > Toy博客

运维排查 | Systemd 之服务停止后状态为 failed

7月前 作者：咸鱼Linux运维 分类：Toy博客 阅读(24) 违法举报

这篇具有很好参考价值的文章主要介绍了运维排查 | Systemd 之服务停止后状态为 failed。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

哈喽大家好，我是咸鱼。

我们知道 CentOS 7 之后，Systemd 代替了原来的 SystemV 来管理服务，相比 SystemV ，Systemd 能够很好地解决各个服务间的依赖关系，还能让所有的服务同时启动，而不是串行启动。

通常情况下，yum 安装的软件会由系统的包管理器（如 RPM）安装，并且会配置相应的 systemd 服务，因此由 systemd 来管理。然而，在一些情况下，特别是当采用源码编译安装软件或者软件本身并没有提供 systemd 管理的解决方案时，就需要手动编写 systemd 服务文件（service 文件）来管理这些软件。

那今天我们就来看看手动编写 systemd 服务文件来管理软件时发现的一些问题。

问题出现

我们的 zookeeper 是通过源码编译来安装，为了方便管理，决定改成通过 systemd 来管理。

下面是 zookeeper 的 service 文件

# zookeeper
[Unit]
Description=Zookeeper
After=network.target

[Service]
Type=forking
ExecStart=/opt/zookeeper/bin/zkServer.sh start
ExecStop=/opt/zookeeper/bin/zkServer.sh stop
PIDFile=/var/lib/zookeeper/zookeeper_server.pid

[Install]
WantedBy=multi-user.target

可以看到，配置文件分成几个区块，每个区块包含若干条键值对。

[Unit]

Unit 部分的 Description 字段给出当前服务的简单描述接下来的设置是启动顺序：

  1. After 字段：表示 zookeeper.service 应该在哪些服务之后启动。
  2. Before字段，表示 zookeeper.service 应该在哪些服务之前启动。

注意，After和Before字段只涉及启动顺序，不涉及依赖关系。

[Service]

Service 部分定义如何启动当前服务。

  • ExecStart：启动进程时执行的命令。

  • ExecStop：停止服务时执行的命令。

  • Type：定义启动类型

    1. simple（默认值）：ExecStart字段启动的进程为主进程
    2. forking：ExecStart字段将以fork()方式启动，此时父进程将会退出，子进程将成为主进程
    3. oneshot：类似于simple，但只执行一次，Systemd 会等它执行完，才启动其他服务
    4. dbus：类似于simple，但会等待 D-Bus 信号后启动
    5. notify：类似于simple，启动结束后会发出通知信号，然后 Systemd 再启动其他服务
    6. idle：类似于simple，但是要等到其他任务都执行完，才会启动该服务。一种使用场合是为让该服务的输出，不与其他服务的输出相混合

[Install]

Install 部分定义如何安装这个配置文件，即怎样做到开机启动

  • WantedBy：表示该服务所在的 Target。

Target 的含义是服务组，表示一组服务。WantedBy=multi-user.target指的是，kafka 和 zookeeper 所在的 Target 是 multi-user.target。

这个设置非常重要，因为执行systemctl enable 命令时，zookeeper .service 的一个符号链接，就会放在/etc/systemd/system目录下面的multi-user.target.wants子目录之中。

Systemd 有默认的启动 Target。

[root@localhost ~]# systemctl get-default
multi-user.target

上面的结果表示，默认的启动 Target 是 multi-user.target。在这个组里的所有服务，都将开机启动。这就是为什么 systemctl enable 命令能设置开机启动的原因。

编写好 service 文件之后，我们执行下面的命令来启动 zookeeper：

[root@localhost ~]# systemctl start zookeeper.service

接着看下 zookeeper 的运行状态

[root@localhost ~]# systemctl status zookeeper.service       
● zookeeper.service - Zookeeper
   Loaded: loaded (/usr/lib/systemd/system/zookeeper.service; enabled; vendor preset: disabled)
   Active: active (running) since 一 2024-04-01 09:10:23 CST; 2s ago
  Process: 60955 ExecStop=/opt/zookeeper/bin/zkServer.sh stop (code=exited, status=0/SUCCESS)
  Process: 61116 ExecStart=/opt/zookeeper/bin/zkServer.sh start (code=exited, status=0/SUCCESS)
 Main PID: 61132 (java)
   CGroup: /system.slice/zookeeper.service
           └─61132 java -Dzookeeper.log.dir=/opt/zookeeper/bin/../logs -Dzookeeper.log.file=zookeeper--server-localhost.localdomain.log -Dzookeepe...

4月 01 09:10:22 localhost.localdomain systemd[1]: Starting Zookeeper...
4月 01 09:10:22 localhost.localdomain zkServer.sh[61116]: /usr/sbin/java
4月 01 09:10:22 localhost.localdomain zkServer.sh[61116]: ZooKeeper JMX enabled by default
4月 01 09:10:22 localhost.localdomain zkServer.sh[61116]: Using config: /opt/zookeeper/bin/../conf/zoo.cfg
4月 01 09:10:23 localhost.localdomain zkServer.sh[61116]: Starting zookeeper ... STARTED
4月 01 09:10:23 localhost.localdomain systemd[1]: Started Zookeeper.

active (running) 表示运行正常

当我们执行 systemctl stop zookeeper.service 命令停止 zookeeper 的时候，问题出现了

[root@localhost ~]# systemctl status zookeeper.service 
● zookeeper.service - Zookeeper
   Loaded: loaded (/usr/lib/systemd/system/zookeeper.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since 一 2024-04-01 09:10:30 CST; 906ms ago
  Process: 61183 ExecStop=/opt/zookeeper/bin/zkServer.sh stop (code=exited, status=0/SUCCESS)
  Process: 61116 ExecStart=/opt/zookeeper/bin/zkServer.sh start (code=exited, status=0/SUCCESS)
 Main PID: 61132 (code=exited, status=143)

4月 01 09:10:23 localhost.localdomain systemd[1]: Started Zookeeper.
4月 01 09:10:29 localhost.localdomain systemd[1]: Stopping Zookeeper...
4月 01 09:10:29 localhost.localdomain zkServer.sh[61183]: /usr/sbin/java
4月 01 09:10:29 localhost.localdomain zkServer.sh[61183]: ZooKeeper JMX enabled by default
4月 01 09:10:29 localhost.localdomain zkServer.sh[61183]: Using config: /opt/zookeeper/bin/../conf/zoo.cfg
4月 01 09:10:29 localhost.localdomain systemd[1]: zookeeper.service: main process exited, code=exited, status=143/n/a
4月 01 09:10:30 localhost.localdomain zkServer.sh[61183]: Stopping zookeeper ... STOPPED
4月 01 09:10:30 localhost.localdomain systemd[1]: Stopped Zookeeper.
4月 01 09:10:30 localhost.localdomain systemd[1]: Unit zookeeper.service entered failed state.
4月 01 09:10:30 localhost.localdomain systemd[1]: zookeeper.service failed.

可以看到，zookeeper 服务在停止后并不是 inactive ，而是 failed 状态，最后两行输出里有 Unit zookeeper.service entered failed state./zookeeper.service failed 字段

问题定位

我们接着看上面的输出，可以看到在设置了 Type=forking 后，服务在启动或关闭时执行对应的脚本会开启一个进程，并且两个进程都成功执行了（返回状态码为 0 ）。

  Process: 61183 ExecStop=/opt/zookeeper/bin/zkServer.sh stop (code=exited, status=0/SUCCESS)
  Process: 61116 ExecStart=/opt/zookeeper/bin/zkServer.sh start (code=exited, status=0/SUCCESS)
  Main PID: 61132 (code=exited, status=143)

但是主进程退出时返回的状态码却是 143，而不是状态码 0。

接着看下 zookeeper 进程还在不在：

[root@localhost ~]# jps -l
61287 sun.tools.jps.Jps

[root@localhost ~]# ps -ef | grep zookeeper
root      61300  61250  0 09:49 pts/0    00:00:00 grep --color=auto zookeeper

奇怪，明明 zookeeper 进程已经成功退出了，但是 systemd 却说它退出失败

此时我注意到尽管在停止服务时，状态码为 0，但也只是表明执行 /opt/zookeeper/bin/zkServer.sh stop 命令本身成功完成，这个状态码并不代表脚本内部的执行逻辑一定是成功的。

我们看下 zkServer.sh 脚本中关于 stop 的逻辑

stop)
    echo -n "Stopping zookeeper ... "
    if [ ! -f "$ZOOPIDFILE" ]
    then
      echo "no zookeeper to stop (could not find file $ZOOPIDFILE)"
    else
      $KILL  $(cat "$ZOOPIDFILE")
      rm "$ZOOPIDFILE"
      sleep 1
      echo STOPPED
    fi
    exit 0
    ;;

没有发现有什么不妥，接着我们注释掉 ExecStop 字段，采用 systemd 默认的方式来停止服务。

默认情况下，systemd 将向进程发送 SIGTERM 信号（相当于 kill 命令发送的终止信号），等待一段时间后，如果服务进程未正常退出，则发送 SIGKILL 信号（相当于 kill -9 命令发送的强制终止信号）强制终止服务进程。

然后重新启停一下 zookeeper ，看下状态：

[root@localhost ~]# systemctl status zookeeper.service 
● zookeeper.service - Zookeeper
   Loaded: loaded (/usr/lib/systemd/system/zookeeper.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since 一 2024-04-01 10:03:04 CST; 1s ago
  Process: 61453 ExecStart=/opt/zookeeper/bin/zkServer.sh start (code=exited, status=0/SUCCESS)
 Main PID: 61469 (code=exited, status=143)

4月 01 10:02:55 localhost.localdomain systemd[1]: Started Zookeeper.
4月 01 10:02:55 localhost.localdomain zkServer.sh[61453]: /usr/sbin/java
4月 01 10:02:55 localhost.localdomain zkServer.sh[61453]: ZooKeeper JMX enabled by default
4月 01 10:02:55 localhost.localdomain zkServer.sh[61453]: Using config: /opt/zookeeper/bin/../conf/zoo.cfg
4月 01 10:02:56 localhost.localdomain zkServer.sh[61453]: Starting zookeeper ... STARTED
4月 01 10:03:04 localhost.localdomain systemd[1]: Stopping Zookeeper...
4月 01 10:03:04 localhost.localdomain systemd[1]: zookeeper.service: main process exited, code=exited, status=143/n/a
4月 01 10:03:04 localhost.localdomain systemd[1]: Stopped Zookeeper.
4月 01 10:03:04 localhost.localdomain systemd[1]: Unit zookeeper.service entered failed state.
4月 01 10:03:04 localhost.localdomain systemd[1]: zookeeper.service failed.

[root@localhost ~]# jps -l
61524 sun.tools.jps.Jps
[root@localhost ~]# ps -ef | grep zookeeper
root      61537  61250  0 10:04 pts/0    00:00:00 grep --color=auto zookeeper

还是一样的问题，zookeeper 已经成功退出但是却显示 failed 状态，状态码是 143。

从上面我们得知：无论是通过 zkserver.sh 还是 systemd 默认方式来关闭服务，本质上都是向 zookeeper 进程发送 SIGTERM 信号（数值为 15 ），虽然 zookeeper 进程成功退出，但是 systemd 将此解释为异常退出，因为预期的退出状态码为 0。

而根据 POSIX 规范：【因接收到信号而终止的命令的退出状态应报告为大于 128】，所以被信号中断的进程退出时会返回 128 加上信号数值作为退出状态码。

也就是说，当 zookeeper 进程收到 SIGTERM 信号时，会返回 128 + 15 也就是 143 作为退出状态码，这也就是为什么进程在成功退出后 systemctl 显示为 failed 状态。

解决问题

既然知道了进程在退出时的状态码是 143 但是 systemd 不会解释为成功，因为预期的退出状态码为 0，那么我们只需要让 systemd 把状态码 143 也解释为成功就行。

所以在 zookeeper 的 service 文件中添加下面的配置：

[Service]
...
SuccessExitStatus=143
...

表示当服务进程以状态码 143 正常退出时，systemd 将其视为成功退出而不是异常退出。文章来源地址https://www.toymoban.com/news/detail-844334.html

到了这里，关于运维排查 | Systemd 之服务停止后状态为 failed的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • nginx服务停止或重启时报错：open() “/usr/local/nginx/logs/nginx.pid“ failed (2: No such file or directory)的解决办法

    nginx服务停止或重启时报错：open() “/usr/local/nginx/logs/nginx.pid“ failed (2: No such file or directory)的解决办法

    问题示例： 关闭/重启nginx服务时，报错：[error] open() \\\"/usr/local/nginx/logs/nginx.pid\\\" failed (2: No such file or directory) 解决方法： 1.输入： ps -ef |grep nginx   查看nginx进程号 2.输入： kill -QUIT 进程号   杀掉nginx进程 3.把虚拟机服务器上的nginx安装包和压缩包以及local目录下的nginx都删掉

    2024年02月11日
    浏览(44)
  • Ubuntu开机自启服务systemd.service配置教程（Ubuntu服务）（Linux服务）upstart（systemd教程）

    Ubuntu开机自启服务systemd.service配置教程（Ubuntu服务）（Linux服务）upstart（systemd教程）

    我们在linux系统下启动一个程序，一般用一条命令，或者执行一个脚本就行了，那么，为什么还要将程序配置成服务？这样做有什么好处？ 1. 自动启动 配置成服务后，程序将在系统启动时自动启动，无需手动操作。这样可以确保程序在系统重启后能够自动运行，避免因为人为

    2024年02月05日
    浏览(45)

  • 【Linux | systemd】systemd（systemctl命令）运行服务的配置文件详解

    【systemctl】让程序以守护进程的方式在后台运行 首先需要创建一个systemd unit 配置文件，比如：verdaccio.service，一般放在 /lib/systemd/system/ 下 添加配置如下： 开机自启动：systemctl enable verdaccio.service 立即启动：systemctl start verdaccio.service 重新启动：systemctl restart verdaccio.service 运

    2024年01月17日
    浏览(45)
  • [含完整代码]Linux使用.sh脚本自动部署(启动|停止|状态|日志)项目[超详细]

    [含完整代码]Linux使用.sh脚本自动部署(启动|停止|状态|日志)项目[超详细]

    个人博客： www.wdcdbd.com   我们在linux部署.jar项目时，都需要通过java -jar的形式来部署，每次都要手动停止，部署，这样用起来会很麻烦。所以，这篇文章就是自己通过.sh脚本一键 启动 ， 停止 ， 重启 ， 查看状态 ， 查看日志 。这样会方便一些。  将你的java项目放到你lin

    2024年01月19日
    浏览(55)

  • Docker服务systemd配置文件详解

    Docker是一种流行的容器化技术，它可以帮助开发者快速构建、打包和部署应用程序。在Linux系统中，Docker服务通常由systemd进行管理和控制。systemd是一个系统和服务管理器，它可以启动、停止和重启系统服务，并监控它们的运行状态。在本文中，我们将深入探讨Docker服务的sy

    2024年02月04日
    浏览(36)

  • mysql 无法停止和启动，状态一直是 Active: deactivating (stop-sigterm)

    本想设置一下mysql log 日志时间，修改了 my.inf 之后， restart mysqld 一直起不来，查看服务状态，一直是 deactivating (stop-sigterm) 加上 -l 没有看出一个所以然！ 看到这一条： [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentati

    2024年02月11日
    浏览(49)

  • 在 Linux 中使用 systemd 注册服务

    Systemd 是一种现代的 Linux 系统初始化系统和服务管理器。它旨在管理系统服务的初始化、配置和控制。Systemd 的一个关键特性是它可以管理服务，这些服务是为系统提供特定功能的后台进程。在本指南中，我们将探讨如何使用 systemd 在 Linux 中注册服务。 在 Linux 系统中,system

    2024年02月13日
    浏览(48)
  • MySQL运维实战(3.2) 常见数据库连接失败问题排查

    MySQL运维实战(3.2) 常见数据库连接失败问题排查

    作者：俊达 我们经常会遇到一些数据库连接失败或访问报错的问题。收集并分析具体的报错信息，可以帮助我们迅速定位问题。 1、客户端到服务端的网络是否畅通，服务端端口是否能连通。 使用ping、telnet等工具探测服务端的端口是否能访问。 如果端口不通，要先排除网络

    2024年01月21日
    浏览(59)

  • Linux 管理 Systemd 服务的命令行工具

    systemctl 是用于管理 Systemd 服务的命令行工具。下面是一些常用的 systemctl 命令及其功能： 1. `systemctl enable service`：启用一个服务，使其在系统启动时自动启动。 2. `systemctl start service`：启动一个服务。 3. `systemctl stop service`：停止一个服务。 4. `systemctl restart service`：重新启动一

    2024年01月16日
    浏览(38)

  • 【Ubuntu20.04】使用 systemd 进行服务部署

    ExecStart，改成自己脚本的路径，比如程序启动脚本 Restart，异常重启 RestartSec，异常后多少秒后重启 StartLimitInterval，异常后重试多少次，0 一直重试 将上述文件命名为 your_app.serivce ，放入 /etc/systemd/system 目录下 比如，你的服务名称叫 your_app 服务启用 服务启动 服务重新启动

    2024年04月25日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包