rsync基本命令和用法和服务之间进行数据同步

RSYNC 概述

Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Sync 可以远程同
步，可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，传输前执行压缩，因 此非常适合用于架构集中式备份或异地备份等应用。
官方网站：https://rsync.samba.org/

RSYNC 数据备份

与 SCP 的比较：scp 无法备份大量数据，类似 Windows 的复制。
而 rsync 边复制，边统计，边比较。

Rysnc 特性和优点

1.可以镜像保存整个目录树和文件系统。
2.可以很容易做到保持原来文件的属性、权限、时间、软硬链接等等。
3.无须特殊权限即可安装。
4.快速：第一次同步时 rsync 复制全部内容，但在下一次只传输修改过的文件。
5.压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
6.安全性：可以使用 scp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接。选择性保
持：符号连接，硬链接，文件属性，权限，时间等。

常见备份分类

（1） 完整备份：每次都备份所有数据。
（2） 差异备份：每次备份和第一次完全备份相比的“差异”部分数据。

（3） 增量备份：除第一次备份以外，每次只备份增长数据。

RSYNC 原理

1.运行模式和端口：
采用 C/S 模式（客户端/服务器模式）[ 实际上是一个点到点的传输，直接使用 rsync 命令即可完
成 ]
rsync 监听的端口：873

2.四个名词的解释：
发起端：负责发起 rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据。
备份源：负责响应来自客户机 rsync 同步操作的服务器叫做备份源，需要备份的服务器。
服务端：运行 rsyncd 服务，一般来说，需要备份的服务器。
客户端：存放备份数据。

3.数据同步方式：
推 push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况。
拉 pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢。
推：目的主机配置为 rsync 服务器，源主机周期性的使用 rsync 命令把要同步的目录推过去（需要
备份的机器是客户端，存储备份的机器是服务端）。
拉：源主机配置为 rsync 服务器，目的主机周期性的使用 rsync 命令把要同步的目录拉过来（需要
备份的机器是服务端，存储备份的机器是客户端）。
两种方案，rsync 都有对应的命令来实现。
rsync 命令示例说明 push 和 pull，如图

系统之前 xinetd 管理 Rsync 工作原理，如图

使用 rsync 来同步是先通过 xinetd 监听 873 号端口，如果 rsync 进来的是 873 号端口，那么
xinetd 就会通知它所管辖的 rsync 服务来做回应，接下来就是 rsync 俩服务于之间的通讯。

实战：使用 rsync 进行数据同步

rsync 命令的基本用法：
格式：rsync 【选项】 源文件 目标文件
常见的选项：

-a，--archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数
-rlptgoD
-v：显示 rsync 过程中详细信息。
-r，–recursive 对子目录以递归模式处理
-l,--links 表示拷贝链接文件
-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-z , --compress 表示压缩传输
-H 表示硬连接文件
-A 保留 ACL 属性信息
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件

例： rsync --delete /原始位置（要同步的数据） 192.168.1.64:/目标位置

实战 1： 备份 xuegod63 的/var/www/html 目录到 xuegod64 的/web-back。

开始备份：
xuegod63： 创建用于测试的数据

[root@xuegod64 ~]# mkdir /web-back
[root@xuegod63 ~]# mkdir -p /var/www/html
[root@xuegod63 ~]# cp -r /boot/grub2/ /var/www/html
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ \
root@192.168.1.64:/web-back

常见的选项：

-a，--archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数
-rlptgoD
-z , --compress 表示传输前压缩
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件，保障源文件和目标文件一致

实战 2： 使用 ssh 密钥实现无交互备份。做成脚本，将 xuegod63 上的数据，定期备份到xuegod64 上

在 xuegod63 上生成密钥对

[root@xuegod63 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回库
Enter passphrase (empty for no passphrase): #直接回库
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ac:64:7f:6c:54:41:a1:80:4a:ab:79:9a:6d:d1:ef:e0 root@xuegod63.cn
The key's randomart image is:
+--[ RSA 2048]----+
| .. .+. |
| . . . . . |
| . o . . |
| o . . |
| o .o S . |
| o oo.o o |
| = .o.. + |
| o o. ..o |
| . E.. |
+-------------------+

查看生成的公钥和私钥：

[root@xuegod63 ~]# ls /root/.ssh/
id_rsa（私钥） id_rsa.pub（公钥） known_hosts

将公钥上传到 xuegod64 数据源
方法 1： [root@xuegod63 ~]# ssh-copy-id root@192.168.1.64
相当于你执行了：
方法 2： # scp /root/.ssh/id_rsa.pub root@192.168.1.64:/root/.ssh/authorized_keys

查看：

[root@xuegod64 ~]# ls /root/.ssh/
authorized_keys known_hosts

测试，不输密码直接登录：

[root@xuegod63 ~]# ssh root@192.168.1.64
[rget1@xuegod64 ~]# exit

测试，不输密码直接备份：

[root@xuegod64 ~]# rm -rf /web-back/*
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ root@192.168.1.64:/webback

ctrl+r 可以搜索历史命令快速调到前台执行

Rsync 服务安装

实验拓扑：
xuegod63（源主机 192.168.1.63）
xuegod64（目标主机 192.168.1.64）
需要关闭 selinux，否则即使创建/etc/rsyncd.conf 文件之后去启动服务也不会生效。

[root@xuegod63 ~]# setenforce 0
[root@xuegod63 ~]#yum -y install rsync
[root@xuegod63 ~]#systemctl start rsyncd
[root@xuegod63~]# netstat -antup | grep 873 #查看 873 端口是否监听。
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 43447/rsync
tcp6 0 0 :::873 :::* LISTEN 43447/rsync

centos6/8 系统使用如下方法启动 rsync

yum -y install xinetd rsync
touch /etc/rsyncd.conf
rsync --daemon
systemctl start xineted
netstat -antpu|grep 873

rsync 命令选项

-a：--archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。
-z：--compress 压缩模式，当资料在传送到目的端进行档案压缩。
-H：--hard-links 保留硬链接文件。
--version：输出 rsync 版本。
-v：--verbose 复杂的输出信息。
-u：--update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文
件，不覆盖新的文件。
--port=PORT：定义 rsyncd(daemon)要运行的 port(预设为 tcp 873)。
--delete：删除那些目标位置有的文件而备份源没有的文件。
--password-file=FILE ：从 指定密码文件中获取密码。
--bwlimit=KBPS：限制 I/O 带宽。
--filter “-filename”：需要过滤的文件。
--exclude=filname：需要过滤的文件。
--progress：显示备份过程。
通常常用的选项 –avz

使用 rsync 备份数据保持原有文件权限

对 xuegod63 网站根目录的/var/www/html 目录备份到 xuegod64 的/web-back 。
服务器：xuegod63
客户端：xuegod64

1.建立测试用户（两台主机都需要操作）：

[root@xuegod64 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

更改用户 rget1 的密码 。
passwd：所有的身份验证令牌已经成功更新。

[root@xuegod63 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

2.更改用户 rget1 的密码 。
passwd：所有的身份验证令牌已经成功更新。
对目录赋予 ACL 权限：

[root@xuegod63 ~]# mkdir /var/www/html/ -p #创建目录。
[root@xuegod63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xuegod63 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
#默认权限，当用户创建文件时，会使用这个权限应用到新创建的文件
[root@xuegod63 ~]# getfacl /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

3.创建测试数据：

[root@xuegod63 ~]# cp -r /boot/* /var/www/html/
 # 复制/boot/目录下所有内容到 /var/www/html/目录下。

4.服务端上操作：

[root@xuegod64 ~]# mkdir /web-back #创建存放数据目录。
[root@xuegod64 ~]# chown rget1:rget1 -R /web-back/
#修改目录属主、属组为 rget1 用户。
[root@xuegod63 ~]# rsync -avz /var/www/html/ rget1@192.168.1.64:/web-back/
The authenticity of host '192.168.0.64 (192.168.0.64)' can't be established.
ECDSA key fingerprint is
SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.
ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.
Are you sure you want to continue connecting (yes/no)? yes #输入 yes。
Warning: Permanently added '192.168.0.64' (ECDSA) to the list of known hosts.
rget1@192.168.0.64's password: #输入 rget1 用户密码。
sending incremental file list
./
sent 29 bytes received 15 bytes 3.03 bytes/sec
total size is 0 speedup is 0.00

使用非系统用户备份数据

实验开始之前首先客户端服务器端关闭防火墙 firewalld 否则实验失败：

[root@xuegod63 ~]# systemctl stop firewalld.service
[root@xuegod64 ~]# systemctl stop firewalld.service

使用非系统用户进入备份数据，依靠系统中的 rsync 配置文件/etc/rsyncd.conf 进行备份数据，并
创建备份账户，最终把 rsync 以 deamon 方式运行。

1.rsyncd.conf 配置文件：

配置文件分为两部分：全局参数、模块参数。
全局参数：对 rsync 服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。
模块参数：定义需要通过 rsync 输出的目录定义的参数。

（1）常见的全局参数：

port：指定后台程序使用的端口号，默认为 873。

uid：该选项指定当该模块传输文件时守护进程应该具有的 uid，配合 gid 选项使用可以确定哪些可
以访问怎么样的文件权限，默认值是" nobody"。

gid：该选项指定当该模块传输文件时守护进程应该具有的 gid。默认值为" nobody"。

max connections：指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知
随后再试。默认值是 0，也就是没有限制。

lock file：指定支持 max connections 参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file：" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客
户，默认是没有 motd 文件的。

log file：" log file"指定 rsync 的日志文件，而不将日志发送给 syslog。

pid file：指定 rsync 的 pid 文件，通常指定为“/var/run/rsyncd.pid”，存放进程 ID 的文件位
置。

hosts allow：单个 IP 地址或网络地址，允许访问的客户机地址。

（2）常见的模块参数：
主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是
在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通
过 path 来指定的。

Comment：给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认
没有描述定义。

path：指定该模块的供备份的目录树路径，该参数是必须指定的。

read only：是否为只读模式 true/false。true 无法上传写入。

exclude：用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到 exclude 列表中。这
等同于在客户端命令中使用―exclude 或----filter 来指定某些文件或目录不下载或上传（既不可访问）

exclude from：指定一个包含 exclude 模式的定义的文件名，服务器从该文件中读取 exclude 列
表定义，每个文件或目录需要占用一行

include：用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include 来指定
模式，结合 include 和 exclude 可以定义复杂的 exclude/include 规则。

include from：指定一个包含 include 模式的定义的文件名，服务器从该文件中读取 include 列表
定义。

auth users：该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里
的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后
会被 rsync 请求 challenged 进行验证身份这里使用的 challenge/response 认证协议。用户的名和密
码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿
名方式）。

secrets file：该选项指定一个包含定义用户名:密码对应的文件。只有在" auth users"被定义时，
该文件才有作用。文件每行包含一个 username:passwd 对。一般来说密码最好不要超过 8 个字符。没
有默认的 secures file 名，注意：该文件的权限一定要是 600，否则客户端将不能连接服务器。

hosts allow：指定哪些 IP 的客户允许连接该模块。定义可以是以下形式：
单个 IP 地址，例如：192.167.0.1，多个 IP 或网段需要用空格隔开。
整个网段，例如：192.168.0.0/24，也可以书写为 192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。

hosts deny：指定不允许连接 rsync 服务器的机器，可以使用 hosts allow 的定义方式来进行定
义。默认是没有 hosts deny 定义。

list：该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为

false，可以创建隐藏的模块。默认值是 true。

timeout：通过该选项可以覆盖客户指定的 IP 超时时间。通过该选项可以确保 rsync 服务器不会永
远等待一个崩溃的客户端。超时单位为秒钟，0 表示没有超时定义，这也是默认值。对于匿名 rsync 服务器来说，一个理想的数字是 600。

实战：使用 rsync 服务进行数据同步。

用配置文件定义目录输出。
服务器：xuegod64
客户端：xuegod63

[root@xuegod64 ~]# vim /etc/rsyncd.conf #文件不存在，需要手动创建。
注意： #会出现因注释不兼容的问题而导致推数据时出现报错，配置文件需取消注释或者注释进行换
行处理。
uid = root #运行进程的身份。
gid = root #运行进程的组。
address =192.168.1.64 #监听 IP。
port =873 #监听端口。
hosts allow =192.168.1.0/24 #允许同步客户端的 IP 地址，可以是网段，或者用*表示所
有 192.168.1.0/24 或 192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢，锁定家目录，rsync 被黑之后，黑客无法再 rsync
运行的家目录之外创建文件，选项设置为 yes。
max connections =5 #最大连接数。
pid file =/var/run/rsyncd.pid #进程 PID，自动生成。
lock file =/var/run/rsync.lock #指 max connectios 参数的锁文件。
log file =/var/log/rsyncd.log #日志文件位置。
motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息，需要创建。
[wwwroot] #共享模块名称。
path =/web-back/ #路径。
comment = used for web-data root #描述。
read only = false #只读权限为假。
list = yes #是否允许查看模块信息。
auth users = rsyncuser #备份的用户，和系统用户无关。
secrets file =/etc/rsync.passwd #存放用户的密码文件，格式是 用户名：密码。

创建提示文件和用户密码

#编辑欢迎信息文件。
[root@xuegod64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xuegod64 ~]# vim /etc/rsync.passwd #创建并编写密码文件。
rsyncuser:password123 #格式为 用户名称：密码。
[root@xuegod64 ~]# chmod 600 /etc/rsync.passwd
#密码文件权限必须是 700 或者 600，否则的话身份验证会失效。
[root@xuegod64~]#systemctl start rsyncd
[root@xuegod64~]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文
件 rsyncd.conf 启动 rsync 服务。
[root@xuegod64 ~]# netstat -antup | grep :873 #查看 873 端口是否监听。
tcp 0 0:::873 :::* LISTEN 45089/xinetd

测试

rsync 语法：rsync 选项 用户名@备份源服务器 IP::共享模块名 目标目录
[root@xuegod63 ~]# rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot
Welcome to Backup Server
Password: #输入密码 password123

密码处理

新建一个文件保存好密码，然后在 rsync 命令中使用--password-file 指定此文件即可
[root@xuegod63 ~]# vim /etc/rsync.passwd #创建密码文件，其中中需要指定密码即
可。
password123
[root@xuegod63 ~]# chmod 600 /etc/rsync.passwd #赋予密码文件 600 权限。
[root@xuegod63~]# rsync -avz /var/www/html \
rsyncuser@192.168.0.64::wwwroot --password-file=/etc/rsync.passwd 推 push
[root@xuegod63~]#rsync -azP rsyncuser@192.168.1.202::wwwroot /opt --passwordfile=/etc/rsync.passwd 拉 pull

文章来源地址https://www.toymoban.com/news/detail-524196.html

脚本实现定时自动备份

[root@xuegod63 ~]# vim autobackup.sh #编写脚本。
#!/bin/bash
rsync -avz /var/www/html \
rsyncuser@192.168.1.64::wwwroot -- password-file=/etc/rsync.passwd
[root@xuegod63 ~]# chmod +x autobackup.sh #赋予脚本执行权限。
[root@xuegod64 ~]# rm -rf /web-back/ *
[root@xuegod63 ~]# sh autobackup.sh #测试脚本。
定义计划任务实现定时备份：
[root@xuegod63 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root

到了这里，关于rsync基本命令和用法和服务之间进行数据同步的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！