1,rsync:英文全稱為Remote synchronization,縮寫rsync。是開源、高速的、可實現(xiàn)本地以及遠程,全量以及增量的數(shù)據(jù)復制(拷貝)工具。
2,rsync的作用:工作中需要定時、實時數(shù)據(jù)備份。本地服務器目錄、不同機器、不同機房之間的數(shù)據(jù)備份。這些都可以用rsync完成。
3,rsync功能特性
支持拷貝普通文件與特殊文件,如鏈接文件,設備文件等。
支持排除指定文件或目錄同步放的功能,相當于打包命令tar的排除功能。
可以做到保持原文件或目錄的權(quán)限。時間、軟硬連接、屬主、屬組等所有屬性均不改變。
可實現(xiàn)增量復制,既只復制發(fā)生變化的數(shù)據(jù),因此數(shù)據(jù)傳輸效率很高。
可以使用rcp,rsh,ssh等方式來配合進行隧道加密傳輸文件(rsync本身不對數(shù)據(jù)加密).
可以通過socket(進程方式)傳輸文件和數(shù)據(jù)(服務端和客戶端)。
支持匿名或認證(無需系統(tǒng)用戶)進程模式傳輸,安全的進行數(shù)據(jù)備份及鏡像。
4,全量和增量的區(qū)別:全量是一次性同步全部數(shù)據(jù),增量是同步兩個數(shù)據(jù)庫不同的部分,相比于全量速度快,效率高。
5,增量復制原理
使用quick check算法,只對增量的部分復制,根據(jù)大小屬性的變化進行復制。
2.x比對差異后復制,3.x一遍比對一邊復制。
6,rsync三種工作模式介紹
1)本地(local)
rsync是一個命令
語法:rsync? ? ? [OPTION...]? ? ? ? ?SRC...? ? ? ? ? ? ? ? [DEST]
? ? ? ?rsync命令? ?參數(shù)選項? ? ? ? [源目錄或文件] 目的目錄或文件
命令操作:rsync命令
a,把數(shù)據(jù)從一個地方復制到另一個地方(僅在一臺機器增量),相當于cp。
b,通過加參數(shù)實現(xiàn)刪除文件和清空文件內(nèi)容的功能,相當于rm命令。
c,查看屬性信息功能,相當于ls。
實踐:a,拷貝實踐:
保持文件屬性:
b,刪除實踐
刪除文件內(nèi)容:
刪除目錄下所有文件:
c,查看屬性
2)遠程Shell模式
借助類似ssh隧道傳輸數(shù)據(jù),適合不同的機器之間復制。
異地拷貝,相當于cp,區(qū)別scp是遠程全量拷貝
pull,拉:從遠端拉到本地。
語法:rsync? ? ? ? [OPTION...]? ? ? ? ? [USER@]HOST:SRC...? ? ? ? ? ? ? ? ?[DEST]
? ? ? ? rsync命令? ? ? 參數(shù)選項? ? ? ? [認證用戶]@[主機地址]:[源路徑]? ? ? ? 本地路徑
push,推:從本地推到遠端。
語法:rsync? ? ? ? ? ?[OPTION...]? ? ?SRC...? ? ? ? ? ? ? ? ? ? ?[USER@]HOST:[DEST]
? ? ? ? ? rsync命令? ? ? 參數(shù)選項? ? ? ?本地路徑? ? ? ? ? ?[認證用戶]@[主機地址]:[目標路徑]
push(推)實踐:
rsync -avz /etc/hosts root@172.16.1.41:/opt/
rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
上述命令是等價的。-e 指定通道? ssh ssh服務連接客戶端? -p 22指定22端口。
拉的命令:rsync -avz root@172.16.1.41:/opt/hosts /opt
? ? ? ? ? ? ? ? ?rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt? (這兩個命令也是等價的)
推拉:a,參照物(執(zhí)行命令的機器)
b,root@172.16.1.41(使用的用戶和主機,就用主機和用戶的密碼)
null和null/ 區(qū)別,null是目錄和目錄下的內(nèi)容,
null/只是目錄下的內(nèi)容,不含本身。
3)rsync守護進程模式:首先要搭建rsync服務端(要有守護進程),然后才能在客戶端實現(xiàn)推拉數(shù)據(jù)。
rsync服務模式:開啟后臺進程,接受別人訪問。
7,rsync命令參數(shù):
-v,顯示輸出過程
-z,壓縮
-a,多參數(shù)集合(-rtopgDl)
-r,遞歸
-t,保持修改時間屬性
-o,保持屬主不變
-p,保持權(quán)限不變
-g,保持用戶組不變
-l,保持拷貝軟鏈接
-q,安靜的拷貝
--bwlimit=KBPS 限制I/O帶寬,KBytes per second。
--delete,刪除
--exclude,排除
--exclude-from,從文件中排除
企業(yè)常用參數(shù)組合:-avz或者-vzrtopg
8,rsync守護進程模式應用實踐
(1)安裝
[root@backup ~]# rsync --version
rsync? version 3.1.2? protocol version 31
[root@backup ~]# yum install rsync(不需要)
2)配置配置文件/etc/rsyncd.conf
備份
cp /etc/rsyncd.conf{,.ori}
cat>/etc/rsyncd.conf<<EOF
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync
gid = rsync
use chroot = no
fake super = yes
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = welcome to oldboyedu backup!
path = /backup/
EOF
man rsync 查命令的參數(shù)
man rsyncd.conf 查配置參數(shù)
創(chuàng)建用戶和備份目錄
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 4月? 15 12:12 /backup/
3)啟動和檢查
rsync --daemon(c6及以前)
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd
[root@backup ~]# ps -ef|grep sync|grep -v grep #檢查進程
root? ? ? 7521? ? ? 1? 0 11:39 ?? ? ? ? 00:00:00 /usr/bin/rsync --daemon --no-detach
[root@backup ~]# netstat -lntup|grep 873 #檢查端口
tcp? ? ? ? 0? ? ? 0 0.0.0.0:873? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ? LISTEN? ? ? 7521/rsync? ? ? ? ?
tcp6? ? ? 0? ? ? 0 :::873? ? ? ? ? ? ? ? ? :::*? ? ? ? ? ? ? ? ? ? LISTEN? ? ? 7521/rsync
[root@backup ~]# lsof -i :873 #檢查端口
COMMAND? PID USER? FD? TYPE DEVICE SIZE/OFF NODE NAME
rsync? 7521 root? ? 3u? IPv4? 41439? ? ? 0t0? TCP *:rsync (LISTEN)
rsync? 7521 root? ? 5u? IPv6? 41440? ? ? 0t0? TCP *:rsync (LISTEN)
面試題:如何查看某端口對應什么服務?答案就是上面兩個。
4)配置密碼文件
[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@backup ~]# ls -l /etc/rsync.password
-rw------- 1 root root 20 4月? 15 11:51 /etc/rsync.password
rsync服務端配置完成。
(2)以下操作都是在客戶端服務器
以下方法2選1
方法1:認證密碼文件
[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月? 15 11:55 /etc/rsync.password
方法2:
[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc
[root@nfs01 ~]# tail -1 /etc/bashrc
export RSYNC_PASSWORD=oldboy
[root@nfs01 ~]# . /etc/bashrc
[root@nfs01 ~]# echo $RSYNC_PASSWORD
oldboy
rsync客戶端 nfs01 配置完成
現(xiàn)在按照上面的方法配置另一個客戶端web01:
客戶端web01配置完成。
(3)守護進程模式,客戶端rsync的命令語法:
配置服務器端守護進程,實現(xiàn)數(shù)據(jù)傳輸:1,服務器端守護進程;2,客戶端執(zhí)行命令。
pull,拉:從遠端拉取到本地。
語法1(常用):
rsync? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ?[USER@]HOST::SRC...? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[DEST]
rsync命令? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? ? [虛擬用戶]@[主機地址]::[模塊名]? ? ? ? ? ? ? ?本地路徑
語法2:
rsync? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ? rsync://[USER@]HOST::SRC...? ? ? ? ? ? ? ? ? ?[DEST]
rsync命令? ? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? rsync://[虛擬用戶]@[主機地址]/[模塊名]? ? ? ? 本地路徑
push,推:從本地推到遠端。
語法1(常用):? ? ? ? ? ? ? ?
rsync? ? ? ? ? ? ? [OPTION...]? ? ? ? ? ? ? ? ? ?[DEST]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[USER@]HOST::SRC... ? ? ? ? ? ? ? ?
rsync命令? ? ? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? ?本地路徑? ? ? ? ? ? ? ? ? ? ? ? ? ?[虛擬用戶]@[主機地址]::[模塊名] ? ?
語法2:? ? ? ? ? ? ? ? ? ?
rsync? ? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ? ? ?[DEST]? ? ? ? ? ? ? ? ? ? ? ? ? ?rsync://[USER@]HOST::SRC... ? ? ? ? ? ?
rsync命令? ? ? ? ? ?參數(shù)選項? ? ? ? ? ? ? ? ? ? 本地路徑? ? ? ? ? ? ? ? ? ? ? ? rsync://[虛擬用戶]@[主機地址]/[模塊名]
(4)測試成果
a,把服務端的backup里的東西拉到客戶端的/opt下:
先給服務端的backup里放點東西
然后在到客戶端執(zhí)行命令:
b,把客戶端下的/etc/hosts推到服務端的backup里:
然后在服務端查看: