課堂筆記(四月十五日)

1,rsync:英文全稱為Remote synchronization,縮寫rsync。是開源、高速的、可實現(xiàn)本地以及遠程,全量以及增量的數(shù)據(jù)復制(拷貝)工具。

2,rsync的作用:工作中需要定時、實時數(shù)據(jù)備份。本地服務器目錄、不同機器、不同機房之間的數(shù)據(jù)備份。這些都可以用rsync完成。

3,rsync功能特性

支持拷貝普通文件與特殊文件,如鏈接文件,設備文件等。

支持排除指定文件或目錄同步放的功能,相當于打包命令tar的排除功能。

可以做到保持原文件或目錄的權(quán)限。時間、軟硬連接、屬主、屬組等所有屬性均不改變。

可實現(xiàn)增量復制,既只復制發(fā)生變化的數(shù)據(jù),因此數(shù)據(jù)傳輸效率很高。

可以使用rcp,rsh,ssh等方式來配合進行隧道加密傳輸文件(rsync本身不對數(shù)據(jù)加密).

可以通過socket(進程方式)傳輸文件和數(shù)據(jù)(服務端和客戶端)。

支持匿名或認證(無需系統(tǒng)用戶)進程模式傳輸,安全的進行數(shù)據(jù)備份及鏡像。

4,全量和增量的區(qū)別:全量是一次性同步全部數(shù)據(jù),增量是同步兩個數(shù)據(jù)庫不同的部分,相比于全量速度快,效率高。

5,增量復制原理

使用quick check算法,只對增量的部分復制,根據(jù)大小屬性的變化進行復制。

2.x比對差異后復制,3.x一遍比對一邊復制。

6,rsync三種工作模式介紹

1)本地(local)

rsync是一個命令

語法:rsync? ? ? [OPTION...]? ? ? ? ?SRC...? ? ? ? ? ? ? ? [DEST]

? ? ? ?rsync命令? ?參數(shù)選項? ? ? ? [源目錄或文件] 目的目錄或文件

命令操作:rsync命令

a,把數(shù)據(jù)從一個地方復制到另一個地方(僅在一臺機器增量),相當于cp。

b,通過加參數(shù)實現(xiàn)刪除文件和清空文件內(nèi)容的功能,相當于rm命令。

c,查看屬性信息功能,相當于ls。

實踐:a,拷貝實踐:

保持文件屬性:

b,刪除實踐

刪除文件內(nèi)容:

刪除目錄下所有文件:

c,查看屬性

2)遠程Shell模式

借助類似ssh隧道傳輸數(shù)據(jù),適合不同的機器之間復制。

異地拷貝,相當于cp,區(qū)別scp是遠程全量拷貝

pull,拉:從遠端拉到本地。

語法:rsync? ? ? ? [OPTION...]? ? ? ? ? [USER@]HOST:SRC...? ? ? ? ? ? ? ? ?[DEST]

? ? ? ? rsync命令? ? ? 參數(shù)選項? ? ? ? [認證用戶]@[主機地址]:[源路徑]? ? ? ? 本地路徑

push,推:從本地推到遠端。

語法:rsync? ? ? ? ? ?[OPTION...]? ? ?SRC...? ? ? ? ? ? ? ? ? ? ?[USER@]HOST:[DEST]

? ? ? ? ? rsync命令? ? ? 參數(shù)選項? ? ? ?本地路徑? ? ? ? ? ?[認證用戶]@[主機地址]:[目標路徑]

push(推)實踐:

rsync -avz /etc/hosts root@172.16.1.41:/opt/

rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/

上述命令是等價的。-e 指定通道? ssh ssh服務連接客戶端? -p 22指定22端口。

拉的命令:rsync -avz root@172.16.1.41:/opt/hosts /opt

? ? ? ? ? ? ? ? ?rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt? (這兩個命令也是等價的)

推拉:a,參照物(執(zhí)行命令的機器)

b,root@172.16.1.41(使用的用戶和主機,就用主機和用戶的密碼)

null和null/ 區(qū)別,null是目錄和目錄下的內(nèi)容,

null/只是目錄下的內(nèi)容,不含本身。

3)rsync守護進程模式:首先要搭建rsync服務端(要有守護進程),然后才能在客戶端實現(xiàn)推拉數(shù)據(jù)。

rsync服務模式:開啟后臺進程,接受別人訪問。

7,rsync命令參數(shù):

-v,顯示輸出過程

-z,壓縮

-a,多參數(shù)集合(-rtopgDl)

-r,遞歸

-t,保持修改時間屬性

-o,保持屬主不變

-p,保持權(quán)限不變

-g,保持用戶組不變

-l,保持拷貝軟鏈接

-q,安靜的拷貝

--bwlimit=KBPS 限制I/O帶寬,KBytes per second。

--delete,刪除

--exclude,排除

--exclude-from,從文件中排除

企業(yè)常用參數(shù)組合:-avz或者-vzrtopg

8,rsync守護進程模式應用實踐

(1)安裝

[root@backup ~]# rsync --version

rsync? version 3.1.2? protocol version 31

[root@backup ~]# yum install rsync(不需要)

2)配置配置文件/etc/rsyncd.conf

備份

cp /etc/rsyncd.conf{,.ori}

cat>/etc/rsyncd.conf<<EOF

#rsync_config_______________start

#created by oldboy

#site: http://www.oldboyedu.com

uid = rsync

gid = rsync

use chroot = no

fake super = yes

max connections = 200

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 172.16.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

[backup]

comment = welcome to oldboyedu backup!

path = /backup/

EOF

man rsync 查命令的參數(shù)

man rsyncd.conf 查配置參數(shù)

創(chuàng)建用戶和備份目錄

[root@backup ~]# useradd rsync

[root@backup ~]# id rsync

uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)

[root@backup ~]# mkdir -p /backup

[root@backup ~]# chown -R rsync.rsync /backup/

[root@backup ~]# ls -ld /backup/

drwxr-xr-x 2 rsync rsync 6 4月? 15 12:12 /backup/

3)啟動和檢查

rsync --daemon(c6及以前)

systemctl start rsyncd

systemctl enable rsyncd

systemctl status rsyncd

[root@backup ~]# ps -ef|grep sync|grep -v grep #檢查進程

root? ? ? 7521? ? ? 1? 0 11:39 ?? ? ? ? 00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep 873 #檢查端口

tcp? ? ? ? 0? ? ? 0 0.0.0.0:873? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ? LISTEN? ? ? 7521/rsync? ? ? ? ?

tcp6? ? ? 0? ? ? 0 :::873? ? ? ? ? ? ? ? ? :::*? ? ? ? ? ? ? ? ? ? LISTEN? ? ? 7521/rsync


[root@backup ~]# lsof -i :873 #檢查端口

COMMAND? PID USER? FD? TYPE DEVICE SIZE/OFF NODE NAME

rsync? 7521 root? ? 3u? IPv4? 41439? ? ? 0t0? TCP *:rsync (LISTEN)

rsync? 7521 root? ? 5u? IPv6? 41440? ? ? 0t0? TCP *:rsync (LISTEN)

面試題:如何查看某端口對應什么服務?答案就是上面兩個。

4)配置密碼文件

[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password

[root@backup ~]# chmod 600 /etc/rsync.password

[root@backup ~]# cat /etc/rsync.password

rsync_backup:oldboy

[root@backup ~]# ls -l /etc/rsync.password

-rw------- 1 root root 20 4月? 15 11:51 /etc/rsync.password

rsync服務端配置完成。

(2)以下操作都是在客戶端服務器

以下方法2選1

方法1:認證密碼文件

[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password

[root@nfs01 ~]# chmod 600 /etc/rsync.password

[root@nfs01 ~]# cat /etc/rsync.password

oldboy

[root@nfs01 ~]# ls -l /etc/rsync.password

-rw------- 1 root root 7 4月? 15 11:55 /etc/rsync.password

方法2:

[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc

[root@nfs01 ~]# tail -1 /etc/bashrc

export RSYNC_PASSWORD=oldboy

[root@nfs01 ~]# . /etc/bashrc

[root@nfs01 ~]# echo $RSYNC_PASSWORD

oldboy

rsync客戶端 nfs01 配置完成

現(xiàn)在按照上面的方法配置另一個客戶端web01:

客戶端web01配置完成。

(3)守護進程模式,客戶端rsync的命令語法:

配置服務器端守護進程,實現(xiàn)數(shù)據(jù)傳輸:1,服務器端守護進程;2,客戶端執(zhí)行命令。

pull,拉:從遠端拉取到本地。

語法1(常用):

rsync? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ?[USER@]HOST::SRC...? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[DEST]

rsync命令? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? ? [虛擬用戶]@[主機地址]::[模塊名]? ? ? ? ? ? ? ?本地路徑

語法2:

rsync? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ? rsync://[USER@]HOST::SRC...? ? ? ? ? ? ? ? ? ?[DEST]

rsync命令? ? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? rsync://[虛擬用戶]@[主機地址]/[模塊名]? ? ? ? 本地路徑

push,推:從本地推到遠端。

語法1(常用):? ? ? ? ? ? ? ?

rsync? ? ? ? ? ? ? [OPTION...]? ? ? ? ? ? ? ? ? ?[DEST]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[USER@]HOST::SRC... ? ? ? ? ? ? ? ?

rsync命令? ? ? ? ? 參數(shù)選項? ? ? ? ? ? ? ? ? ?本地路徑? ? ? ? ? ? ? ? ? ? ? ? ? ?[虛擬用戶]@[主機地址]::[模塊名] ? ?

語法2:? ? ? ? ? ? ? ? ? ?

rsync? ? ? ? ? ? ? ?[OPTION...]? ? ? ? ? ? ? ? ? ?[DEST]? ? ? ? ? ? ? ? ? ? ? ? ? ?rsync://[USER@]HOST::SRC... ? ? ? ? ? ?

rsync命令? ? ? ? ? ?參數(shù)選項? ? ? ? ? ? ? ? ? ? 本地路徑? ? ? ? ? ? ? ? ? ? ? ? rsync://[虛擬用戶]@[主機地址]/[模塊名]

(4)測試成果

a,把服務端的backup里的東西拉到客戶端的/opt下:

先給服務端的backup里放點東西

然后在到客戶端執(zhí)行命令:

b,把客戶端下的/etc/hosts推到服務端的backup里:

然后在服務端查看:

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內(nèi)容