1.1數據庫備份工具
Percona XtraBackup
官方地址:https://www.percona.com/software/mysql-database/percona-xtrabackup
1.2工具的安裝
#安裝
[root@localhost ~]# cd /opt/
[root@localhost opt]# wget?https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.5/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm
[root@localhost opt]# yum installpercona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm
#如果提示缺失依賴包
[root@localhost opt]# yum -y install perlperl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#如果報錯如下:
postfix-2.10.1-6.el7.x86_64有缺少的需求libmysqlclient.so.18()(64bit)
則需要安裝相關依賴,檢查系統mysql版本:
[root@localhost opt]# mysql
Welcome to the MySQL monitor.Commands end with ; or \g.
Your MySQL connection id is 7
Server version: 5.7.15-log MySQL CommunityServer (GPL)
#下載依賴軟件包
[root@localhost opt]# wgethttp://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.15-1.el7.x86_64.rpm-bundle.tar
#解壓縮并安裝mysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm
[root@localhost opt]# mkdir -p mysql
[root@localhost opt]# cd mysql/
[root@localhost opt]# mvmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar mysql/
[root@localhost mysql]# tar -xvfmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar
[root@localhost mysql]# yum installmysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm
1.3工具的配置
Xtrabackup常用參數
--user=USER指定備份用戶,不指定的話為當前系統用戶
--password=PASSWD指定備份用戶密碼
--port=PORT指定數據庫端口
--defaults-group=GROUP-NAME在多實例的時候使用
--host=HOST指定備份的主機,可以為遠程數據庫服務器
--apply-log回滾日志
--database指定需要備份的數據庫,多個數據庫之間以空格分開
--defaults-file指定mysql的配置文件
--copy-back將備份數據復制回原始位置
--incremental增量備份,后面跟要增量備份的路徑
--incremental-basedir=DIRECTORY增量備份時使用指向上一次的增量備份所在的目錄
--incremental-dir=DIRECTORY增量備份還原的時候用來合并增量備份到全量,用來指定全備路徑
--redo-only對增量備份進行合并
--rsync加快本地文件傳輸,適用于non-InnoDB數據庫引擎。不與--stream共用
--safe-slave-backup
--no-timestamp生成的備份文件不以時間戳為目錄.
1.4備份及恢復策略
增量備份從庫到其他服務器;
若主庫掛而從庫正常,則將主線數據請求切到從庫,嘗試恢復主庫;
若主從都掛,則從備份服務器將數據恢復到從庫,再將主線數據請求切到從庫,之后嘗試恢復主庫,或者直接啟用遠程臨時庫(要考慮集群恢復后遠程臨時庫將變更為真正的數據源,實時數據如何恢復到集群的問題!);
1.5全量備份及恢復
#全量備份及恢復
[root@localhost opt]# innobackupex--user=root --password=dianzhong /data/backup/full
#上個命令在我的/data/backup/full/目錄生成了一個文件夾【2017-10-16_11-57-01】
#一般情況下,這個備份不能用于恢復,因為備份的數據中可能會包含尚未提交的事務或已經提交但尚未同步至數據文件中的事務,此時數據文件處于不一致的狀態
#因此,我們現在就是要通過回滾未提交的事務及同步已經提交的事務至數據文件也使得數據文件處于一致性狀態。
innobackupex --user=root --password--defaults-file=/data/mysql/my.cnf --apply-log /data/backup/full/2017-10-16_11-57-01
#恢復操作演練
#關掉服務,遷移已有的數據目錄
service mysqld stop
mv /data/mysql /data/mysqlold
mkdir -p /data/mysql
#執行innobackupex恢復命令
innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01
#對新目錄執行賦權操作,此操作需在innobackupex恢復命令后
chown -R mysql.mysql /data/mysql
#重啟服務,并檢查數據是否恢復
service mysqld start
1.6增量備份及恢復
#全量備份
innobackupex--defaults-file=/data/mysql/my.cnf--user=root --password=passwd/data/backup/full
#第一次增量備份
innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc1--incremental-basedir=/data/backup/full/2017-10-16_11-57-01
# --incremental-basedir指的是完全備份所在的目錄
#此命令執行結束后,innobackupex命令會在/data/backup目錄中創建一個新的以時間命名的目錄以存放所有的增量備份數據。
#另外,在執行過增量備份之后再一次進行增量備份時,其--incremental-basedir應該指向上一次的增量備份所在的目錄。
#需要注意的是,增量備份僅能應用于InnoDB或XtraDB表,對于MyISAM表而言,執行增量備份時其實進行的是完全備份。
#第二次增量備份
innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc2--incremental-basedir=/data/backup/inc1/2017-10-16_14-52-36
#備份恢復演練
#恢復到第一次備份點
service mysqld stop
mv /data/mysql /data/mysqlold
mkdir -p /data/mysql
innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01
innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36
innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01
chown -R mysql:mysql /data/mysql
service mysqld start
#恢復到第二次備份點(比恢復到第一次備份點多一次操作)
servicemysqld stop
mv/data/mysql /data/mysqlold
mkdir -p/data/mysql
innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01
innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36
innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc2/2017-10-16_14-59-34
innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01
chown -Rmysql:mysql /data/mysql
servicemysqld start
1.7遠程/異地備份
#遠程備份的方法except +
scp +md5(except需要單獨安裝,方法見《expect SCP安裝及使用》)
1.創建遠程機與源機的互信
#生成密鑰對
[root@localhost ~]# ssh-keygen -t rsa
#傳送到遠程機
[root@localhost ~]# ssh-copy-id -i ~/.ssh/id_rsa.pubroot@192.168.0.200
2.備份文件驗證
分別獲取本機備份文件及遠程機備份文件之后比對md5碼
3.限速遠程備份方法
#登陸遠程機并獲取遠程機上備份文件MD5碼的方法(4個參數:遠程機IP、用戶名、密鑰對文件路徑、備份文件路徑)
#!/usr/bin/expect
# viscp.exp#免交互登陸腳本
setipaddress [lindex $argv 0]
setusername [lindex $argv 1]
setpassword_id_rsa [lindex $argv 2]
setfilepath [lindex $argv 3]
if {$argc != 4 } {
puts"Usage: expect scp.exp ipaddress username id_rsa filepath"
exit 1
}
spawn scp-i $password_id_rsa -l 300000 -r $filepath $username@$ipaddress:$filepath
expect"100%"
expect eof
4.登陸遠程機并獲取遠程md5碼的方法
#!/usr/bin/expect
# vi login.exp#免交互登陸腳本
# expectlogin.exp 192.168.0.200 root ~/.ssh/id_rsa
setipaddress [lindex $argv 0]
setusername [lindex $argv 1]
setpassword_id_rsa [lindex $argv 2]
setfilepath [lindex $argv 3]
if {$argc != 4 } {
puts"Usage: expect login.exp ipaddress username id_rsa filepath"
exit 1
}
settimeout 30
spawn ssh-i $password_id_rsa $username@$ipaddress
#spawnssh $username@$ipaddress
#expect"$username@*"{send "df-h\r"}
expect"$username@*"{send"md5sum $filepath\r"}
expect "$username@*"{send "exit\r"}
5.發送備份成功與否的實時信息
通過webQQ接口實時發送
1.8線上自動化備份策略
1.每天凌晨4點全量備份一次,之后每小時增量備份一次
2.多保留一天的備份數據,以便可以按時間點恢復
1.9在其他機器上恢復數據源
當源數據庫短時無法恢復的情況下,可以考慮快速將數據庫在另一臺遠程機上恢復,之后將數據源ip切換即可。
已實驗,在數據庫基礎配置一致的情況下,具體操作過程同1.5、1.6方式一致即可。