1.Xtrabackup介紹
Xtrabackup是一個對InnoDB做數據備份的工具,支持在線熱備份(備份時不影響數據讀寫),是商業備份工具InnoDB Hotbackup的一個很好的替代品。
Xtrabackup有兩個主要的工具:xtrabackup、innobackupex
xtrabackup只能備份InnoDB和XtraDB兩種數據表,而不能備份MyISAM數據表。
innobackupex是參考了InnoDB Hotbackup的innoback腳本修改而來的.innobackupex是一個perl腳本封裝,封裝了xtrabackup。主要是為了方便的 同時備份InnoDB和MyISAM引擎的表,但在處理myisam時需要加一個讀鎖。并且加入了一些使用的選項。如slave-info可以記錄備份恢 復后,作為slave需要的一些信息,根據這些信息,可以很方便的利用備份來重做slave。
Xtrabackup工具支持對InnoDB存儲引擎的增量備份,工作原理如下:
- 首先完成一個完全備份,并記錄下此時檢查點的LSN(Log Sequence Number)
- 在進程增量備份時,比較表空間中每個頁的LSN是否大于上次備份時的LSN,如果是,則備份該頁,同時記錄當前檢查點的LSN。**
- 首先,在logfile中找到并記錄最后一個checkpoint(“last checkpoint LSN”),然后開始從LSN的位置開始拷貝InnoDB的logfile到xtrabackup_logfile;接著,開始拷貝全部的數據文 件.ibd;在拷貝全部數據文件結束之后,才停止拷貝logfile。 因為logfile里面記錄全部的數據修改情況,所以,即時在備份過程中數據文件被修改過了,恢復時仍然能夠通過解析xtrabackup_logfile保持數據的一致。
2.安裝xtrabackup
官網地址 http://www.percona.com/downloads/XtraBackup/
https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.10/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.10-1.el7.x86_64.rpm
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev-devel perl-Digest-MD5
rpm -ivh percona-xtrabackup-24-2.4.10-1.el7.x86_64.rpm
3.通過innobackupex備份數據庫
#備份全庫
innobackupex --defaults-file=/etc/my.cnf --user=root --password=fangcang --host=127.0.0.1 /opt/backup
-u, --user=name
-p, --password=name
-P, --port=#
-H, --host=name 指定主機
-S, --socket=name 指定sock文件位置
--incremental-basedir 指定全備文件目錄(增量備份選項)
--incremental 創建一個增量備份,而不是完整的備份
--compress[=name] 壓縮
--export 導出
#備份單庫
innobackupex --defaults-file=/etc/my.cnf --user=root --password=fangcang --databases=opsmanage /opt/backup/
#創建test庫 全量備份基礎上增量備份
create database test
innobackupex --defaults-file=/etc/my.cnf --user=root --password=fangcang --incremental-basedir=/opt/backup/2018-04-23_15-20-15/ --incremental /opt/backup/
#創建test01 增量基礎上再創建增量
create database test01
innobackupex --defaults-file=/etc/my.cnf --user=root --password=fangcang --incremental-basedir=/opt/backup/2018-04-23_15-22-29/ --incremental /opt/backup/
#查看/opt/backup下三個文件
[root@WareHouse backup]# ll
total 0
drwxr-x--- 7 root root 255 Apr 23 15:20 2018-04-23_15-20-15(全備文件)
drwxr-x--- 8 root root 293 Apr 23 15:22 2018-04-23_15-22-29(第一次增備)
drwxr-x--- 9 root root 307 Apr 23 15:31 2018-04-23_15-31-03 (第二次增備)
[root@WareHouse backup]# du -sh *
101M 2018-04-23_15-20-15
5.7M 2018-04-23_15-22-29
5.7M 2018-04-23_15-31-03
#目錄下面還可以看到LSN及backup status (增備|完備)
[root@WareHouse backup]# cat 2018-04-23_15-20-15/xtrabackup_checkpoints
backup_type = full-backuped(全備)
from_lsn = 0
to_lsn = 4459200
last_lsn = 4459209
compact = 0
recover_binlog_info = 0
[root@WareHouse backup]# cat 2018-04-23_15-22-29/xtrabackup_checkpoints
backup_type = incremental(增量)
from_lsn = 4459200
to_lsn = 4459200
last_lsn = 4459209
compact = 0
recover_binlog_info = 0
[root@WareHouse backup]# cat 2018-04-23_15-31-03/xtrabackup_checkpoints
backup_type = incremental(增量)
from_lsn = 4459200
to_lsn = 4459200
last_lsn = 4459209
compact = 0
recover_binlog_info = 0
4.通過innobackupex恢復數據庫
#查看當前數據庫
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| cmdb_v2 |
| mysql |
| opsmanage |
| performance_schema |
| sys |
| test |
| test01 |
+--------------------+
8 rows in set (0.05 sec)
#刪除test01,模擬恢復數據庫
mysql> drop test01;
##開始恢復test01
/etc/init.d/mysqld stop #停止數據庫
rm -rf /usr/local/mysql/data/* #刪除數據文件
#第一次還原
innobackupex --defaults-file=/etc/my.cnf -u root -p fangcang --apply-log --redo-only /opt/backup/2018-04-23_15-20-15/
#第二次還原帶增量1
innobackupex --defaults-file=/etc/my.cnf -u root -p fangcang --apply-log --redo-only /opt/backup/2018-04-23_15-20-15/ --incremental-dir=/opt/backup/2018-04-23_15-22-29/
#第三次還原帶增量2
innobackupex --defaults-file=/etc/my.cnf -u root -p fangcang --apply-log --redo-only /opt/backup/2018-04-23_15-20-15/ --incremental-dir=/opt/backup/2018-04-23_15-31-03/
#最后進行全量還原
innobackupex --defaults-file=/etc/my.cnf -u=root -p=fangcang --apply-log /opt/backup/2018-04-23_15-20-15/
innobackupex --defaults-file=/etc/my.cnf -u=root -p=fangcang --copy-back /opt/backup/2018-04-23_15-20-15/
chown -R mysql:mysql /usr/local/mysql/data/
/etc/init.d/mysqld start
#查看數據庫已恢復
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| cmdb_v2 |
| mysql |
| opsmanage |
| performance_schema |
| sys |
| test |
| test01 |
+--------------------+
8 rows in set (0.00 sec)
5.innobackupex備份腳本
#mysql全量備份
#描述 執行報錯加--scoket=/tmp/mysql.sock 或者 --host=127.0.0.1,此處是ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock
#--stream流備份無法使用--stream=tar /opt/backup | gzip > /opt/backup/`date +%F_%H-%M-%S`.tar.gz
#!/bin/bash
logfile="/opt/backup/mysql_fullbak.log"
backuplogfile="/opt/backup/mysqlbackup.log"
mysql_bakdir="/opt/backup"
user=root
password=fangcang
if [ ! -d $mysql_bakdir ];then
mkdir -p $mysql_bakdir
if [ ! -f $logfile ];then
touch $logfile
innobackupex --defaults-file=/etc/my.cnf -u=${user} -p=${password} --compress --parallel=4 --throttle=100 ${mysql_bakdir} >> $backuplogfile 2>&1 &
result=$?
finishtime=`date +%Y%m%d_%H%M%S`
if [ ${result} -eq 0 ];then
echo "Mysql fullbakup finished, time: $finishtime">> $logfile"
else
echo "Mysql fullbakup failed,please check time:$finishtime" >> $logfile
fi
#mysql增量備份腳本
#!/bin/bash
time=`date -d '-3 day' +%Y-%m-%d`
logfile="/opt/backup/mysql_full_bak_time.log"
mysql_bakdir="/opt/backup/"
user=root
password=fangcang
lastfullbakdir=`ls /home/mysqlbak/ |grep ${time}`
[ ! -d $mysql_bakdir ] && mkdir -p $mysql_bakdir
[ ! -d $logfile ] && touch $logfile
innobackupex --defaults-file=/etc/my.cnf --user=${user} --password=${password} --incremental-basedir=${mysql_bakdir}/${lastfullbakdir} --incremental ${mysql_bakdir}
finishtime=`date +%Y%m%d_%H%M%S`
[ $? -eq 0 ] && echo "Mysql fullbakup finished, time: $finishtime">> $logfile || echo "Mysql fullbakup failed,please check time:$finishtime">> $logfile