mysql主從復(fù)制

mysql主從復(fù)制

主從復(fù)制慨述

構(gòu)建大型,高性能應(yīng)用程序的基礎(chǔ)
主服務(wù)器復(fù)制負(fù)責(zé)更新,且將更新寫入二進(jìn)制日志文件,并維護(hù)文件的一個(gè)索引以跟蹤日志循環(huán)
從服務(wù)器主動(dòng)連接主庫,通知主服務(wù)器從日志中讀取的最后一次更新的位置(第一次的話就是開始位置)
從服務(wù)器接受從那時(shí)起發(fā)生的任何更新,任何封鎖并等待主庫通知新的更新
注意:任何數(shù)據(jù)更新都必須在主服務(wù)器上進(jìn)行,主能讀寫,從只能讀

使用主從的好處

  1. 提高數(shù)據(jù)庫讀的性能,主庫專注寫操作,從可以多個(gè),分散讀操作
  2. 提高數(shù)據(jù)安全,在從庫做備份不會(huì)影響主庫相關(guān)數(shù)據(jù)

能解決的問題

  1. 數(shù)據(jù)分布(data distribution)
  2. 負(fù)載均衡(load balancing)
  3. 備份(backups)
  4. 高可用性和容錯(cuò)行 High availability and failover,故障切換

mysql支持的復(fù)制方法

  1. statement based replication(SBR) 基于SQL語句的復(fù)制: 主服務(wù)器上執(zhí)行的sql,在從服務(wù)器上同樣執(zhí)行,5.6默認(rèn)使用SBR,
  2. row based replication(RBR) 基于行的復(fù)制: 把改變的內(nèi)容復(fù)制過去,而不是把命令在從服務(wù)器上執(zhí)行一遍,從5.0開始支持
  3. mixed based replication(MBR) 混合型的復(fù)制: 默認(rèn)采用基于語句的復(fù)制,一旦發(fā)現(xiàn)基于語句的無法精確復(fù)制時(shí),就采用基于行的復(fù)制
  4. 基于global transaction identifiers(GTIDs)來進(jìn)行事務(wù)復(fù)制 5.6.5以后版本支持

mysql是異步復(fù)制,mysql cluster是同步復(fù)制。
mysql配置文件設(shè)置復(fù)制方法的變量為binlog_farmat,值為:

  • STATEMENT
  • ROW
  • MIXED

mysql主從復(fù)制模式:半同步模式(接近同步),異步模式(可以配置延遲時(shí)間),同步模式(延時(shí)小一點(diǎn))
mysql主從架構(gòu):master --> slave, master --> slave --> slave, master <--> master

幾種復(fù)制的特點(diǎn)

SBR的特點(diǎn)

二進(jìn)制日志記錄的是sql語句
優(yōu)點(diǎn):

  • 歷史悠久
  • 日志文件更小
  • 記錄了所有的語句,可以用來日后審計(jì)
    缺點(diǎn):
  • 使用如下函數(shù)的語句不能被正確地復(fù)制:load_file(); uuid(), uuid_short(); user(); found_rows(); sysdate(); get_lock(); is_free_lock(); is_used_lock(); master_pos_wait(); rand(); release_lock(); sleep(); version();
  • 在日志中出現(xiàn)如下警告信息的不能正確復(fù)制:[Warning] Statement is not safe to log in statement format.
  • 或者在客戶端中出現(xiàn)show warnings
  • Insert … select語句會(huì)執(zhí)行大量的行級(jí)鎖表
  • Update語句會(huì)執(zhí)行大量的行級(jí)鎖表來掃描整個(gè)表
RBR的特點(diǎn)

主服務(wù)器把表的行變化作為事件寫入二進(jìn)制日志
優(yōu)點(diǎn):

  • 所有的數(shù)據(jù)變化都是被復(fù)制,這是最安全的復(fù)制方式
  • 更少的行級(jí)鎖
    缺點(diǎn):
  • 日志會(huì)很大
  • 不能通過查看日志來審計(jì)執(zhí)行過的sql語句,不過可以通過mysqlbinlog --base64-output=decode-rows --verbose來查看數(shù)據(jù)的 變動(dòng)
MBR

即使用SBR,又使用RBR,默認(rèn)使用SBR

主從復(fù)制工作流程

  1. slave端的SLAVE_IO_RUNNING進(jìn)程連接上master端,提交主庫二進(jìn)制日志文件名及指定的位置(POS)
  2. master端負(fù)責(zé)復(fù)制的IO進(jìn)程根據(jù)文件名及起始位置讀取起始位置及以后的數(shù)據(jù),發(fā)送給slave端的IO線程。返回信息中除了日志所包含的信息之外,還包括本次返回的信息在master端的binary log文件的名稱以及在binary log中的位置
  3. slave端的IO線程收到信息(二進(jìn)制日志事件,binary log events)后,將接收到的日志內(nèi)容依次寫入到save端的relay log文件(mysql-relay-bin.xxxxxx)的最末端,并將讀取到的master端的bin-log的文件名及位置記錄到master-info(也可能是mysql.slave_master_info表)文件中
  4. slave端的SLAVE_SQL_RUNNING進(jìn)程檢測(cè)到relay log 中新增加的內(nèi)容后,會(huì)馬上解析改log文件的內(nèi)容,slave端重做中繼日志中的事件,將改變反映它自己的數(shù)據(jù)。

下圖描述了復(fù)制的過程:

Paste_Image.png

該過程的第一部分就是master記錄二進(jìn)制日志。在每個(gè)事務(wù)更新數(shù)據(jù)完成之前,master在二日志記錄這些改變。MySQL將事務(wù)串行的寫入二進(jìn)制日志,即使事務(wù)中的語句都是交叉執(zhí)行的。在事件寫入二進(jìn)制日志完成后,master通知存儲(chǔ)引擎提交事務(wù)。
下一步就是slave將master的binary log拷貝到它自己的中繼日志。首先,slave開始一個(gè)工作線程——I/O線程。I/O線程在master上打開一個(gè)普通的連接,然后開始binlog dump process。Binlog dump process從master的二進(jìn)制日志中讀取事件,如果已經(jīng)跟上master,它會(huì)睡眠并等待master產(chǎn)生新的事件。I/O線程將這些事件寫入中繼日志。
SQL slave thread(SQL從線程)處理該過程的最后一步。SQL線程從中繼日志讀取事件,并重放其中的事件而更新slave的數(shù)據(jù),使其與master中的數(shù)據(jù)一致。只要該線程與I/O線程保持一致,中繼日志通常會(huì)位于OS的緩存中,所以中繼日志的開銷很小。
此外,在master中也有一個(gè)工作線程:和其它MySQL的連接一樣,slave在master中打開一個(gè)連接也會(huì)使得master開始一個(gè)線程。復(fù)制過程有一個(gè)很重要的限制——復(fù)制在slave上是串行化的,也就是說master上的并行更新操作不能在slave上并行操作。
多級(jí)主從:

Paste_Image.png

主從復(fù)制參數(shù)

server-id = 11 #主從集群中不能重復(fù),唯一ID
log_bin = mysql-bin #啟用二進(jìn)制日志

binlog_format = row #配置二進(jìn)制日志格式

log_timestamps = SYSTEM #主要是控制 error log、genera log,等等記錄日志的顯示時(shí)間參數(shù)

slave-parallel-workers=16 # 從庫啟用多線程同步,默認(rèn)為0,并行執(zhí)行被禁止
slave-parallel-type=LOGICAL_CLOCK # 針對(duì)slave-parallel-workers參數(shù),多進(jìn)程同步時(shí),默認(rèn)是每個(gè)庫同一時(shí)間只能有一個(gè)work進(jìn)程來進(jìn)行工作,如果只有一個(gè)庫,設(shè)置LOGICAL_CLOCK來解除這個(gè)限制,默認(rèn)是DATABASE

log_slave_updates=true #從庫從主庫更新操作也記錄從的binlog日志(主 --> 從 --> 從)連級(jí)復(fù)制時(shí)中間的從庫必須啟用
binlog_checksum=CRC32 #binlog做認(rèn)證
master_verify_checksum=1
slave_sql_verify_checksum=1
binlog_rows_query_log_events=1 #在RBS模式中,binlog日志及relay log日志中記錄具體行的變化內(nèi)容,也會(huì)記錄原始的sql語句(注釋掉)

master_info_repository=TABLE #是否將主狀態(tài)和連接信息記錄到 FILE(master.info)或a TABLE (mysql.slave_master_info)

relay_log_info_repository=TABLE #取決于服務(wù)器的 relay_log_info_repository 設(shè)置(FILE或 TABLE)

如下三個(gè)參數(shù)控制mysql.slave_master_info與mysql.slave_relay_log_info表的刷新頻率
sync_master_info=1 #若master-info-repository為FILE,當(dāng)設(shè)置為0,則每次sync_master_info事件都會(huì)刷新到磁盤,默認(rèn)為10000次刷新到磁盤;若master-info-repository為TABLE,當(dāng)設(shè)置為0,則表不做任何更新,設(shè)置為1,則每次事件會(huì)更新表 #默認(rèn)為10000
sync_relay_log = 1 #默認(rèn)為10000,即每10000次sync_relay_log事件會(huì)刷新到磁盤。為0則表示不刷新,交由OS的cache控制。
sync_relay_log_info = 1 #若relay_log_info_repository為FILE,當(dāng)設(shè)置為0,交由OS刷新磁盤,默認(rèn)為10000次刷新到磁盤;若relay_log_info_repository為TABLE,且為INNODB存儲(chǔ),則無論為任何值,則都每次evnet都會(huì)更新表。

relay_log_recovery=ON #當(dāng)slave從庫宕機(jī)后,假如relay-log損壞了,導(dǎo)致一部分中繼日志沒有處理,則自動(dòng)放棄所有未執(zhí)行的relay-log,并且重新從master上獲取日志,這樣就保證了relay-log的完整性。默認(rèn)情況下該功能是關(guān)閉的

binlog-row-image=minimal #針對(duì)row模式,參數(shù)默認(rèn)值是FULL,為minimal:binlog記錄的就只是影響后的行

server-id = ID
log_bin = mysql-bin
binlog_format = row
log_timestamps = SYSTEM
slave_parallel_workers=16
slave_parallel_type=LOGICAL_CLOCK
log_slave_updates=true
binlog_rows_query_log_events=1
master_info_repository=TABLE
relay_log_info_repository=TABLE
sync_master_info=1
sync_relay_log = 1
sync_relay_log_info = 1
relay_log_recovery=ON
binlog_row_image=minimal

復(fù)制過濾

兩種思路,一種是在主庫上過濾,一種是從庫上過濾

Paste_Image.png

主庫上面僅向二進(jìn)制日志記錄有特定相關(guān)數(shù)據(jù)庫寫操作;
問題:即時(shí)點(diǎn)還原將無法全面恢復(fù)

  • binlog_do_db=
  • binlog_ignore_db=

從庫的SQL_THREAD僅在中繼日志中讀取特定數(shù)據(jù)相關(guān)的語句并應(yīng)用到本地
問題: 會(huì)造成網(wǎng)絡(luò)帶寬及磁盤IO浪費(fèi)

replicate_do_db=
replicate_ignre_db=

replicate_db_table=
replicate_ignore_table=

replicate_wild_do_table=
replicate_wild_ignore_table=

實(shí)例:

replicate-wild-do-table=xxx_db.%
replicate-wild-do-table=yxxx_db.%

replicate-wild-ignore-table =mysql.%
replicate-wild-ignore-table =sys.%
replicate-wild-ignore-table =information_schema.%
replicate-wild-ignore-table =performance_schema.%

主從復(fù)制配置

有很多種配置主從同步的方法,可以總結(jié)為如下的步驟:

  1. 在master端開啟二進(jìn)制日志和配置獨(dú)立的ID
  2. 在每一個(gè)slave端配置一個(gè)唯一的ID,創(chuàng)建一個(gè)用來專門復(fù)制master端數(shù)據(jù)的賬號(hào)
  3. 在開始復(fù)制前,在master端上記錄二進(jìn)制文件位置信息
  4. 如果在開始復(fù)制之前,master端中已經(jīng)有數(shù)據(jù),就必須先建一個(gè)數(shù)據(jù)快照
  5. 配置slave端要連接的master端的IP地址和登陸授權(quán),二進(jìn)制日志名稱及位置

在master端建主從復(fù)制專用用戶
CREATE USER 'userrepl'@'%' IDENTIFIED BY 'userpasswd';
GRANT REPLICATION SLAVE ON . TO 'userrepl'@'%';

基本配置參數(shù)
log-bin=mysql-bin
server-id=1 (每個(gè)主機(jī)的ID唯一)

slave-parallel-workers=16
slave-parallel-type=LOGICAL_CLOCK
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON
binlog-row-image=minimal

傳統(tǒng)方式

從上配置連接主庫的信息
CHANGE MASTER TO
-> MASTER_HOST='Master_IP',
-> MASTER_USER='userrepl',
-> MASTER_PASSWORD='userpasswd',
-> MASTER_LOG_FILE='mysql-bin.000001',
-> MASTER_LOG_POS=xxx;

GTID方式

gtid事物復(fù)制 5.6版本出現(xiàn) 主和從都開啟還需要添加舊版本的配置
gtid_mode = on
enforce-gtid-consistency=true

change master to
-> master_host='192.168.1.102',
-> master_user='repuser',
-> master_password='reppasswd',
-> master_port=3306,
-> master_auto_position = 1,
-> master_delay=30; 配置同步延時(shí)

半同步方式

主節(jié)點(diǎn):
MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
Query OK, 0 rows affected (0.05 sec)

MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE '%semi%';
+------------------------------------+-------+
| Variable_name | Value |
+------------------------------------+-------+
| rpl_semi_sync_master_enabled | OFF |
| rpl_semi_sync_master_timeout | 10000 |
| rpl_semi_sync_master_trace_level | 32 |
| rpl_semi_sync_master_wait_no_slave | ON |
+------------------------------------+-------+
4 rows in set (0.00 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_master_enabled=1;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_master_timeout=2000;
Query OK, 0 rows affected (0.00 sec)

從節(jié)點(diǎn):
MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
Query OK, 0 rows affected (0.05 sec)

MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE '%semi%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| rpl_semi_sync_slave_enabled | OFF |
| rpl_semi_sync_slave_trace_level | 32 |
+---------------------------------+-------+
2 rows in set (0.00 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_slave_enabled=1;
Query OK, 0 rows affected (0.00 sec)

如果從服務(wù)器已經(jīng)啟動(dòng),還需要重啟IO_THREAD;

主從復(fù)制狀態(tài)

mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: xx.xx.xx.xx
Master_User: xxrepl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000061
Read_Master_Log_Pos: 48850622
Relay_Log_File: r430db02-relay-bin.000180
Relay_Log_Pos: 48850835
Relay_Master_Log_File: mysql-bin.000061
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table: y_db.%,yi_db.%,b_db.%,u_cms.%
Replicate_Wild_Ignore_Table: mysql.%,sys.%,information_schema.%,performance_schema.%
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 48850622
Relay_Log_Space: 48851092
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 11
Master_UUID: a614d748-1cd6-11e6-a130-14187760f283
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set: 35e7d774-b8d1-11e5-948c-00163e0c1173:1-766221
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:

GTID

MySQL [(none)]> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: xx.xx.xx.xx
Master_User: xxrepl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 12844624
Relay_Log_File: vm10-20-10-6-relay-bin.000002
Relay_Log_Pos: 12844837
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table: mysql.%,sys.%,information_schema.%,performance_schema.%
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 12844624
Relay_Log_Space: 12845051
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 68
Master_UUID: d5197ac0-5996-11e7-8f1d-fa163e7c7d02
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set: d5197ac0-5996-11e7-8f1d-fa163e7c7d02:1-9459
Executed_Gtid_Set: d5197ac0-5996-11e7-8f1d-fa163e7c7d02:1-9459
Auto_Position: 1
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)

復(fù)制的監(jiān)控及維護(hù)

清理日志:PURGE
復(fù)制監(jiān)控:

  • SHOW MASTER STATUS
  • SHOW BINLOG EVENTS
  • SHOW BINARY LOGS
  • SHOW SLAVE STATUS

多源復(fù)制slave啟動(dòng)和停止
啟動(dòng)所有
START SLAVEthread_types;
啟動(dòng)一個(gè)
start slave for channel "master50";
停止
STOP SLAVEthread_types;
stop slave for channel "master50";
查看
show slave status\G
show slave status for channel "master50"\G
重置
RESET SLAVE;
RESET SLAVE FOR CHANNELchannel;

如何判斷slave是否落后于master
Seconds_Behind_Master: 0

如何確定主從節(jié)點(diǎn)數(shù)據(jù)是否一致?
通過表自身的CHECKSUM檢查
使用percona-tools中pt-table-checksum

數(shù)據(jù)不一致的修復(fù)方法:重復(fù)復(fù)制;

參考資料:
http://wangwei007.blog.51cto.com/68019/965575
http://blog.csdn.net/hguisu/article/details/7325124
http://www.cnblogs.com/kylinlin/p/5258719.html
https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容