1、MySQL的復制原理以及流程
基本原理流程,3個線程以及之間的關(guān)聯(lián);
- 主:binlog線程——記錄下所有改變了數(shù)據(jù)庫數(shù)據(jù)的語句,放進master上的binlog中;
- 從:io線程——在使用start slave 之后,負責從master上拉取 binlog 內(nèi)容,放進 自己的relay log中;
- 從:sql執(zhí)行線程——執(zhí)行relay log中的語句;
2、MySQL中myisam與innodb的區(qū)別,至少5點
(1)、問5點不同;
1>.InnoDB支持事物,而MyISAM不支持事物
2>.InnoDB支持行級鎖,而MyISAM支持表級鎖
3>.InnoDB支持MVCC, 而MyISAM不支持
4>.InnoDB支持外鍵,而MyISAM不支持
5>.InnoDB不支持全文索引,而MyISAM支持。
(2)、innodb引擎的4大特性
插入緩沖(insert buffer),二次寫(double write),自適應哈希索引(ahi),預讀(read ahead)
(3)、2者selectcount()哪個更快,為什么*
myisam更快,因為myisam內(nèi)部維護了一個計數(shù)器,可以直接調(diào)取。
3、MySQL中varchar與char的區(qū)別以及varchar(50)中的50代表的涵義
(1)、varchar與char的區(qū)別
char是一種固定長度的類型,varchar則是一種可變長度的類型
(2)、varchar(50)中50的涵義
最多存放50個字符,varchar(50)和(200)存儲hello所占空間一樣,但后者在排序時會消耗更多內(nèi)存,因為order by col采用fixed_length計算col長度(memory引擎也一樣)
(3)、int(20)中20的涵義
是指顯示字符的長度
但要加參數(shù)的,最大為255,比如它是記錄行數(shù)的id,插入10筆資料,它就顯示00000000001 ~~~00000000010,當字符的位數(shù)超過11,它也只顯示11位,如果你沒有加那個讓它未滿11位就前面加0的參數(shù),它不會在前面加0
20表示最大顯示寬度為20,但仍占4字節(jié)存儲,存儲范圍不變;
(4)、mysql為什么這么設(shè)計
對大多數(shù)應用沒有意義,只是規(guī)定一些工具用來顯示字符的個數(shù);int(1)和int(20)存儲和計算均一樣;
4、問了innodb的事務(wù)與日志的實現(xiàn)方式
(1)、有多少種日志;
錯誤日志:記錄出錯信息,也記錄一些警告信息或者正確的信息。
查詢?nèi)罩荆河涗浰袑?shù)據(jù)庫請求的信息,不論這些請求是否得到了正確的執(zhí)行。
慢查詢?nèi)罩荆涸O(shè)置一個閾值,將運行時間超過該值的所有SQL語句都記錄到慢查詢的日志文件中。
二進制日志:記錄對數(shù)據(jù)庫執(zhí)行更改的所有操作。
中繼日志:
事務(wù)日志:
(2)、事物的4種隔離級別
隔離級別
讀未提交(RU)
讀已提交(RC)
可重復讀(RR)
串行
(3)、事務(wù)是如何通過日志來實現(xiàn)的,說得越深入越好。
事務(wù)日志是通過redo和innodb的存儲引擎日志緩沖(Innodb log buffer)來實現(xiàn)的,當開始一個事務(wù)的時候,會記錄該事務(wù)的lsn(log sequence number)號; 當事務(wù)執(zhí)行時,會往InnoDB存儲引擎的日志的日志緩存里面插入事務(wù)日志;當事務(wù)提交時,必須將存儲引擎的日志緩沖寫入磁盤(通過innodb_flush_log_at_trx_commit來控制),也就是寫數(shù)據(jù)前,需要先寫日志。這種方式稱為“預寫日志方式”
5、MySQL binlog的幾種日志錄入格式以及區(qū)別
Statement:每一條會修改數(shù)據(jù)的sql都會記錄在binlog中。
優(yōu)點:不需要記錄每一行的變化,減少了binlog日志量,節(jié)約了IO,提高性能。(相比row能節(jié)約多少性能 與日志量,這個取決于應用的SQL情況,正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量,但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產(chǎn)生大量日志,因此在考慮是否使用ROW格式日志時應該跟據(jù)應用的實際情況,其所 產(chǎn)生的日志量會增加多少,以及帶來的IO性能問題。)
缺點:由于記錄的只是執(zhí)行語句,為了這些語句能在slave上正確運行,因此還必須記錄每條語句在執(zhí)行的時候的 一些相關(guān)信息,以保證所有語句能在slave得到和在master端執(zhí)行時候相同 的結(jié)果。另外mysql 的復制,像一些特定函數(shù)功能,slave可與master上要保持一致會有很多相關(guān)問題(如sleep()函數(shù), last_insert_id(),以及user-defined functions(udf)會出現(xiàn)問題).
使用以下函數(shù)的語句也無法被復制:
- LOAD_FILE()
- UUID()
- USER()
- FOUND_ROWS()
- SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項)
- 同時在INSERT …SELECT 會產(chǎn)生比 RBR 更多的行級鎖
- 2.Row:不記錄sql語句上下文相關(guān)信息,僅保存哪條記錄被修改。
- 優(yōu)點: binlog中可以不記錄執(zhí)行的sql語句的上下文相關(guān)的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會非常清楚的記錄下 每一行數(shù)據(jù)修改的細節(jié)。而且不會出現(xiàn)某些特定情況下的存儲過程,或function,以及trigger的調(diào)用和觸發(fā)無法被正確復制的問題
- 缺點:所有的執(zhí)行的語句當記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產(chǎn)生大量的日志內(nèi)容,比 如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日志量會很大,特別是當執(zhí)行alter table之類的語句的時候,由于表結(jié)構(gòu)修改,每條記錄都發(fā)生改變,那么該表每一條記錄都會記錄到日志中。
- 3.Mixedlevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式保存binlog,如一些函數(shù),statement無法完成主從復制的操作,則 采用row格式保存binlog,MySQL會根據(jù)執(zhí)行的每一條具體的sql語句來區(qū)分對待記錄的日志形式,也就是在Statement和Row之間選擇 一種.新版本的MySQL中隊row level模式也被做了優(yōu)化,并不是所有的修改都會以row level來記錄,像遇到表結(jié)構(gòu)變更的時候就會以statement>模式來記錄。至于update或者delete等修改數(shù)據(jù)的語句,還是會記錄所有行的 變更。
6、MySQL數(shù)據(jù)庫cpu飆升到500%的話他怎么處理?
1、列出所有進程 show processlist,觀察所有進程 ,多秒沒有狀態(tài)變化的(干掉)
2、查看超時日志或者錯誤日志 (做了幾年開發(fā),一般會是查詢以及大批量的插入會導致cpu與i/o上漲,當然不排除網(wǎng)絡(luò)狀態(tài)突然斷了,,導致一個請求服務(wù)器只接受到一半,比如where子句或分頁子句沒有發(fā)送,,當然的一次被坑經(jīng)歷)
7、sql優(yōu)化各種方法
(1)、explain出來的各種item的意義;
select_type
表示查詢中每個select子句的類型
type
表示MySQL在表中找到所需行的方式,又稱“訪問類型”
possible_keys
指出MySQL能使用哪個索引在表中找到行,查詢涉及到的字段上若存在索引,則該索引將被列出,但不一定被查詢使用
key
顯示MySQL在查詢中實際使用的索引,若沒有使用索引,顯示為NULL
key_len
表示索引中使用的字節(jié)數(shù),可通過該列計算查詢中使用的索引的長度
ref
表示上述表的連接匹配條件,即哪些列或常量被用于查找索引列上的值
Extra
包含不適合在其他列中顯示但十分重要的額外信息
(2)、profile的意義以及使用場景;
查詢到 SQL 會執(zhí)行多少時間, 并看出 CPU/Memory 使用量, 執(zhí)行過程中 Systemlock, Table lock 花多少時間等等
8、備份計劃,mysqldump以及xtranbackup的實現(xiàn)原理
(1)、備份計劃;
這里每個公司都不一樣,您別說那種1小時1全備什么的就行
(2)、備份恢復時間;
這里跟機器,尤其是硬盤的速率有關(guān)系,以下列舉幾個僅供參考
20G的2分鐘(mysqldump)
80G的30分鐘(mysqldump)
111G的30分鐘(mysqldump)
288G的3小時(xtra)
3T的4小時(xtra)
邏輯導入時間一般是備份時間的5倍以上
(3)、xtrabackup實現(xiàn)原理
在InnoDB內(nèi)部會維護一個redo日志文件,我們也可以叫做事務(wù)日志文件。事務(wù)日志會存儲每一個InnoDB表數(shù)據(jù)的記錄修改。當InnoDB啟動時,InnoDB會檢查數(shù)據(jù)文件和事務(wù)日志,并執(zhí)行兩個步驟:它應用(前滾)已經(jīng)提交的事務(wù)日志到數(shù)據(jù)文件,并將修改過但沒有提交的數(shù)據(jù)進行回滾操作。
9、mysqldump中備份出來的sql,如果我想sql文件中,一行只有一個insert….value()的話,怎么辦?如果備份需要帶上master的復制點信息怎么辦?
--skip-extended-insert
<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">[root@helei-zhuanshu ~]# mysqldump -uroot -p helei --skip-extended-insert
Enter password:
KEY `idx_c1` (`c1`),
KEY `idx_c2` (`c2`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `helei`
--
LOCK TABLES `helei` WRITE;
/*!40000 ALTER TABLE `helei` DISABLE KEYS */;
INSERT INTO `helei` VALUES (1,32,37,38,'2016-10-18 06:19:24','susususususususususususu');
INSERT INTO `helei` VALUES (2,37,46,21,'2016-10-18 06:19:24','susususususu');
INSERT INTO `helei` VALUES (3,21,5,14,'2016-10-18 06:19:24','susu');
</pre>
10、500臺db,在最快時間之內(nèi)重啟
puppet,dsh
11、innodb的讀寫參數(shù)優(yōu)化
(1)、讀取參數(shù)
global buffer pool以及 local buffer;
(2)、寫入?yún)?shù);
innodb_flush_log_at_trx_commit
innodb_buffer_pool_size
(3)、與IO相關(guān)的參數(shù);
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_thread_concurrency = 0
(4)、緩存參數(shù)以及緩存的適用場景。
query cache/query_cache_type
并不是所有表都適合使用query cache。造成query cache失效的原因主要是相應的table發(fā)生了變更
第一個:讀操作多的話看看比例,簡單來說,如果是用戶清單表,或者說是數(shù)據(jù)比例比較固定,比如說商品列表,是可以打開的,前提是這些庫比較集中,數(shù)據(jù)庫中的實務(wù)比較小。
第二個:我們“行騙”的時候,比如說我們競標的時候壓測,把query cache打開,還是能收到qps激增的效果,當然前提示前端的連接池什么的都配置一樣。大部分情況下如果寫入的居多,訪問量并不多,那么就不要打開,例如社交網(wǎng)站的,10%的人產(chǎn)生內(nèi)容,其余的90%都在消費,打開還是效果很好的,但是你如果是qq消息,或者聊天,那就很要命。
第三個:小網(wǎng)站或者沒有高并發(fā)的無所謂,高并發(fā)下,會看到 很多 qcache 鎖 等待,所以一般高并發(fā)下,不建議打開query cache
12、你是如何監(jiān)控你們的數(shù)據(jù)庫的?你們的慢日志都是怎么查詢的?
監(jiān)控的工具有很多,例如zabbix,lepus,我這里用的是lepus
13、你是否做過主從一致性校驗,如果有,怎么做的,如果沒有,你打算怎么做?
主從一致性校驗有多種工具 例如checksum、mysqldiff、pt-table-checksum等
14、你們數(shù)據(jù)庫是否支持emoji表情,如果不支持,如何操作?
如果是utf8字符集的話,需要升級至utf8_mb4方可支持
15、你是如何維護數(shù)據(jù)庫的數(shù)據(jù)字典的?
這個大家維護的方法都不同,我一般是直接在生產(chǎn)庫進行注釋,利用工具導出成excel方便流通。
16、表中有大字段X(例如:text類型),且字段X不會經(jīng)常更新,以讀為為主,請問
拆帶來的問題:連接消耗 + 存儲拆分空間;不拆可能帶來的問題:查詢性能;
1、如果能容忍拆分帶來的空間問題,拆的話最好和經(jīng)常要查詢的表的主鍵在物理結(jié)構(gòu)上放置在一起(分區(qū)) 順序IO,減少連接消耗,最后這是一個文本列再加上一個全文索引來盡量抵消連接消耗
2、如果能容忍不拆分帶來的查詢性能損失的話:上面的方案在某個極致條件下肯定會出現(xiàn)問題,那么不拆就是最好的選擇
17、MySQL中InnoDB引擎的行鎖是通過加在什么上完成(或稱實現(xiàn))的?為什么是這樣子的?
InnoDB是基于索引來完成行鎖
例: select * from tab_with_index where id = 1 for update;
for update 可以根據(jù)條件來完成行鎖鎖定,并且 id 是有索引鍵的列,
如果 id 不是索引鍵那么InnoDB將完成表鎖,,并發(fā)將無從談起
18、開放性問題:據(jù)說是騰訊的
一個6億的表a,一個3億的表b,通過外間tid關(guān)聯(lián),你如何最快的查詢出滿足條件的第50000到第50200中的這200條數(shù)據(jù)記錄。
1、如果A表TID是自增長,并且是連續(xù)的,B表的ID為索引
select * from a,b where a.tid = b.id and a.tid>500000 limit 200;
2、如果A表的TID不是連續(xù)的,那么就需要使用覆蓋索引.TID要么是主鍵,要么是輔助索引,B表ID也需要有索引。
select * from b , (select tid from a limit 50000,200) a where b.id = a .tid;
19、什么是存儲過程?有哪些優(yōu)缺點?
存儲過程是一些預編譯的SQL語句。
1、更加直白的理解:存儲過程可以說是一個記錄集,它是由一些T-SQL語句組成的代碼塊,這些T-SQL語句代碼像一個方法一樣實現(xiàn)一些功能(對單表或多表的增刪改查),然后再給這個代碼塊取一個名字,在用到這個功能的時候調(diào)用他就行了。
2、存儲過程是一個預編譯的代碼塊,執(zhí)行效率比較高,一個存儲過程替代大量T_SQL語句 ,可以降低網(wǎng)絡(luò)通信量,提高通信速率,可以一定程度上確保數(shù)據(jù)安全
20、索引是什么?有什么作用以及優(yōu)缺點?
1、索引是對數(shù)據(jù)庫表中一或多個列的值進行排序的結(jié)構(gòu),是幫助MySQL高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)
2、索引就是加快檢索表中數(shù)據(jù)的方法。數(shù)據(jù)庫的索引類似于書籍的索引。在書籍中,索引允許用戶不必翻閱完整個書就能迅速地找到所需要的信息。在數(shù)據(jù)庫中,索引也允許數(shù)據(jù)庫程序迅速地找到表中的數(shù)據(jù),而不必掃描整個數(shù)據(jù)庫。
MySQL數(shù)據(jù)庫幾個基本的索引類型:普通索引、唯一索引、主鍵索引、全文索引
1、索引加快數(shù)據(jù)庫的檢索速度
2、索引降低了插入、刪除、修改等維護任務(wù)的速度
3、唯一索引可以確保每一行數(shù)據(jù)的唯一性
4、通過使用索引,可以在查詢的過程中使用優(yōu)化隱藏器,提高系統(tǒng)的性能
5、索引需要占物理和數(shù)據(jù)空間
21、什么是事務(wù)?
事務(wù)(Transaction)是并發(fā)控制的基本單位。所謂的事務(wù),它是一個操作序列,這些操作要么都執(zhí)行,要么都不執(zhí)行,它是一個不可分割的工作單位。事務(wù)是數(shù)據(jù)庫維護數(shù)據(jù)一致性的單位,在每個事務(wù)結(jié)束時,都能保持數(shù)據(jù)一致性。
24、數(shù)據(jù)庫的樂觀鎖和悲觀鎖是什么?
數(shù)據(jù)庫管理系統(tǒng)(DBMS)中的并發(fā)控制的任務(wù)是確保在多個事務(wù)同時存取數(shù)據(jù)庫中同一數(shù)據(jù)時不破壞事務(wù)的隔離性和統(tǒng)一性以及數(shù)據(jù)庫的統(tǒng)一性。樂觀并發(fā)控制(樂觀鎖)和悲觀并發(fā)控制(悲觀鎖)是并發(fā)控制主要采用的技術(shù)手段。
悲觀鎖:假定會發(fā)生并發(fā)沖突,屏蔽一切可能違反數(shù)據(jù)完整性的操作
樂觀鎖:假設(shè)不會發(fā)生并發(fā)沖突,只在提交操作時檢查是否違反數(shù)據(jù)完整性。
22、使用索引查詢一定能提高查詢的性能嗎?為什么
通常,通過索引查詢數(shù)據(jù)比全表掃描要快.但是我們也必須注意到它的代價.
1、索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時,索引本身也會被修改. 這意味著每條記錄的INSERT,DELETE,UPDATE將為此多付出4,5 次的磁盤I/O. 因為索引需要額外的存儲空間和處理,那些不必要的索引反而會使查詢反應時間變慢.使用索引查詢不一定能提高查詢性能,索引范圍查詢(INDEX RANGE SCAN)適用于兩種情況:
2、基于一個范圍的檢索,一般查詢返回結(jié)果集小于表中記錄數(shù)的30%
3、基于非唯一性索引的檢索
23、簡單說一說drop、delete與truncate的區(qū)
SQL中的drop、delete、truncate都表示刪除,但是三者有一些差別
1、delete和truncate只刪除表的數(shù)據(jù)不刪除表的結(jié)構(gòu)
2、速度,一般來說: drop> truncate >delete
3、delete語句是dml,這個操作會放到rollback segement中,事務(wù)提交之后才生效;
4、如果有相應的trigger,執(zhí)行的時候?qū)⒈挥|發(fā). truncate,drop是ddl, 操作立即生效,原數(shù)據(jù)不放到rollback segment中,不能回滾. 操作不觸發(fā)trigger.
24、drop、delete與truncate分別在什么場景之下使用?
1、不再需要一張表的時候,用drop
2、想刪除部分數(shù)據(jù)行時候,用delete,并且?guī)蟱here子句
3、保留表而刪除所有數(shù)據(jù)的時候用truncate
25、超鍵、候選鍵、主鍵、外鍵分別是什么?
1、超鍵:在關(guān)系中能唯一標識元組的屬性集稱為關(guān)系模式的超鍵。一個屬性可以為作為一個超鍵,多個屬性組合在一起也可以作為一個超鍵。超鍵包含候選鍵和主鍵。
2、候選鍵:是最小超鍵,即沒有冗余元素的超鍵。
3、主鍵:數(shù)據(jù)庫表中對儲存數(shù)據(jù)對象予以唯一和完整標識的數(shù)據(jù)列或?qū)傩缘慕M合。一個數(shù)據(jù)列只能有一個主鍵,且主鍵的取值不能缺失,即不能為空值(Null)。
4、外鍵:在一個表中存在的另一個表的主鍵稱此表的外鍵。
26、什么是視圖?以及視圖的使用場景有哪些?
1、視圖是一種虛擬的表,具有和物理表相同的功能。可以對視圖進行增,改,查,操作,試圖通常是有一個表或者多個表的行或列的子集。對視圖的修改不影響基本表。它使得我們獲取數(shù)據(jù)更容易,相比多表查詢。
2、只暴露部分字段給訪問者,所以就建一個虛表,就是視圖。
3、查詢的數(shù)據(jù)來源于不同的表,而查詢者希望以統(tǒng)一的方式查詢,這樣也可以建立一個視圖,把多個表查詢結(jié)果聯(lián)合起來,查詢者只需要直接從視圖中獲取數(shù)據(jù),不必考慮數(shù)據(jù)來源于不同表所帶來的差異
27、說一說三個范式。
第一范式(1NF):數(shù)據(jù)庫表中的字段都是單一屬性的,不可再分。這個單一屬性由基本類型構(gòu)成,包括整型、實數(shù)、字符型、邏輯型、日期型等。第二范式(2NF):數(shù)據(jù)庫表中不存在非關(guān)鍵字段對任一候選關(guān)鍵字段的部分函數(shù)依賴(部分函數(shù)依賴指的是存在組合關(guān)鍵字中的某些字段決定非關(guān)鍵字段的情況),也即所有非關(guān)鍵字段都完全依賴于任意一組候選關(guān)鍵字。第三范式(3NF):在第二范式的基礎(chǔ)上,數(shù)據(jù)表中如果不存在非關(guān)鍵字段對任一候選關(guān)鍵字段的傳遞函數(shù)依賴則符合第三范式。所謂傳遞函數(shù)依賴,指的是如 果存在"A → B → C"的決定關(guān)系,則C傳遞函數(shù)依賴于A。因此,滿足第三范式的數(shù)據(jù)庫表應該不存在如下依賴關(guān)系: 關(guān)鍵字段 → 非關(guān)鍵字段 x → 非關(guān)鍵字段y
為什么某些人會一直比你優(yōu)秀,是因為他本身就很優(yōu)秀還一直在持續(xù)努力變得更優(yōu)秀,而你是不是還在滿足于現(xiàn)狀內(nèi)心在竊喜! 關(guān)注我,私信回復我“666"或者“架構(gòu)資料”
歡迎工作一到五年的Java工程師朋友們加入Java高級架構(gòu):706315665
群內(nèi)提供免費的Java架構(gòu)學習資料(里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼,
MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構(gòu)資料)
合理利用自己每一分每一秒的時間來學習提升自己,不要再用"沒有時間“來掩飾自己思想上的懶惰!趁年輕,使勁拼,給未來的自己一個交代!