軍規適用場景:并發量大、數據量大的互聯網業務
軍規:介紹內容
解讀:講解原因,解讀比軍規更重要
一、基礎規范
(1)必須使用InnoDB存儲引擎
解讀:支持事務、行級鎖、并發性能更好、CPU及內存緩存頁優化使得資源利用率更高
(2)必須使用UTF8字符集
解讀:萬國碼,無需轉碼,無亂碼風險,節省空間
(3)數據表、數據字段必須加入中文注釋
解讀:N年后誰tm知道這個r1,r2,r3字段是干嘛的
(4)禁止使用存儲過程、視圖、觸發器、Event
解讀:高并發大數據的互聯網業務,架構設計思路是“解放數據庫CPU,將計算轉移到服務層”,并發量大的情況下,這些功能很可能將數據庫拖死,業務邏輯放到服務層具備更好的擴展性,能夠輕易實現“增機器就加性能”。數據庫擅長存儲與索引,CPU計算還是上移吧
(5)禁止存儲大文件或者大照片
解讀:為何要讓數據庫做它不擅長的事情?大文件和照片存儲在文件系統,數據庫里存URI多好
二、命名規范
(6)只允許使用內網域名,而不是ip連接數據庫
(7)線上環境、開發環境、測試環境數據庫內網域名遵循命名規范
業務名稱:xxx
線上環境:dj.xxx.db
開發環境:dj.xxx.rdb
測試環境:dj.xxx.tdb
從庫在名稱后加-s標識,備庫在名稱后加-ss標識
線上從庫:dj.xxx-s.db
線上備庫:dj.xxx-sss.db
(8)庫名、表名、字段名:小寫,下劃線風格,不超過32個字符,必須見名知意,禁止拼音英文混用
(9)表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx
三、表設計規范
(10)單實例表數目必須小于500
(11)單表列數目必須小于30
(12)表必須有主鍵,例如自增主鍵
解讀:
a)主鍵遞增,數據行寫入可以提高插入性能,可以避免page分裂,減少表碎片提升空間和內存的使用
b)主鍵要選擇較短的數據類型, Innodb引擎普通索引都會保存主鍵的值,較短的數據類型可以有效的減少索引的磁盤空間,提高索引的緩存效率
c) 無主鍵的表刪除,在row模式的主從架構,會導致備庫夯住
(13)禁止使用外鍵約束,可以冗余外鍵,如果有外鍵完整性約束,需要應用程序控制
解讀:外鍵會導致表與表之間耦合,update與delete操作都會涉及相關聯的表,十分影響sql 的性能,甚至會造成死鎖。高并發情況下容易造成數據庫性能,大數據高并發業務場景數據庫使用以性能優先
四、字段設計規范
(14)必須把字段定義為NOT NULL并且提供默認值
解讀:
a)null的列使索引/索引統計/值比較都更加復雜,對MySQL來說更難優化
b)null 這種類型MySQL內部需要進行特殊處理,增加數據庫處理記錄的復雜性;同等條件下,表中有較多空字段的時候,數據庫的處理性能會降低很多
c)null值需要更多的存儲空,無論是表還是索引中每行中的null的列都需要額外的空間來標識
d)對null 的處理時候,只能采用is null或is not null,而不能采用=、in、<、<>、!=、not in這些操作符號。如:where name!=’shenjian’,如果存在name為null值的記錄,查詢結果就不會包含name為null值的記錄
(15)禁止使用TEXT、BLOB類型
解讀:會浪費更多的磁盤和內存空間,非必要的大量的大字段查詢會淘汰掉熱數據,導致內存命中率急劇降低,影響數據庫性能
(16)禁止使用小數存儲貨幣
解讀:使用整數吧,小數容易導致錢對不上
(17)必須使用varchar(20)存儲手機號
解讀:
a)涉及到區號或者國家代號,可能出現+-()
b)手機號會去做數學運算么?
c)varchar可以支持模糊查詢,例如:like“138%”
(18)禁止使用ENUM,可使用TINYINT代替
解讀:
a)增加新的ENUM值要做DDL操作
b)ENUM的內部實際存儲就是整數,你以為自己定義的是字符串?
五、索引設計規范
(19)單表索引建議控制在5個以內
(20)單索引字段數不允許超過5個
解讀:字段超過5個時,實際已經起不到有效過濾數據的作用了
(21)禁止在更新十分頻繁、區分度不高的屬性上建立索引
解讀:
a)更新會變更B+樹,更新頻繁的字段建立索引會大大降低數據庫性能
b)“性別”這種區分度不大的屬性,建立索引是沒有什么意義的,不能有效過濾數據,性能與全表掃描類似
(22)建立組合索引,必須把區分度高的字段放在前面
解讀:能夠更加有效的過濾數據
六、SQL使用規范
(23)禁止使用SELECT *,只獲取必要的字段,需要顯示說明列屬性
解讀:
a)讀取不需要的列會增加CPU、IO、NET消耗
b)不能有效的利用覆蓋索引
c)使用SELECT *容易在增加或者刪除字段后出現程序BUG
(24)禁止使用INSERT INTO t_xxx VALUES(xxx),必須顯示指定插入的列屬性
解讀:容易在增加或者刪除字段后出現程序BUG
(25)禁止使用屬性隱式轉換
解讀:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引,猜猜為什么?(這個線上問題不止出現過一次)
(26)禁止在WHERE條件的屬性上使用函數或者表達式
解讀:SELECT uid FROM t_user WHERE from_unixtime(day)>='2017-02-15' 會導致全表掃描
正確的寫法是:SELECT uid FROM t_user WHERE day>= unix_timestamp('2017-02-15 00:00:00')
(27)禁止負向查詢,以及%開頭的模糊查詢
解讀:
a)負向查詢條件:NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導致全表掃描
b)%開頭的模糊查詢,會導致全表掃描
(28)禁止大表使用JOIN查詢,禁止大表使用子查詢
解讀:會產生臨時表,消耗較多內存與CPU,極大影響數據庫性能
(29)禁止使用OR條件,必須改為IN查詢
解讀:舊版本Mysql的OR查詢是不能命中索引的,即使能命中索引,為何要讓數據庫耗費更多的CPU幫助實施查詢優化呢?
(30)應用程序必須捕獲SQL異常,并有相應處理
總結:大數據量高并發的互聯網業務,極大影響數據庫性能的都不讓用,不讓用喲。
補充:
軍規:必須使用UTF8字符集
和DBA負責人確認后,糾正為“新庫默認使用utf8mb4字符集”。
這點感謝網友的提醒,utf8mb4是utf8的超集,emoji表情以及部分不常見漢字在utf8下會表現為亂碼,故需要升級至utf8mb4。
默認使用這個字符集的原因是:“標準,萬國碼,無需轉碼,無亂碼風險”,并不“節省空間”。
一個潛在坑:阿里云上RDS服務如果要從utf8升級為utf8mb4,需要重啟實例,所以58到家并沒有把所有的數據庫升級成這個字符集,而是“新庫默認使用utf8mb4字符集”。
自搭的Mysql可以完成在線轉換,而不需要重啟數據庫實例。
軍規:數據表、數據字段必須加入中文注釋
這一點應該沒有疑問。
不過也有朋友提出,加入注釋會方便黑客,建議“注釋寫在文檔里,文檔和數據庫同步更新”。這個建議根據經驗來說是不太靠譜的:
(1)不能怕bug就不寫代碼,怕黑客就不寫注釋,對吧?
(2)文檔同步更新也不太現實,還是把注釋寫好,代碼可讀性做好更可行,互聯網公司的文檔管理?呆過互聯網公司的同學估計都清楚。
軍規:禁止使用存儲過程、視圖、觸發器、Event
軍規:禁止使用外鍵,如果有外鍵完整性約束,需要應用程序控制
軍規:禁止大表使用JOIN查詢,禁止大表使用子查詢
很多網友提出,這些軍規不合理,完全做到不可能。
如原文所述,58到家數據庫30條軍規的背景是“并發量大、數據量大的互聯網業務”,這類業務架構設計的重點往往是吞吐量,性能優先(和錢相關的少部分業務是一致性優先),對數據庫性能影響較大的數據庫特性較少使用。這類場景的架構方向是“解放數據庫CPU,把復雜邏輯計算放到服務層”,服務層具備更好的擴展性,容易實現“增機器就擴充性能”,數據庫擅長存儲與索引,勿讓數據庫背負過重的任務。
關于這個點,再有較真的柳巖小編就不回復了哈,任何事情都沒有百分之百,但58到家的數據庫使用確實沒有存儲過程、視圖、觸發器、外鍵、用戶自定義函數,針對業務特性設計架構,等單庫吞吐量到了幾千上萬,就明白這些軍規的重要性啦。
軍規:只允許使用內網域名,而不是ip連接數據庫
這一點應該也沒有疑問。
不只是數據庫,緩存(memcache、redis)的連接,服務(service)的連接都必須使用內網域名,機器遷移/平滑升級/運維管理…太多太多的好處,如果朋友你還是采用ip直連的,趕緊升級到內網域名吧。
軍規:禁止使用小數存儲國幣
有朋友問存儲前乘以100,取出后除以100是否可行,個人建議“盡量少的使用除法”。
曾經踩過這樣的坑,100元分3天攤銷,每天攤銷100/3元,結果得到3個33.33。后來實施對賬系統,始終有幾分錢對不齊,郁悶了很久(不是幾分錢的事,是業務方質疑的眼神讓研發很不爽),最后發現是除法惹的禍。
解決方案:使用“分”作為單位,這樣數據庫里就是整數了。
案例:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引
這個坑大家沒踩過么?
phone是varchar類型,SQL語句帶入的是整形,故不會命中索引,加個引號就好了:
SELECT uid FROM t_user WHERE phone=’13812345678’
軍規:禁止使用負向查詢NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導致全表掃描
此軍規爭議比較大,部分網友反饋不這么做很多業務實現不了,稍微解釋一下:
一般來說,WHERE過濾條件不會只帶這么一個“負向查詢條件”,還會有其他過濾條件,舉個例子:查詢沈劍已完成訂單之外的訂單(好拗口):
SELECT oid FROM t_order WHERE uid=123 AND status != 1;
訂單表5000w數據,但uid=123就會迅速的將數據量過濾到很少的級別(uid建立了索引),此時再接上一個負向的查詢條件就無所謂了,掃描的行數本身就會很少。
但如果要查詢所有已完成訂單之外的訂單:
SELECT oid FROM t_order WHERE status != 1;
這就掛了,立馬CPU100%,status索引會失效,負向查詢導致全表掃描。
末了,除了《58到家數據庫30條軍規解讀》中提到的基礎規范、命名規范、表設計規范、字段設計規范、索引設計規范、SQL使用規范,還有一個行為規范的軍規:
(31)禁止使用應用程序配置文件內的帳號手工訪問線上數據庫
(32)禁止非DBA對線上數據庫進行寫操作,修改線上數據需要提交工單,由DBA執行,提交的SQL語句必須經過測試
(33)分配非DBA以只讀帳號,必須通過VPN+跳板機訪問授權的從庫
(34)開發、測試、線上環境隔離
為什么要制定行為規范的軍規呢,大伙的公司是不是有這樣的情況:
任何研發、測試都有連接線上數據庫的帳號?
是不是經常有這類誤操作?
(1)本來只想update一條記錄,where條件搞錯,update了全部的記錄
(2)本來只想delete幾行記錄,結果刪多了,四下無人,再insert回去
(3)以為drop的是測試庫,結果把線上庫drop掉了
(4)以為操作的是分庫x,結果SecureCRT開窗口太多,操作成了分庫y
(5)寫錯配置文件,壓力測試壓到線上庫了,生成了N多臟數據
…
無數的事情,結果就是打電話給DBA,讓他們幫忙擦屁股。
…
所謂的“業務靈活性”都是扯淡,為什么要有行為規范?不讓你帶刀,不是限制你,而是保護你的安全。要相信DBA是專業的,讓專業的人干專業的事情。別把DBA看做你的對立面,多和他們溝通業務場景,溝通請求讀寫比,溝通訪問模式,他們真的能幫助到你,這是我帶DBA團隊的一些感觸。
誰都可能刪除全庫,能找回數據的,真的只有DBA。