Mysql日志

Mysql 有4種類型的日志:Error Log、Genaral Query Log、 Binary Log 和 Slow Query Log**

一、Error Log

記錄Mysql運行過程中的Error、Warning、Note等信息,系統出錯或者某條記錄出問題可以查看Error日志。

  • Mysql的錯誤日志默認以hostname.err存放在Mysql的日志目錄,可以通過以下語句查看:

    mysql> show variables like "log_error";
    +---------------+----------------+
    | Variable_name | Value          |
    +---------------+----------------+
    | log_error     | /tmp/mysql.log |
    +---------------+---------------
    
  • 修改錯誤日志的地址可以在/etc/my.cnf中添加--log-error = [filename]來開啟mysql錯誤日志。我的是:

     log_error = /tmp/mysql.log
    
  • 先來查看一下:tail -f /tmp/mysql.log

    bash-3.2# tail -f /tmp/mysql.log 
    2015-12-23T02:22:41.467311Z 0 [Note] IPv6 is available.
    2015-12-23T02:22:41.467324Z 0 [Note]   - '::' resolves to '::';
    2015-12-23T02:22:41.467350Z 0 [Note] Server socket created on IP: '::'.
    2015-12-23T02:22:41.584287Z 0 [Note] Event Scheduler: Loaded 0 events
    2015-12-23T02:22:41.584390Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: ready for connections.
    Version: '5.7.9'  socket: '/tmp/mysql.sock'  port: 3306  Homebrew
    2015-12-23T02:22:42.540786Z 0 [Note] InnoDB: Buffer pool(s) load completed at 151223 10:22:42
    151223 10:22:51 mysqld_safe A mysqld process already exists
    2015-12-23T02:25:30.984395Z 2 [ERROR] Could not use /tmp/mysql_query.log for logging (error 13 - Permission denied). Turning logging off for the server process. To turn it on again: fix the cause, then either restart the query logging by using "SET GLOBAL GENERAL_LOG=ON" or restart the MySQL server.
    2015-12-23T07:28:03.923562Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 61473ms. The settings might not be optimal. (flushed=0 and evicted=0, during the time.)
    

信息量比較大,暫不分析了。。。。當然 如果mysql配置或連接出錯時, 仍然可以通過tail -f 來跟蹤日志的

二、General Query Log

記錄mysql的日常日志,包括查詢、修改、更新等的每條sql。

  • 先查看mysql是否啟用了查詢日志: show global variables like "%genera%"

    mysql> show global variables like "%genera%";
    +----------------------------------------+----------------------+
    | Variable_name                          | Value                |
    +----------------------------------------+----------------------+
    | auto_generate_certs                    | ON                   |
    | general_log                            | OFF                  |
    | general_log_file                       | /tmp/mysql_query.log |
    | sha256_password_auto_generate_rsa_keys | ON                   |
    +----------------------------------------+----------------------+
    4 rows in set (0.00 sec)
    

    我這里是配置了日志輸出文件:/tmp/mysql_query.log,并且日志功能關閉

  • 查詢日志的輸出文件可以在/etc/my.cnf 中添加general-log-file = [filename]

  • Mysql打開general log日志后,所有的查詢語句都可以在general log文件中輸出,如果打開,文件會非常大,建議調試的時候打開,平時關閉

    mysql> set global general_log = on;
    Query OK, 0 rows affected (0.01 sec)
    
    mysql> set global general_log = off;
    Query OK, 0 rows affected (0.01 sec)
    
  • 注意:

    如果打開了日志功能,但是沒有寫入日志,那就有可能是mysql對日志文件的權限不夠,所以需要指定權限,我的日志文件是 /tmp/mysql_query.log , 則:

    chown mysql:mysql /tmp/mysql_query.log
    

三、Binary Log

二進制日志,包含一些事件,這些事件描述了數據庫的改動,如建表、數據改動等,主要用于備份恢復、回滾操作等

1. 作用:

  • 包含了所有更新了數據或者已經潛在更新了數據(比如沒有匹配任何行的一個DELETE)
  • 包含關于每個更新數據庫(DML)的語句的執行時間信息
  • 不包含沒有修改任何數據的語句,如果需要啟用該選項,需要開啟通用日志功能
  • 主要目的是盡可能的將數據庫恢復到數據庫故障點,因為二進制日志包含備份后進行的所有更新
  • 用于在主復制服務器上記錄所有將發送給從服務器的語句
  • 啟用該選項數據庫性能降低1%,但保障數據庫完整性,對于重要數據庫值得以性能換完整

2. 格式

Binlog有3種格式

  • STATMENT:每一條會修改數據的sql都會記錄到master的binlog中,slave在復制的時候sql進程會解析成和原來master端執行多相同的sql再執行。
    有點:在statement模式下首先就是解決了row模式的缺點,不需要記錄每一行數據的變化減少了binlog日志量,節省了I/O以及存儲資源,提高性能。因為他只需要激勵在master上所執行的語句的細節一屆執行語句時候的上下的信息。
    缺點:在statement模式下,由于他是記錄的執行語句,所以,為了讓這些語句在slave端也能正確執行,那么他還必須記錄每條語句在執行的時候的一些相關信息,也就是上下文信息,以保證所有語句在slave端被執行的時候能夠得到和在master端執行時候相同的結果。另外就是,由于mysql現在發展比較快,很多的新功能不斷的加入,使mysql的復制遇到了不小的挑戰,自然復制的時候涉及到越復雜的內容,bug也就越容易出現。在statement中,目前已經發現不少情況會造成Mysql的復制出現問題,主要是修改數據的時候使用了某些特定的函數或者功能的時候會出現,比如:sleep()函數在有些版本中就不能被正確復制,在存儲過程中使用了last_insert_id()函數,可能會使slave和master上得到不一致的id等等。
  • ROW:日志中會記錄成每一行數據被修改的形式,然后在slave端再對相同的數據進行修改,只記錄要修改的數據,只有value,不會有sql多表關聯的情況。
    優點:在row模式下,bin-log中可以不記錄執行的sql語句的上下文相關的信息,僅僅只需要記錄那一條記錄被修改了,修改成什么樣了,所以row的日志內容會非常清楚的記錄下每一行數據修改的細節,非常容易理解。而且不會出現某些特定情況下的存儲過程和function,以及trigger的調用和出發無法被正確復制問題。
    缺點:在row模式下,所有的執行的語句當記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日志內容。
  • MIXED:MySQL 會根據執行的每一條具體的 SQL 語句來區分對待記錄的日志形式,也就是在 statement 和 row 之間選擇一種

3. 配置

  • 查看mysql中二進制文件的配置情況:show variables like "%log_bin%";

    mysql> show variables like "%log_bin%";
    +---------------------------------+-------+
    | Variable_name                   | Value |
    +---------------------------------+-------+
    | log_bin                         | OFF   |
    | log_bin_basename                |       |
    | log_bin_index                   |       |
    | log_bin_trust_function_creators | OFF   |
    | log_bin_use_v1_row_events       | OFF   |
    | sql_log_bin                     | ON    |
    +---------------------------------+-------+
    

log_bin : 用于設定是否啟用二進制日志, 由此看是未開啟

  • 配置文件仍然是在 /etc/my.cnf 中, 修改/etc/my.cnf, 增加日志文件目錄:

    log_bin = /tmp/mysql-bin.log
    
  • 重啟mysql :

    bash-3.2# mysql.server start;
    Starting MySQL
    . ERROR! The server quit without updating PID file (/usr/local/Cellar/mysql/5.7.9/data/mysql.pid).
    
  • 又報錯,查看錯誤日志,我的配置在/tmp/mysql.log

    151224 00:37:34 mysqld_safe Starting mysqld daemon with databases from /usr/local/var/mysql
    2015-12-23T16:37:34.643998Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
    2015-12-23T16:37:34.644124Z 0 [Warning] 'NO_ZERO_DATE', 'NO_ZERO_IN_DATE' and 'ERROR_FOR_DIVISION_BY_ZERO' sql modes should be used with strict mode. They will be merged with strict mode in a future release.
    2015-12-23T16:37:34.644129Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
    2015-12-23T16:37:34.644189Z 0 [Warning] Insecure configuration for --secure-file-priv: Current value does not restrict location of generated files. Consider setting it to a valid, non-empty path.
    2015-12-23T16:37:34.644226Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld (mysqld 5.7.9-log) starting as process 24268 ...
    2015-12-23T16:37:34.646468Z 0 [Warning] Setting lower_case_table_names=2 because file system for /usr/local/var/mysql/ is case insensitive
    2015-12-23T16:37:34.646945Z 0 [ERROR] You have enabled the binary log, but you haven't provided the mandatory server-id. Please refer to the proper server start-up parameters documentation
    2015-12-23T16:37:34.646978Z 0 [ERROR] Aborting
    
    2015-12-23T16:37:34.646991Z 0 [Note] Binlog end
    2015-12-23T16:37:34.647068Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: Shutdown complete
    
    151224 00:37:34 mysqld_safe mysqld from pid file /usr/local/Cellar/mysql/5.7.9/data/mysql.pid ended
    

重點:

You have enabled the binary log, but you haven't provided the mandatory server-id. Please refer to the proper server start-up parameters documentation

說明需要配置一個server-id, 再拿這句話百度,果然是這樣。所以在 配置文件/etc/my.cn中添加 server-id = 1,再重啟mysql,解決問題。而且在配置的bin-log同級目錄增加了mysql-bin.000001 mysql-bin.index mysql-bin.log 三個文件,前兩個是自動生成。

參數:

log_bin:設置此參數表示啟用binlog功能,并指定路徑名稱

log_bin_index:設置此參數是指定二進制索引文件的路徑與名稱

binlog_do_db:此參數表示只記錄指定數據庫的二進制日志
binlog_ignore_db:此參數表示不記錄指定的數據庫的二進制日志

max_binlog_cache_size:此參數表示binlog使用的內存最大的尺寸

binlog_cache_size:此參數表示binlog使用的內存大小,可以通過狀態變量binlog_cache_use和binlog_cache_disk_use來幫助測試。binlog_cache_use:使用二進制日志緩存的事務數量

binlog_cache_disk_use:使用二進制日志緩存但超過binlog_cache_size值并使用臨時文件來保存事務中的語句的事務數量

max_binlog_size:Binlog最大值,最大和默認值是1GB,該設置并不能嚴格控制Binlog的大小,尤其是Binlog比較靠近最大值而又遇到一個比較大事務時,為了保證事務的完整性,不可能做切換日志的動作,只能將該事務的所有SQL都記錄進當前日志,直到事務結束

sync_binlog:這個參數直接影響mysql的性能和完整性

sync_binlog=0:
當事務提交后,Mysql僅僅是將binlog_cache中的數據寫入Binlog文件,但不執行fsync之類的磁盤 同步指令通知文件系統將緩存刷新到磁盤,而讓Filesystem自行決定什么時候來做同步,這個是性能最好的。
sync_binlog=n,在進行n次事務提交以后,Mysql將執行一次fsync之類的磁盤同步指令,同志文件系統將Binlog文件緩存刷新到磁盤。
Mysql中默認的設置是sync_binlog=0,即不作任何強制性的磁盤刷新指令,這時性能是最好的,但風險也是最大的。一旦系統繃Crash,在文件系統緩存中的所有Binlog信息都會丟失

  • 登錄mysql,再次查看bin-log的狀態,屬于啟用狀態

    mysql> show variables like "%log_bin%";
    +---------------------------------+----------------------+
    | Variable_name                   | Value                |
    +---------------------------------+----------------------+
    | log_bin                         | ON                   |
    | log_bin_basename                | /tmp/mysql-bin       |
    | log_bin_index                   | /tmp/mysql-bin.index |
    | log_bin_trust_function_creators | OFF                  |
    | log_bin_use_v1_row_events       | OFF                  |
    | sql_log_bin                     | ON                   |
    +---------------------------------+----------------------+
    
  • binlog的刪除
    binlog的刪除可以手工刪除或自動刪除

自動刪除binlog

通過binlog參數(expire_logs_days )來實現mysql自動刪除binlog

    mysql> show binary logs;
    +------------------+-----------+
    | Log_name         | File_size |
    +------------------+-----------+
    | mysql-bin.000001 |       869 |
    +------------------+-----------+
    1 row in set (0.00 sec)
    
    mysql> show variables like 'expire_logs_days' ;
    +------------------+-------+
    | Variable_name    | Value |
    +------------------+-------+
    | expire_logs_days | 0     |
    +------------------+-------+
    1 row in set (0.00 sec)
    
    mysql> ;set global expire_logs_days=3;
    ERROR: 
    No query specified
    
    Query OK, 0 rows affected (0.00 sec)
    
    mysql> show variables like 'expire_logs_days' ;
    +------------------+-------+
    | Variable_name    | Value |
    +------------------+-------+
    | expire_logs_days | 3     |
    +------------------+-------+
    1 row in set (0.00 sec)

手工刪除binlog

    mysql> reset master;   //刪除master的binlog
    mysql> reset slave;    //刪除slave的中繼日志
    mysql> purge master logs before '2012-03-30 17:20:00';  //刪除指定日期以前的日志索引中binlog日志文件
    mysql> purge master logs to 'mysql-bin.000001';   //刪除指定日志文件的日志索引中binlog日志文件

或者直接用操作系統命令直接刪除

    mysql> set sql_log_bin=1/0; //如果用戶有super權限,可以啟用或禁用當前會話的binlog記錄
    mysql> show master logs; //查看master的binlog日志 
    mysql> show binary logs; //查看master的binlog日志
    mysql> show master status; //用于提供master二進制日志文件的狀態信息
    mysql> show slave hosts; //顯示當前注冊的slave的列表。不以--report-host=slave_name選項為開頭的slave不會顯示在本列表中
  • blog查看:通過mysqlbinlog 查看日志文件

    bash-3.2# mysqlbinlog /tmp/mysql-bin.log 
    

四、Slow Query Log

記錄Mysql 慢查詢的日志
修改配置文件 /etc/my.cnf

1. Mysql 慢查詢配置相關命令:

  • 查看日志功能是否開啟:show variables like "%slow%";

    mysql> show variables like "%slow%";
    +---------------------------+----------------------------------------------------+
    | Variable_name             | Value                                              |
    +---------------------------+----------------------------------------------------+
    | log_slow_admin_statements | OFF                                                |
    | log_slow_slave_statements | OFF                                                |
    | slow_launch_time          | 2                                                  |
    | slow_query_log            | OFF                                                |
    | slow_query_log_file       | /usr/local/var/mysql/tongkundeMacBook-Pro-slow.log |
    +---------------------------+----------------------------------------------------+
    

    slow_query_log 配置為OFF , 說明未開啟慢日志

  • 打開慢日志功能:set global slow_query_log = on;

    mysql> set global slow_query_log = on;
    Query OK, 0 rows affected (0.06 sec)
    
  • 查看下默認設置的慢查詢的時間:show variables like "%long_query%";

    mysql> show variables like "%long_query%";
    +-----------------+-----------+
    | Variable_name   | Value     |
    +-----------------+-----------+
    | long_query_time | 10.000000 |
    +-----------------+-----------+
    

    可以看出,默認是10秒,按照這個配置,數據得上n億才能達到,為了測試我們修改一下

2. 修改Mysql配置文件的方式

  • 打開/etc/my.cnf , 加入慢查詢配置文件

    slow-query-log = 1
    slow-query-log-file = /tmp/mysql-slow.log
    long_query_time = 1 #設置滿請求時間, 設置查多少秒的查詢算是慢查詢
    

    保存退出后要重啟mysql

    mysql.server restart;
    
  • 通過mysql命令查看配置:

    mysql> show variables like "%slow%";
    +---------------------------+---------------------+
    | Variable_name             | Value               |
    +---------------------------+---------------------+
    | log_slow_admin_statements | OFF                 |
    | log_slow_slave_statements | OFF                 |
    | slow_launch_time          | 2                   |
    | slow_query_log            | OFF                 |
    | slow_query_log_file       | /tmp/mysql-slow.log |
    +---------------------------+---------------------+
    

    這里顯示慢日志功能還未開啟

  • 打開慢日志功能

    mysql> set global slow_query_log = on;
    ERROR 29 (HY000): File '/tmp/mysql-slow.log' not found (Errcode: 13 - Permission denied)
    

    恩,報錯了,說明什么呢,權限不夠,那就給權限,退出mysql 執行:

     chown mysql:mysql /tmp/mysql-slow.log 
    

    回到mysql,再次打開慢日志:

    mysql> set global slow_query_log = on;
    Query OK, 0 rows affected (0.00 sec)
    

    ok, 解決。

3. 測試一下

  • 先監控下日志: tail -f /tmp/mysql-slow.log

  • 在mysql中分別執行兩句查詢:

    mysql> SELECT 2;
    +---+
    | 2 |
    +---+
    | 2 |
    +---+
    1 row in set (0.00 sec)
    
    mysql> SELECT sleep(3);
    +----------+
    | sleep(3) |
    +----------+
    |        0 |
    +----------+
    1 row in set (3.01 sec)
    
  • 查看一下日志文件的輸出:
    ?

    # Time: 2015-12-23T15:50:44.140140Z
    # User@Host: root[root] @ localhost []  Id:     2
    # Query_time: 3.003542  Lock_time: 0.000000 Rows_sent: 1  Rows_examined: 0
    SET timestamp=1450885844;
    SELECT sleep(3);
    

    基本上查詢的所有信息都有顯示,就不多白花了。

?

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,606評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,582評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,540評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,028評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,801評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,223評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,294評論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,442評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,976評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,800評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,996評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,543評論 5 360
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,233評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,662評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,926評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,702評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,991評論 2 374

推薦閱讀更多精彩內容