轉(zhuǎn)載:一線互聯(lián)網(wǎng)公司服務(wù)器監(jiān)控系統(tǒng)架構(gòu)分享
主題:一線互聯(lián)網(wǎng)公司服務(wù)器監(jiān)控系統(tǒng)架構(gòu)
內(nèi)容：
自動(dòng)運(yùn)維的一點(diǎn)體會(huì)
性能與可用性可擴(kuò)展
功能可擴(kuò)展
監(jiān)控支撐業(yè)務(wù)擴(kuò)展
主講師：PC 老師
大學(xué)時(shí)期就負(fù)責(zé)學(xué)校官方網(wǎng)站的運(yùn)維工作，實(shí)習(xí)期間加入豆瓣，有幸成為豆瓣 Top20 員工，從事 Python 開發(fā)及運(yùn)維工作，后在 BAT 從事自動(dòng)化運(yùn)維，見證BAT 運(yùn)維自動(dòng)化從無到有。擅長系統(tǒng)底層、分布式系統(tǒng)開發(fā)，熱衷于開源運(yùn)動(dòng)，給 memcached、SETI@Home 等多個(gè)開源項(xiàng)目貢獻(xiàn)過代碼。
視頻版
鏈接: https://pan.baidu.com/s/1pNkgbrX 密碼: fsxy
自動(dòng)化運(yùn)維的一點(diǎn)體會(huì)
?不同公司的需求差異
監(jiān)控？
配置管理？
自動(dòng)部署？
調(diào)度系統(tǒng)？
Iaas / Paas？
or more？
不同規(guī)模、不同行業(yè)的公司存在需求差異
自動(dòng)運(yùn)維的幾個(gè)基礎(chǔ)
一本清晰的賬本 (準(zhǔn)確的基礎(chǔ)信息)
一個(gè)靠譜的監(jiān)控?
一個(gè)靠譜的任務(wù)執(zhí)行系統(tǒng)?
自動(dòng)運(yùn)維的基礎(chǔ)
靠譜的監(jiān)控
本質(zhì)：對(duì)被監(jiān)控對(duì)象的指標(biāo)進(jìn)行狀態(tài)判定
一臺(tái)服務(wù)器上 nginx 服務(wù)的連接數(shù)
需要支持網(wǎng)絡(luò)層、服務(wù)器、服務(wù)、業(yè)務(wù)四層
精準(zhǔn)智能
適應(yīng)機(jī)器 的規(guī)模與增長速度
高效、高可用性
支持紛繁多樣的服務(wù)
性能與可擴(kuò)展
?模塊內(nèi)性能
通信
長連接
Epoll
多進(jìn)程/線程
高并發(fā)
并發(fā)度可調(diào)
通信層剝離
統(tǒng)一的高性能通信框架與通信協(xié)議
業(yè)務(wù)開發(fā)簡單清晰
多進(jìn)程工作模型
單進(jìn)程IO復(fù)用接收
多進(jìn)程(worker)并發(fā)處理
模塊功能精簡，便于組合
橫向擴(kuò)展
任意環(huán)節(jié)支持橫向擴(kuò)展
無狀態(tài)、負(fù)載均衡
可支持級(jí)聯(lián)
整體處理性能線性增長
多路多點(diǎn)部署
高可用
去中心化
無單點(diǎn)
負(fù)載均衡
橫向擴(kuò)展
多點(diǎn)部署
自動(dòng)切換
每個(gè)環(huán)節(jié)自動(dòng)切換
WRR
多路冗余
無狀態(tài)
Supervise保證存活
數(shù)據(jù)傳輸可靠性
傳輸過程中多次確認(rèn)
采集到匯聚
轉(zhuǎn)發(fā)到邏輯判斷
轉(zhuǎn)發(fā)到存儲(chǔ)
外部狀態(tài)監(jiān)控
傳輸起始端健康檢查
每個(gè)環(huán)節(jié)的外部監(jiān)控
內(nèi)部判斷
模塊內(nèi)擴(kuò)展
模塊間可擴(kuò)展
采集
匯聚轉(zhuǎn)發(fā)
過濾
報(bào)警
離線存儲(chǔ)
挖掘分析
展示
模塊間可擴(kuò)展性
七巧板搭配
匯聚后的多路傳輸
級(jí)聯(lián)
功能擴(kuò)展簡單
存活監(jiān)控
端口監(jiān)控
集群
核心模塊高度復(fù)用
模塊之間聯(lián)動(dòng)反饋
互聯(lián)互通
存活監(jiān)控
模塊之間聯(lián)動(dòng)反饋
互聯(lián)互通
存活監(jiān)控
功能擴(kuò)展
基礎(chǔ)監(jiān)控 => 自定義監(jiān)控 ? ? ? ?
端口 =>語義監(jiān)控 ?
URL監(jiān)控 => HTTP語義監(jiān)控
URL監(jiān)控 => 訪問質(zhì)量監(jiān)控 ??
服務(wù)器指標(biāo)監(jiān)控 => 集群指標(biāo)監(jiān)控 ? ? ? ?
監(jiān)控支撐業(yè)務(wù)擴(kuò)展
預(yù)算與成本分?jǐn)?? ? ?---offline
結(jié)合基礎(chǔ)信息管理
資源使用與服務(wù)器選型
資源管理 ? --- offline
空閑資源挖掘
資源統(tǒng)計(jì)分析與基礎(chǔ)信息校正
容量管理
空閑資源利用 ?--- offline
存儲(chǔ)資源
計(jì)算資源
調(diào)度決策的基礎(chǔ) --- online
報(bào)警觸發(fā)簡單任務(wù)執(zhí)行
關(guān)聯(lián)報(bào)警挖掘
與業(yè)務(wù)評(píng)估模型結(jié)合
自動(dòng)運(yùn)維平臺(tái)的一個(gè)架構(gòu)簡圖
注意：【51Reboot】架構(gòu)師班4月7日開班
咨詢報(bào)名聯(lián)系
QQ(1)：979950755 ? ?小月? ?
QQ(2)：279312229 ? ?ada ??
WeChat : 1902433859?? 小月
