一、職業(yè)發(fā)展
1、技術(shù)專家
發(fā)展規(guī)劃:初中級(jí)工程師 -> 高級(jí)工程師 -> 架構(gòu)師 -> 專家
適宜人群:比較喜歡挑戰(zhàn),熱愛技術(shù),有較強(qiáng)鉆研精神,在某一領(lǐng)域有深入的理解,性格比較內(nèi)向。
2、技術(shù)管理
發(fā)展規(guī)劃:初中級(jí)工程師 -> 高級(jí)工程師 -> 主管/經(jīng)理 -> 總監(jiān) -> CTO(首席技術(shù)官)
適宜人群:技術(shù)知識(shí)面廣,有一些管理思維,善于交際,表達(dá)溝通能力強(qiáng),經(jīng)常關(guān)注行業(yè)內(nèi)動(dòng)態(tài)和主流技術(shù)。
3、目標(biāo)
熟悉運(yùn)維技術(shù)學(xué)習(xí)路線及相關(guān)技能
熟悉職業(yè)發(fā)展方向及面試分析
二、要學(xué)習(xí)的開源技術(shù)
1、初級(jí)
????主要工作
????????修電腦,設(shè)備巡檢
????????服務(wù)器上下架
????????網(wǎng)絡(luò)服務(wù)部署
????????網(wǎng)站平臺(tái)搭建與維護(hù)
????1、Linux基礎(chǔ)
剛開始階段需要熟悉Linux操作系統(tǒng)安裝,目錄結(jié)構(gòu)、啟動(dòng)流程等。
????2、系統(tǒng)管理
主要學(xué)習(xí)Linux系統(tǒng),生產(chǎn)環(huán)境中基本都在字符界面完成工作,所以要掌握常用的幾十個(gè)基本管理命令,包括用戶
管理、磁盤分區(qū)、軟件包管理、文件權(quán)限、文本處理、進(jìn)程管理、性能分析工具等。
????3、網(wǎng)絡(luò)基礎(chǔ)
OSI和TCP/IP模型一定要熟悉。基本的交換機(jī)、路由器概念及實(shí)現(xiàn)原理要知道。
????4、Shell腳本編程基礎(chǔ)
掌握Shell基本語法結(jié)構(gòu),能編寫簡單的腳本即可。
現(xiàn)學(xué)現(xiàn)部署
2、中級(jí)
????主要工作
????????集群網(wǎng)站平臺(tái)搭建
????????數(shù)據(jù)庫基本管理
????????監(jiān)控系統(tǒng)搭建
????????腳本化工作
????1、網(wǎng)絡(luò)服務(wù)
常見的網(wǎng)絡(luò)服務(wù)要會(huì)部署,比如vsftp、nfs、samba、bind、dhcp等。 代碼版本管理系統(tǒng)少不了,可以學(xué)習(xí)下主
流的GIT,能部署和簡單使用就可以了。 經(jīng)常在服務(wù)器之間傳輸數(shù)據(jù),所以要會(huì)使用:rsync和scp。 數(shù)據(jù)同步:
inotify/sersync。 重復(fù)性完成一些工作,可寫成腳本定時(shí)去運(yùn)行,所以得會(huì)配置Linux下的定時(shí)任務(wù)服務(wù)crond。
????2、Web服務(wù)
每個(gè)公司基本都會(huì)有網(wǎng)站,能讓網(wǎng)站跑起來,就需要搭建Web服務(wù)平臺(tái)了。 如果是用PHP語言開發(fā)的,通常搭建
LNMP網(wǎng)站平臺(tái),這是一個(gè)技術(shù)名詞組合的拼寫,分開講就是得會(huì)部署Nginx、MySQL和PHP。 如果是JAVA語言開
發(fā)的,通常使用Tomcat運(yùn)行項(xiàng)目,為了提高訪問速度,可以使用Nginx反向代理Tomcat,Nginx處理靜態(tài)頁面,
Tomcat處理動(dòng)態(tài)頁面,實(shí)現(xiàn)動(dòng)靜分離。 不是會(huì)部署這么簡單,還要知道HTTP協(xié)議工作原理、簡單的性能調(diào)優(yōu)。
????3、負(fù)載均衡器
單臺(tái)服務(wù)器終究資源有限,抵抗高訪問量肯定是無法支撐的,解決此問題最關(guān)鍵的技術(shù)就是采用負(fù)載均衡器,水平
擴(kuò)展多臺(tái)Web服務(wù)器,同時(shí)對(duì)外提供服務(wù),這樣就成倍擴(kuò)展性能了。負(fù)載均衡器主流開源技術(shù)有LVS、HAProxy和
Nginx。一定要熟悉一兩個(gè)!
????4、數(shù)據(jù)庫
數(shù)據(jù)庫選擇MySQL,它是世界上使用最為廣泛的開源數(shù)據(jù)庫。學(xué)它準(zhǔn)沒錯(cuò)! 也要會(huì)一些簡單的SQL語句、用戶管
理、常用存儲(chǔ)引擎、數(shù)據(jù)庫備份與恢復(fù)。 想要深入點(diǎn),必須會(huì)主從復(fù)制、性能優(yōu)化、主流集群方案:MHA、MGR
等。 NoSQL這么流行當(dāng)然也少不了,學(xué)下Redis、MongoDB這兩個(gè)就好了。
????5、監(jiān)控系統(tǒng)
監(jiān)控必不可少,是及時(shí)發(fā)現(xiàn)問題和追溯問題的救命稻草。可以選擇學(xué)習(xí)主流的Zabbix、Prometheus開源監(jiān)控系
統(tǒng),功能豐富,能滿足企業(yè)級(jí)監(jiān)控需求。監(jiān)控點(diǎn)包括服務(wù)器硬件、服務(wù)器性能、API、業(yè)務(wù)、PV/UV、日志等方
面。 也可以弄個(gè)儀表盤展示幾個(gè)實(shí)時(shí)關(guān)鍵的數(shù)據(jù),比如Grafana,會(huì)非常炫酷。
????6、日志分析系統(tǒng)日志也很重要,定期的分析,可發(fā)現(xiàn)潛在隱患,提煉出有價(jià)值的東西。 主流日志系統(tǒng):ELK Stack 學(xué)會(huì)部署使用,
能分析日志并可視化,方便故障排查。
????7、安全防范
安全很重要,不要等到系統(tǒng)被攻擊了,再做安全策略,此時(shí)已晚!所以,當(dāng)一臺(tái)服務(wù)器上線后應(yīng)馬上做安全訪問控
制策略,比如使用iptables限制只允許信任源IP訪問,關(guān)閉一些無用的服務(wù)和端口等。 一些常見的攻擊類型一定得
知道啊,否則怎么對(duì)癥下藥呢!比如CC、DDOS、ARP等。
????8、Shell腳本編程進(jìn)階
Shell腳本是Linux自動(dòng)完成工作的利器,必須得熟練編寫,所以得進(jìn)一步學(xué)習(xí)函數(shù)、數(shù)組、信號(hào)、發(fā)郵件等。 文本
處理三劍客(grep、sed、awk)得玩6啊,Linux下文本處理就指望它們了。
????9、Python/Go開發(fā)基礎(chǔ)
Shell腳本只能完成一些基本的任務(wù),想要完成更復(fù)雜些的任務(wù),比如調(diào)用API、多進(jìn)程等。就需要學(xué)高級(jí)語言了。
Python是運(yùn)維領(lǐng)域使用最多的語言,簡單易用,學(xué)它準(zhǔn)沒錯(cuò)!此階段掌握基礎(chǔ)就可以了,例如基本語法結(jié)構(gòu)、文件對(duì)象操作、函數(shù)、迭代對(duì)象、異常處理、發(fā)郵件、數(shù)據(jù)庫編程等。
3、高級(jí)
????主要工作
????????億級(jí)網(wǎng)站架構(gòu)設(shè)計(jì)
????????性能優(yōu)化
????????容器化落地
????????大規(guī)模自動(dòng)化運(yùn)維
平臺(tái)化工作
????1、Web靜態(tài)緩存
用戶老喊著訪問網(wǎng)站慢,看看服務(wù)器資源還很富裕啊!網(wǎng)站訪問慢也許不是服務(wù)器資源飽和導(dǎo)致的,影響因素很
多,例如網(wǎng)絡(luò)、轉(zhuǎn)發(fā)層數(shù)等。 對(duì)于網(wǎng)絡(luò),存在南北通信問題,之間訪問會(huì)慢,這個(gè)可以使用CDN解決,同時(shí)緩存
靜態(tài)頁面,盡可能將請(qǐng)求攔截在最上層響應(yīng),減少后端請(qǐng)求和響應(yīng)時(shí)間。 如果不用CDN,也可以使用Squid、
Varnish、Nginx這樣的緩存服務(wù)實(shí)現(xiàn)靜態(tài)頁面緩存,放到流量入口處。
????2、集群
單臺(tái)服務(wù)器終究資源有限,抵抗高訪問量肯定是無法支撐的,解決此問題最關(guān)鍵的技術(shù)就是采用負(fù)載均衡器,水平
擴(kuò)展多臺(tái)Web服務(wù)器,同時(shí)對(duì)外提供服務(wù),這樣就成倍擴(kuò)展性能了。負(fù)載均衡器主流開源技術(shù)有LVS、HAProxy和
Nginx。一定要熟悉一兩個(gè)! Web服務(wù)器性能瓶頸解決了,數(shù)據(jù)庫更為關(guān)鍵,還是采用集群,就拿MySQL來說,
可以一主多從架構(gòu),在此基礎(chǔ)上讀寫分離,主負(fù)責(zé)寫,多從負(fù)責(zé)讀,從庫可水平擴(kuò)展,前面再來個(gè)四層負(fù)載均衡
器,承載千萬級(jí)PV,妥妥的! 高可用軟件也得會(huì),避免單點(diǎn)的利器,主流的有Keepalived、Heartbeat等。隨著業(yè)務(wù)擴(kuò)展,網(wǎng)站圖片越來越多!NFS共享存儲(chǔ)支撐不過了,處理很慢!上分布式文件系統(tǒng),并行處理任務(wù),無
單點(diǎn),高可靠,高性能等特性,主流的有FastDFS、MFS、HDFS、Ceph、GFS等。初期的話我建議學(xué)習(xí)下
FastDFS,能滿足中小規(guī)模需求。
????3、容器化
硬件服務(wù)器資源利用率很低,甚是浪費(fèi)!可以把空閑多的服務(wù)器虛擬化,弄成很多個(gè)的虛擬機(jī),每個(gè)虛擬機(jī)就是一
個(gè)完整的操作系統(tǒng)。可以很大程度提高資源利用率。主流私有云平臺(tái)實(shí)現(xiàn):KVM+OpenStack 虛擬機(jī)作為基礎(chǔ)平臺(tái)
還可以,但應(yīng)用業(yè)務(wù)彈性伸縮也太重量了吧!啟動(dòng)好幾分鐘,文件又這么大,快速擴(kuò)展太費(fèi)勁了! 好說,上容器,
容器主要特點(diǎn)就是快速部署和環(huán)境隔離。一個(gè)服務(wù)封裝到鏡像中,分分鐘鐘可創(chuàng)建幾百個(gè)容器。 主流的容器技術(shù)非
Docker莫屬了。 當(dāng)然,生產(chǎn)環(huán)境單機(jī)Docker大多數(shù)情況下是無法滿足業(yè)務(wù)需求的,可以基于Kubernetes構(gòu)建容器
平臺(tái),集群化管理容器,形成一個(gè)大的資源池,為基礎(chǔ)架構(gòu)提供有力的支撐。
????4、自動(dòng)化運(yùn)維
反反復(fù)復(fù)重復(fù)的工作,不但提高不了效率,價(jià)值也得不到體現(xiàn)。 一切運(yùn)維工作標(biāo)準(zhǔn)化,例如環(huán)境版本、目錄結(jié)構(gòu)、
操作系統(tǒng)等統(tǒng)一。在標(biāo)準(zhǔn)化基礎(chǔ)上才能更方面的自動(dòng)化,點(diǎn)點(diǎn)鼠標(biāo)或者敲幾個(gè)命令即可完成一項(xiàng)復(fù)雜的工作任務(wù),
爽哉爽哉! 因此,所有的操作盡可能自動(dòng)化,減少人為失誤,提高工作效率。 主流服務(wù)器集中管理工具:
Ansible、Saltstack 持續(xù)集成工具:Jenkins、Gitlab
????5、Python開發(fā)進(jìn)階
可以再深入學(xué)習(xí)下Python開發(fā),掌握面向?qū)ο缶幊獭?最好也掌學(xué)習(xí)一個(gè)Web框架開發(fā)網(wǎng)站,例如Django、Flask,
主要是開發(fā)運(yùn)維管理系統(tǒng),將一些復(fù)雜的流程寫到平臺(tái)中,再集成集中管理工具,可打造一個(gè)屬于運(yùn)維自己的管理
平臺(tái)。
????7、性能優(yōu)化
只會(huì)部署是遠(yuǎn)遠(yuǎn)不夠的,性能優(yōu)化能最大化提升服務(wù)承載量。 這塊也是比較難的,也是高薪的關(guān)鍵點(diǎn)之一,為了錢
也得下點(diǎn)功夫?qū)W習(xí)啊! 可以從硬件層、操作系統(tǒng)層、軟件層和架構(gòu)層維度展開思考。
三、小結(jié)
武器名稱
文本處理
grep、sed、awk
數(shù)據(jù)傳輸
Rsync、Scp、Inodify/Sersync,風(fēng)哥說的一個(gè)(lsyncd(內(nèi)部涵蓋了inotify+rsync))
進(jìn)程管理
Supervisor
性能分析
top、free、df、iftop、iostat、vmstat、dstat、sar、sysdig,iotop(需要使用python去執(zhí)行)
io排行榜查看
/usr/bin/python2 /usr/sbin/iotop
網(wǎng)絡(luò)服務(wù)
vsftp、nfs、samba、bind、dhcp、postfifix
Web服務(wù)
Apache、Nginx、Tomcat、JBoss、Resin
數(shù)據(jù)庫
MySQL、MariaDB、PostgreSQL,Oracle
NoSQL
Redis、MongoDB
消息中間件
RabbitMQ、ActiveMQ,kafka
版本管理
SVN、Git
靜態(tài)緩存
Squid、Varnish、Nginx
負(fù)載均衡
LVS、HAProxy、Nginx
高可用軟件
Keepalived、Heartbeat、DRBD、corosync+pacemaker
集中管理工具
Ansible、Saltstack、Chef、Puppet
虛擬化
KVM、Xen、Openstack、Cloudstack
容器化
Docker、Kubernetes、Rancher、Openshift
自動(dòng)裝機(jī)--這個(gè)不太需要去看了
Kickstart、Cobbler
抓包分析
Tcpdump、Wireshark
持續(xù)集成
Jenkins、Gitlab
MySQL代理
Altas、Cobar、Mycat
壓測
ab、fifio、sysbench、mysqlslap、Jemter
日志系統(tǒng)
ELK Stack、Graylog
監(jiān)控
Zabbix、Prometheus、Open-falcon(小米的監(jiān)控)
分布式文件系統(tǒng)
Ceph(比較多的)、GlusterFS、FastDFS