熟悉AWS的肯定不會對Cloudformation感到陌生,AWS官方對Cloudformation的定義如下:
AWS CloudFormation 云資源服務(wù)可使開發(fā)人員和系統(tǒng)管理員輕松有序地創(chuàng)建、管理和更新相關(guān) AWS 云資源模板。使用 AWS 模板或創(chuàng)建您自己的云資源。
為了最快地對Cloudformation在心中稍微有一個概念,我為大家提煉出下面的關(guān)鍵詞:
- 利益相關(guān)者:運(yùn)維或DevOps領(lǐng)域
- 一種管理云資源的服務(wù)
- 由AWS提供
- 通過模板文件(或者說配置文件、代碼)管理云資源
代碼 vs可視化操作
聯(lián)想起自己以前使用云服務(wù)的體驗(yàn),初學(xué)者首先應(yīng)該能想到,我是不是可以通過Cloudformation來申請主機(jī)、創(chuàng)建Loadbalance呢,而不是手動在AWS的控制臺(Console)上“點(diǎn)點(diǎn)點(diǎn)”呢?
是的。如果說Cloudformation僅僅使可視化的界面操作代碼化,這或許只能激起代碼愛好者的興趣,我們知道代碼化的許多好處,比如效率更高、可被機(jī)器自動執(zhí)行。
然而因?yàn)椴皇撬腥硕枷矚g代碼。對于患“代碼恐懼癥”的人,或者習(xí)慣在界面上配置的專業(yè)運(yùn)維人員來說,界面操作顯然比代碼更直觀、擁有更友好的操作引導(dǎo)。
對于追求高效的工程實(shí)踐來說,代碼化還是界面操作并非“蘿卜青菜,各有所愛”的興趣愛好問題,而是生產(chǎn)力問題。
基礎(chǔ)設(shè)施即代碼
這年頭流行一個詞語,叫DevOps,維基百科的定義如下:
DevOps(Development和Operations的組合詞)是一種重視“軟件開發(fā)人員(Dev)”和“IT運(yùn)維技術(shù)人員(Ops)”之間溝通合作的文化、運(yùn)動或慣例。透過自動化“軟件交付”和“架構(gòu)變更”的流程,來使得構(gòu)建、測試、發(fā)布軟件能夠更加地快捷、頻繁和可靠。
而我個人的理解就是,DevOps要求能把運(yùn)維納入軟件開發(fā)體系,比如運(yùn)用敏捷等軟件開發(fā)方法、實(shí)現(xiàn)自動化持續(xù)集成、測試、交付、可被代碼管理等等;其次,要求開發(fā)具備運(yùn)維意識,將交付基礎(chǔ)設(shè)施作為交付軟件的一部分,借助云計(jì)算給開發(fā)人員賦能從而達(dá)到端到端交付的全棧能力,從而極大地提高研發(fā)效能。
在這個意義上,Cloudformation就是這樣一個工具,可以將基礎(chǔ)設(shè)施作為代碼納入到軟件開發(fā)的一部分,并運(yùn)用軟件工程方法管理基礎(chǔ)架構(gòu)。
“基礎(chǔ)設(shè)施即代碼”給我們帶來什么
在筆者所在的團(tuán)隊(duì)里,能寫DevOps的代碼已經(jīng)作為開發(fā)的標(biāo)配技能。在新起一個Codebase的時候,我們往往需要考慮一下內(nèi)容:
- 基礎(chǔ)設(shè)施代碼 (/infra目錄)
- 持續(xù)集成流水線代碼(/pipeline目錄, 這年頭還有個詞叫“流水線即代碼”)
- 業(yè)務(wù)代碼(包括前后端代碼、測試代碼,/api, /test 目錄)
在一些大型的互聯(lián)網(wǎng)公司來說,運(yùn)維和開發(fā)的職權(quán)是完全分離的,開發(fā)可能僅僅只用關(guān)注業(yè)務(wù)代碼部分。
實(shí)際上在一個項(xiàng)目啟動后的前期,首先介入的可能是運(yùn)維人員搭建出一套線上的開發(fā)環(huán)境(Dev)、測試環(huán)境(QA)、生產(chǎn)環(huán)境(Prod)用于開發(fā)的日常調(diào)試、測試人員測試以及發(fā)布項(xiàng)目;如果使用持續(xù)集成的方式的話,還要搭建持續(xù)集成(CI/CD)流水線。
-
一鍵自動構(gòu)建云環(huán)境
借助AWS平臺及其提供的Cloudformation(或者第三方工具如terraform、現(xiàn)在流行的kubernet),使用基礎(chǔ)設(shè)施代碼,我們就可以快速地構(gòu)建一套完整的云環(huán)境。同時使用同樣一套基礎(chǔ)設(shè)施代碼,再配置不同的環(huán)境變量,就可以快速地復(fù)制出不同的線上環(huán)境。
以Cloudformation為例:
編寫Cloudformation代碼,比如編寫通過以下的代碼,通過AWS提供的aws cloudformation命令,就可以實(shí)現(xiàn)在AWS創(chuàng)建一臺可以彈性伸縮的實(shí)例。
ECSAutoScalingGroup:
Type: 'AWS::AutoScaling::AutoScalingGroup'
Properties:
VPCZoneIdentifier: !Ref InstanceSubnetIds
LaunchConfigurationName: !Ref ContainerInstances
MinSize: '1'
MaxSize: !Ref MaxSize
DesiredCapacity: !Ref DesiredCapacity
ContainerInstances:
Type: 'AWS::AutoScaling::LaunchConfiguration'
Properties:
ImageId: !FindInMap
- AWSRegionToAMI
- !Ref 'AWS::Region'
- AMIID
InstanceType: !Ref InstanceType
IamInstanceProfile: !Ref EC2InstanceProfile
KeyName: !Ref KeyName
同時我們可以使用AWS Cloudformation designer可視化地設(shè)計(jì)我們的基礎(chǔ)架構(gòu)及其之前的拓?fù)浣Y(jié)構(gòu)和關(guān)聯(lián)關(guān)系,并導(dǎo)出代碼。
-
借助git等實(shí)現(xiàn)代碼的版本管理
代碼化后的基礎(chǔ)設(shè)施,意味著可被git
等版本控制工具進(jìn)行管理,這意味著對基礎(chǔ)設(shè)施的任何改動,比如更改服務(wù)器內(nèi)存、更換可用區(qū)、修改域名、安全組等等,都可以通過review代碼的方式進(jìn)行跟蹤。
而在過去,在控制臺界面上進(jìn)行的誤操作導(dǎo)致線上環(huán)境出問題很難被記錄下來,同時如果因?yàn)樾薷姆?wù)器環(huán)境配置導(dǎo)致的問題,可以很快通過git回滾代碼的方式進(jìn)行快速回滾服務(wù)器環(huán)境。
-
基礎(chǔ)設(shè)施版本間無縫切換
- 聲明式操作
在Cloudformation之前,AWS已經(jīng)推出了命令行工具或者SDK來管理AWS的資源,與它們“命令式”操作不同的是,Cloudformation提供一種“聲明式”的特性。
“命令式”操作希望你去一步步編寫程序以達(dá)到最終所期望的狀態(tài),而聲明式只關(guān)心你想要的資源與資源的狀態(tài),Cloudformation會自動分析達(dá)到想要的狀態(tài)需要進(jìn)行怎樣的操作。(理解聲明式和命令式的不同,可參考《聲明式編程和命令式編程的比較》)
- 冪等性
Cloudformation的聲明式操作為其提供了冪等性的特性,以為我們在任何時刻、任何版本的基礎(chǔ)架構(gòu)運(yùn)行新的Cloudformation代碼,AWS每次都會幫助你生成相同的基礎(chǔ)架構(gòu)。
- 原子性
大部分人在數(shù)據(jù)庫事務(wù)中了解到“原子性”。Cloudformation同樣支持一種原子操作,要么成功,要么失敗。失敗的話可以自動回滾,而在一次失敗操作中產(chǎn)生的資源會在回滾時被自動刪除掉。
-
納入持續(xù)集成/部署流水線(CI/CD)
“基礎(chǔ)設(shè)施即代碼”的代碼化、自動化,為CI/CD流水線管理基礎(chǔ)設(shè)施提供了可能。
一種理想的方式是,和修改業(yè)務(wù)代碼一樣,當(dāng)我們要對基礎(chǔ)設(shè)施進(jìn)行變更時,通過修改基礎(chǔ)設(shè)施的代碼,提交到git倉庫,觸發(fā)CI/CD流水線運(yùn)行基礎(chǔ)設(shè)施代碼,然后達(dá)到更新基礎(chǔ)設(shè)施的目的。
同時根據(jù)云計(jì)算服務(wù)商提供的反饋,更新CI/CD流水線的部署狀態(tài):紅則失敗綠則失敗。
QA或者團(tuán)隊(duì)可以根據(jù)測試結(jié)果和發(fā)布計(jì)劃通過流水線,將基礎(chǔ)設(shè)施和業(yè)務(wù)代碼一起推向下一階段。
擴(kuò)展思考:
2018年 ThoughtWorks 技術(shù)雷達(dá)19期為我們介紹了一款名為LocalStack的云服務(wù)的Mock框架,這意味著我們可以在本地調(diào)試基礎(chǔ)設(shè)施代碼,或者為基礎(chǔ)架構(gòu)代碼做單元或集成測試。原文如下:
使用云服務(wù)時面對的一個挑戰(zhàn)是如何在本地進(jìn)行開發(fā)和測試。 LOCALSTACK 為 AWS 解決了這個問題。它提供了各種 AWS 服務(wù)的本地 測試替身 實(shí)現(xiàn),包括 S3 、 Kinesis 、Dynamodb 和 Lambda 等。它基于現(xiàn)有的最佳工具如Kinesalite 、 Dynalite 、Moto 等構(gòu)建,并增加了進(jìn)程隔離與錯誤注入的功能。 LocalStack 的使用很簡單,并附帶了一個簡單的 JUnit 運(yùn)行器以及 JUnit 5擴(kuò)展。我們在一些項(xiàng)目中使用過 LocalStack ,并對它印象深刻。