Cloudformation與其背后的“基礎(chǔ)設(shè)施即代碼”

熟悉AWS的肯定不會對Cloudformation感到陌生,AWS官方對Cloudformation的定義如下:

AWS CloudFormation 云資源服務(wù)可使開發(fā)人員和系統(tǒng)管理員輕松有序地創(chuàng)建、管理和更新相關(guān) AWS 云資源模板。使用 AWS 模板或創(chuàng)建您自己的云資源。

為了最快地對Cloudformation在心中稍微有一個概念,我為大家提煉出下面的關(guān)鍵詞:

  • 利益相關(guān)者:運(yùn)維或DevOps領(lǐng)域
  • 一種管理云資源的服務(wù)
  • 由AWS提供
  • 通過模板文件(或者說配置文件、代碼)管理云資源

代碼 vs可視化操作

聯(lián)想起自己以前使用云服務(wù)的體驗(yàn),初學(xué)者首先應(yīng)該能想到,我是不是可以通過Cloudformation來申請主機(jī)、創(chuàng)建Loadbalance呢,而不是手動在AWS的控制臺(Console)上“點(diǎn)點(diǎn)點(diǎn)”呢?

是的。如果說Cloudformation僅僅使可視化的界面操作代碼化,這或許只能激起代碼愛好者的興趣,我們知道代碼化的許多好處,比如效率更高可被機(jī)器自動執(zhí)行

然而因?yàn)椴皇撬腥硕枷矚g代碼。對于患“代碼恐懼癥”的人,或者習(xí)慣在界面上配置的專業(yè)運(yùn)維人員來說,界面操作顯然比代碼更直觀、擁有更友好的操作引導(dǎo)

對于追求高效的工程實(shí)踐來說,代碼化還是界面操作并非“蘿卜青菜,各有所愛”的興趣愛好問題,而是生產(chǎn)力問題。

基礎(chǔ)設(shè)施即代碼

這年頭流行一個詞語,叫DevOps,維基百科的定義如下:

DevOps(Development和Operations的組合詞)是一種重視“軟件開發(fā)人員(Dev)”和“IT運(yùn)維技術(shù)人員(Ops)”之間溝通合作的文化、運(yùn)動或慣例。透過自動化“軟件交付”和“架構(gòu)變更”的流程,來使得構(gòu)建、測試、發(fā)布軟件能夠更加地快捷、頻繁和可靠。

而我個人的理解就是,DevOps要求能把運(yùn)維納入軟件開發(fā)體系,比如運(yùn)用敏捷等軟件開發(fā)方法、實(shí)現(xiàn)自動化持續(xù)集成、測試、交付、可被代碼管理等等;其次,要求開發(fā)具備運(yùn)維意識,將交付基礎(chǔ)設(shè)施作為交付軟件的一部分,借助云計(jì)算給開發(fā)人員賦能從而達(dá)到端到端交付的全棧能力,從而極大地提高研發(fā)效能

在這個意義上,Cloudformation就是這樣一個工具,可以將基礎(chǔ)設(shè)施作為代碼納入到軟件開發(fā)的一部分,并運(yùn)用軟件工程方法管理基礎(chǔ)架構(gòu)。

“基礎(chǔ)設(shè)施即代碼”給我們帶來什么

在筆者所在的團(tuán)隊(duì)里,能寫DevOps的代碼已經(jīng)作為開發(fā)的標(biāo)配技能。在新起一個Codebase的時候,我們往往需要考慮一下內(nèi)容:


一個項(xiàng)目的文件結(jié)構(gòu)截圖
  • 基礎(chǔ)設(shè)施代碼 (/infra目錄)
  • 持續(xù)集成流水線代碼(/pipeline目錄, 這年頭還有個詞叫“流水線即代碼”)
  • 業(yè)務(wù)代碼(包括前后端代碼、測試代碼,/api, /test 目錄)

在一些大型的互聯(lián)網(wǎng)公司來說,運(yùn)維和開發(fā)的職權(quán)是完全分離的,開發(fā)可能僅僅只用關(guān)注業(yè)務(wù)代碼部分。

實(shí)際上在一個項(xiàng)目啟動后的前期,首先介入的可能是運(yùn)維人員搭建出一套線上的開發(fā)環(huán)境(Dev)、測試環(huán)境(QA)、生產(chǎn)環(huán)境(Prod)用于開發(fā)的日常調(diào)試、測試人員測試以及發(fā)布項(xiàng)目;如果使用持續(xù)集成的方式的話,還要搭建持續(xù)集成(CI/CD)流水線。

  • 一鍵自動構(gòu)建云環(huán)境

借助AWS平臺及其提供的Cloudformation(或者第三方工具如terraform、現(xiàn)在流行的kubernet),使用基礎(chǔ)設(shè)施代碼,我們就可以快速地構(gòu)建一套完整的云環(huán)境。同時使用同樣一套基礎(chǔ)設(shè)施代碼,再配置不同的環(huán)境變量,就可以快速地復(fù)制出不同的線上環(huán)境。

以Cloudformation為例:

編寫Cloudformation代碼,比如編寫通過以下的代碼,通過AWS提供的aws cloudformation命令,就可以實(shí)現(xiàn)在AWS創(chuàng)建一臺可以彈性伸縮的實(shí)例。

ECSAutoScalingGroup:
    Type: 'AWS::AutoScaling::AutoScalingGroup'
    Properties:
      VPCZoneIdentifier: !Ref InstanceSubnetIds
      LaunchConfigurationName: !Ref ContainerInstances
      MinSize: '1'
      MaxSize: !Ref MaxSize
      DesiredCapacity: !Ref DesiredCapacity
  ContainerInstances:
    Type: 'AWS::AutoScaling::LaunchConfiguration'
    Properties:
      ImageId: !FindInMap 
        - AWSRegionToAMI
        - !Ref 'AWS::Region'
        - AMIID
      InstanceType: !Ref InstanceType
      IamInstanceProfile: !Ref EC2InstanceProfile
      KeyName: !Ref KeyName

同時我們可以使用AWS Cloudformation designer可視化地設(shè)計(jì)我們的基礎(chǔ)架構(gòu)及其之前的拓?fù)浣Y(jié)構(gòu)和關(guān)聯(lián)關(guān)系,并導(dǎo)出代碼。

AWS Cloudformation designer
  • 借助git等實(shí)現(xiàn)代碼的版本管理

代碼化后的基礎(chǔ)設(shè)施,意味著可被git等版本控制工具進(jìn)行管理,這意味著對基礎(chǔ)設(shè)施的任何改動,比如更改服務(wù)器內(nèi)存、更換可用區(qū)、修改域名、安全組等等,都可以通過review代碼的方式進(jìn)行跟蹤。

而在過去,在控制臺界面上進(jìn)行的誤操作導(dǎo)致線上環(huán)境出問題很難被記錄下來,同時如果因?yàn)樾薷姆?wù)器環(huán)境配置導(dǎo)致的問題,可以很快通過git回滾代碼的方式進(jìn)行快速回滾服務(wù)器環(huán)境。

  • 基礎(chǔ)設(shè)施版本間無縫切換

    • 聲明式操作

在Cloudformation之前,AWS已經(jīng)推出了命令行工具或者SDK來管理AWS的資源,與它們“命令式”操作不同的是,Cloudformation提供一種“聲明式”的特性。

“命令式”操作希望你去一步步編寫程序以達(dá)到最終所期望的狀態(tài),而聲明式只關(guān)心你想要的資源與資源的狀態(tài),Cloudformation會自動分析達(dá)到想要的狀態(tài)需要進(jìn)行怎樣的操作。(理解聲明式和命令式的不同,可參考《聲明式編程和命令式編程的比較》

  • 冪等性

Cloudformation的聲明式操作為其提供了冪等性的特性,以為我們在任何時刻、任何版本的基礎(chǔ)架構(gòu)運(yùn)行新的Cloudformation代碼,AWS每次都會幫助你生成相同的基礎(chǔ)架構(gòu)。

  • 原子性

大部分人在數(shù)據(jù)庫事務(wù)中了解到“原子性”。Cloudformation同樣支持一種原子操作,要么成功,要么失敗。失敗的話可以自動回滾,而在一次失敗操作中產(chǎn)生的資源會在回滾時被自動刪除掉。

  • 納入持續(xù)集成/部署流水線(CI/CD)

“基礎(chǔ)設(shè)施即代碼”的代碼化、自動化,為CI/CD流水線管理基礎(chǔ)設(shè)施提供了可能。

一種理想的方式是,和修改業(yè)務(wù)代碼一樣,當(dāng)我們要對基礎(chǔ)設(shè)施進(jìn)行變更時,通過修改基礎(chǔ)設(shè)施的代碼,提交到git倉庫,觸發(fā)CI/CD流水線運(yùn)行基礎(chǔ)設(shè)施代碼,然后達(dá)到更新基礎(chǔ)設(shè)施的目的。


持續(xù)集成

同時根據(jù)云計(jì)算服務(wù)商提供的反饋,更新CI/CD流水線的部署狀態(tài):紅則失敗綠則失敗。

QA或者團(tuán)隊(duì)可以根據(jù)測試結(jié)果和發(fā)布計(jì)劃通過流水線,將基礎(chǔ)設(shè)施和業(yè)務(wù)代碼一起推向下一階段。

GoCD持續(xù)集成流水線

擴(kuò)展思考:

2018年 ThoughtWorks 技術(shù)雷達(dá)19期為我們介紹了一款名為LocalStack的云服務(wù)的Mock框架,這意味著我們可以在本地調(diào)試基礎(chǔ)設(shè)施代碼,或者為基礎(chǔ)架構(gòu)代碼做單元或集成測試。原文如下:

使用云服務(wù)時面對的一個挑戰(zhàn)是如何在本地進(jìn)行開發(fā)和測試。 LOCALSTACK 為 AWS 解決了這個問題。它提供了各種 AWS 服務(wù)的本地 測試替身 實(shí)現(xiàn),包括 S3 、 Kinesis 、Dynamodb 和 Lambda 等。它基于現(xiàn)有的最佳工具如Kinesalite 、 Dynalite 、Moto 等構(gòu)建,并增加了進(jìn)程隔離與錯誤注入的功能。 LocalStack 的使用很簡單,并附帶了一個簡單的 JUnit 運(yùn)行器以及 JUnit 5擴(kuò)展。我們在一些項(xiàng)目中使用過 LocalStack ,并對它印象深刻。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,247評論 6 543
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,520評論 3 429
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,362評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,805評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,541評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,896評論 1 328
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,887評論 3 447
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 43,062評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,608評論 1 336
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,356評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,555評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,077評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,769評論 3 349
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,175評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,489評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,289評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,516評論 2 379

推薦閱讀更多精彩內(nèi)容