云計算四大金剛:Spark、Docker、K8S、Mesos

云計算畢竟是一個概念,很多人對于云計算概念很早就耳濡目染,但也只是懂個皮毛,原因在于云計算技術(shù)的復(fù)雜性。云計算的理念實際很先進(jìn),但要實現(xiàn)這些功能需要很多技術(shù)做支撐,所以只有對這些技術(shù)有所了解,才能真正理解云計算,發(fā)現(xiàn)云計算的博大精深之處。下面就來介紹幾種先進(jìn)的云計算技術(shù),正是有了這些新技術(shù),才將云計算帶到了我們的生活之中,讓云計算也不再那樣的觸不可及。

Spark

Spark是加州大學(xué)伯克利分校AMP實驗室開發(fā)通用內(nèi)存并行計算框架,于2010年成為Apache的開源項目之一。Spark以其先進(jìn)的設(shè)計理念,迅速成為社區(qū)熱門項目,并逐漸形成大數(shù)據(jù)處理一站式的解決平臺。在大數(shù)據(jù)領(lǐng)域還有另外一種技術(shù)不能不提,就是Hadoop。Hadoop這項技術(shù)大概已有十年歷史,一直被看做是首選的大數(shù)據(jù)集合處理解決方案,在諸多互聯(lián)網(wǎng)企業(yè)的云平臺中都有應(yīng)用。不過Hadoop技術(shù)對于需要多路計算和算法的用例來說,并非十分高效,這也導(dǎo)致很多云計算應(yīng)用選擇Hadoop也是一種無奈的選擇,當(dāng)Spark出現(xiàn)后,局面就不同了。Spark與大數(shù)據(jù)現(xiàn)有技術(shù)中龍頭老大Hadoop相比,Spark為我們提供了一個全面、統(tǒng)一框架,用于管理各種有著不同性質(zhì)的數(shù)據(jù)集和數(shù)據(jù)源的大數(shù)據(jù)處理需求。Spark可將Hadoop集群中應(yīng)用在內(nèi)存中的運(yùn)行速度提升100倍,甚至能夠?qū)?yīng)用在磁盤上的運(yùn)行速度提升10倍,有望替代Hadoop在大數(shù)據(jù)中地位,成為大數(shù)據(jù)處理的主流標(biāo)準(zhǔn)。Spark使用Scala語言進(jìn)行實現(xiàn),它是一種面向?qū)ο蟆⒑瘮?shù)式編程語言,能夠像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。Spark具有運(yùn)行速度快、易用性好、通用性強(qiáng)和隨處運(yùn)行的特點,國內(nèi)在騰訊、淘寶、優(yōu)酷都已經(jīng)開始使用了這種技術(shù)。未來,在大數(shù)據(jù)領(lǐng)域,Spark必將發(fā)揮更大的作用。

Docker

Docker恐怕是這兩年最火的一種云計算技術(shù)了,它實際上應(yīng)該算是一種虛擬化技術(shù),一種輕量級的虛擬化技術(shù)。Docker是 PaaS 開源的一個基于 LXC高級容器引擎,可以輕松的為任何應(yīng)用創(chuàng)建一個輕量級的、可移植的、自給自足的容器。可能有人會問不是有虛擬機(jī)VM技術(shù)嗎?是的,不過企業(yè)版的VM可不是免費的,收費還不便宜,還有虛擬機(jī)相關(guān)操作大多都很慢,啟動要幾分鐘、捕捉快照要幾分鐘、創(chuàng)建鏡像也需要幾分鐘,于是Docker出現(xiàn)了,啟動虛擬機(jī)之所以要花幾分鐘,是因需要占用大量內(nèi)存,而啟動Docker容器只耗費很少的CPU和內(nèi)存,并且非常快,與啟動一個常規(guī)進(jìn)程沒有什么區(qū)別。與此同時,Docker實現(xiàn)了讓幾乎任何程序都可以在一個安全、隔離的容器中運(yùn)行,安全和隔離使你可以同時在機(jī)器上運(yùn)行多個容器。容器輕量級的特性,意味著你可以得到更多硬件性能。國內(nèi)在京東、美團(tuán)、芒果TV、新浪微博、大眾點評等企業(yè)均已部署了Docker技術(shù)。

Kubernetes

Kubernetes作為Docker生態(tài)圈中重要一員,是谷歌多年大規(guī)模容器管理技術(shù)的開源版本。它構(gòu)建了一個容器調(diào)度服務(wù),提供資源調(diào)度、均衡容災(zāi)、服務(wù)注冊、動態(tài)擴(kuò)縮容等功能的套件。Kubernetes和Docker關(guān)系就如Xen與OpenStack的關(guān)系,Docker是一種容器技術(shù),和Hypervisor(KVM/Xen這類)不同的是,Docker不會提供整個操作系統(tǒng),它只提供隔離的程序運(yùn)行環(huán)境,對一個應(yīng)用來說這已經(jīng)夠了。而Kubernetes是谷歌的一個開源容器管理項目,基于Docker構(gòu)建一個容器調(diào)度服務(wù),為容器化的應(yīng)用提供資源調(diào)度、部署運(yùn)行、均衡容災(zāi)、服務(wù)注冊,擴(kuò)容縮容等功能。實際上,Kubernetes和Docker都源自于云計算PaaS技術(shù),Kubernetes是基于Docker技術(shù)的mini-PaaS平臺,提取PaaS中業(yè)務(wù)編排和管理模塊而形成的。Kubernetes得到了如Microsoft、VMWare、Red Hat、CoreOS、Mesos等巨頭支持,這加速了Kubernetes開源代碼的完善。國內(nèi)樂視云、騰訊游戲,華為均采用了Kubernetes來構(gòu)建PaaS云平臺。

Mesos

Mesos也是由加州大學(xué)伯克利分校AMP開發(fā)的,后在Twitter得到廣泛使用,是開源分布式資源管理框架,被稱為是分布式系統(tǒng)的內(nèi)核,其目標(biāo)是可以將整個數(shù)據(jù)中心當(dāng)做一臺電腦一樣使用,Mesos能夠保證集群內(nèi)的所有用戶有平等的機(jī)會使用集群內(nèi)的資源,這里的資源包括CPU、內(nèi)存、磁盤等等。Mesos不試圖作為一個一站式解決問題的系統(tǒng),而是以最小的成本來實現(xiàn)資源共享,Mesos定義一個最小化的接口來支持跨框架的資源共享,其他的調(diào)度以及執(zhí)行工作都委托給框架自己來控制。與Kubernetes類似,Mesos提供的是操作系統(tǒng)級服務(wù)。不過Kubernetes 目前只支持 Docker,只是負(fù)責(zé)容器編排而不是集群資源管理,鮮有生產(chǎn)環(huán)境的用例;而Mesos不需要你的應(yīng)用包到Docker里面并且其經(jīng)歷過生產(chǎn)環(huán)境的考驗。不過Kubernetes的開源社區(qū)更加活躍,其正在高速發(fā)展中,前景非常好。所以一時也不好說孰好孰壞,都在高速發(fā)展著,看云計算用戶如何去選擇吧。國內(nèi)的攜程、愛奇藝等網(wǎng)站都采用了Mesos技術(shù)實現(xiàn)了云計算。

不難發(fā)現(xiàn),以上介紹的這些技術(shù)多是與容器技術(shù)有關(guān)。的確,容器技術(shù)這兩年得到了飛速發(fā)展,在各大技術(shù)論壇或云計算峰會議題中,都會占很大的比重,各主流云計算平臺也無一例外地迅速提供了容器服務(wù)。云計算過程中不關(guān)心虛擬機(jī)監(jiān)控程序和虛擬機(jī)是不可能的,虛擬化是云計算核心,容器技術(shù)正是虛擬化技術(shù)最重要組成部分,它實現(xiàn)了秒級部署、易于移植、彈性伸縮,給云計算帶來了本質(zhì)上的改變。云計算作為一種服務(wù)和應(yīng)用的業(yè)務(wù)模式,很難講會被顛覆。不過,容器技術(shù)的確是云計算的改變者,它改變了我們思考云計算的視角,為云計算的發(fā)展帶來了活力,是推動云計算由理論走向?qū)嵺`的最佳技術(shù)之一。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • Docker — 云時代的程序分發(fā)方式 要說最近一年云計算業(yè)界有什么大事件?Google Compute Engi...
    ahohoho閱讀 15,627評論 15 147
  • http://geek.csdn.net/news/detail/210469http://www.36dsj.c...
    Albert陳凱閱讀 5,229評論 1 21
  • 首先我們的問題是:產(chǎn)品包含了大量的服務(wù),并且服務(wù)之間存在復(fù)雜的依賴關(guān)系,以拓?fù)涞男问竭\(yùn)行并相互協(xié)作,部署的時候需要...
    墨弈閱讀 2,924評論 0 50
  • 在我年輕的時候,有各種各樣的欲望,去探求各種可能性,關(guān)于我要做什么,我要成為什么。最終,塵埃落定,現(xiàn)在五十多歲了,...
    王學(xué)富閱讀 1,318評論 3 10
  • 種種事物中,不要計較得與失。不要計較自己做得多,做得多反而能掌握更多的技術(shù),做什么事都不能有什么雜念,事事都...
    好了乖乖TGY1閱讀 286評論 0 1