2016 年 Google I/O 大會上,Google 徹底改造了 Firebase 這個 realtime database,將文件存儲、推送、統(tǒng)計等眾多開發(fā)者服務(wù)打包到一起,使之成為了下一代的云計算平臺。在此之前,云計算領(lǐng)域的標(biāo)桿企業(yè) Amazon,也于去年推出了 MobileHub 產(chǎn)品,將 Amazon AWS 原來的單項(xiàng)服務(wù)統(tǒng)合起來,提供應(yīng)用開發(fā)的一站式解決方案,并且在今年年初,又推出了一個名為 Lambda 的新服務(wù)。
說起云計算,大家比較熟悉的有 IaaS、PaaS、SaaS,對于上面的新形態(tài),業(yè)界給它取了一個新名字:BaaS(Backend as a Service),是說將產(chǎn)品開發(fā)中所有后端的需求,通過統(tǒng)一的云平臺來解決,這樣產(chǎn)品開發(fā)團(tuán)隊(duì)只需要關(guān)注客戶端的開發(fā),重點(diǎn)打磨用戶體驗(yàn),快速、高效做出更好的產(chǎn)品。
理想是美好的,但是現(xiàn)實(shí)中這都行得通嗎?我們知道,業(yè)務(wù)的需求千變?nèi)f化,一個統(tǒng)一的云平臺,一套代碼,真能解決所有問題嗎?如果能,又是怎么做到的呢?筆者這里就這些技術(shù)細(xì)節(jié)來跟大家做一個探討。
后端服務(wù)其實(shí)也是高度模式化的
提起后端開發(fā),我們最先想到的可能就是 LAMP(Linux+Apache+MySQL+PHP) 技術(shù)框架,從系統(tǒng)架構(gòu)上來看,一個典型的業(yè)務(wù)系統(tǒng)至少包含如下三部分:
在業(yè)務(wù)發(fā)展的過程中,我們工程團(tuán)隊(duì)花費(fèi)了大量的精力,解決的都是「擴(kuò)展」和「容錯」這兩個問題,對于核心架構(gòu)卻絕少改變。
同時,因?yàn)槊總€產(chǎn)品具體業(yè)務(wù)不一樣,所以客戶端和 App Server 的交互內(nèi)容千差萬別,但有兩點(diǎn)是基本一致的:
- 交互協(xié)議,基本上都是基于 HTTP(S)。
- 盡管數(shù)據(jù)格式千差萬別,但是「數(shù)據(jù)」本身是一樣。
不論 App Server 內(nèi)又細(xì)分了多少個模塊與子服務(wù),它總是將客戶端傳來的數(shù)據(jù),結(jié)合業(yè)務(wù)規(guī)則進(jìn)行處理,并最終持久化到 Database。所以這就給了我們一個啟示:如果我們的云平臺能支持任意數(shù)據(jù)的增刪改查,而數(shù)據(jù)本身由應(yīng)用自解析,這樣就能解決大部分產(chǎn)品的后端問題了。所以我們選擇了「JSON Object」這一相當(dāng)寬松的數(shù)據(jù)模型,作為客戶端和云端交互的唯一格式要求,我們并不關(guān)心里面有多少屬性、取值如何,而且我們也不理解具體的數(shù)據(jù)含義。現(xiàn)在我們通過這樣的方式來提供通用的后端結(jié)構(gòu)化數(shù)據(jù)存儲服務(wù):
這樣,應(yīng)用開發(fā)者可以將任意的數(shù)據(jù)存儲到云端,例如我們要實(shí)現(xiàn)一個類似于微博的社交 App,主要有三類數(shù)據(jù):賬戶、帖子、評論,一條微博帖子可能包含下面幾個屬性:
{
"content": "每個 Java 程序員必備的 8 個開發(fā)工具",
"pubUser": "LeanCloud官方客服",
"pubTimestamp": 1435541999
}
無需提前創(chuàng)建表格、指定 schema,這樣的數(shù)據(jù)可以直接存入 BaaS 云端(JavaScript 的示例代碼如下)。
var Post = AV.Object.extend('Post');// 聲明類型
var post = new Post();// 新建對象
post.set('content','每個 Java 程序員必備的 8 個開發(fā)工具');// 設(shè)置發(fā)布內(nèi)容
post.set('pubUser','LeanCloud官方客服');// 設(shè)置發(fā)布者信息
post.set('pubTimestamp',1435541999);// 設(shè)置時間戳
post.save().then(function (post) {
console.log('objectId is ' + post.id);
}, function (error) {
console.log(error);
});// 保存到云端
客戶端和云端交互的問題解決了,而要構(gòu)建一個能支持大量應(yīng)用的統(tǒng)一平臺,在 App Server 端,我們還有大量的開發(fā)工作要做。就 LeanCloud 來講,我們后端系統(tǒng)的核心架構(gòu)如下:
這里重點(diǎn)要解決如下幾個問題:
- 如何支持任意對象的存儲。因?yàn)槊總€應(yīng)用的 domain class 都各不相同,我們需要能統(tǒng)一存儲到一個集群里面去,這就需要后端存儲系統(tǒng)支持 schema free 的特性,能夠隨時應(yīng)對新結(jié)構(gòu)、屬性的追加,而同時我們又要保證現(xiàn)有數(shù)據(jù)的 schema 不能遭到破壞。我們的存儲集群綜合使用了關(guān)系型數(shù)據(jù)庫(MySQL)、NoSQL 數(shù)據(jù)庫(MongoDB)以及 Hadoop/Hbase 等開源系統(tǒng)來完成這一需求。
- 如何保證應(yīng)用之間的數(shù)據(jù)隔離。在我們的存儲系統(tǒng)里,我們?yōu)槊恳粋€應(yīng)用建立了單獨(dú)的「Database」,以保證應(yīng)用之間數(shù)據(jù)是物理隔離的,同時我們所有的數(shù)據(jù)請求都需要帶上應(yīng)用標(biāo)識,在開發(fā)者沒有明確設(shè)置共享的情況下,跨應(yīng)用的數(shù)據(jù)訪問是絕對禁止的。
- 如何保證數(shù)據(jù)安全。我們做了多方面的努力,來保證各應(yīng)用的數(shù)據(jù)安全:
- SSL 加密傳輸。我們所有的 API 請求都通過 SSL加密傳輸,保證傳輸過程中的數(shù)據(jù)安全性和可靠性。并且,我們的 iOS/Android SDK 還加入了防范中間人攻擊的措施,徹底排除網(wǎng)絡(luò)抓包和嗅探的威脅。
- 身份鑒別(Authentication)。我們云端對客戶端發(fā)過來的每一個請求,都進(jìn)行了身份鑒別(Authentication)和訪問授權(quán)(Authorization)的嚴(yán)格檢查。BaaS 平臺為每一個應(yīng)用準(zhǔn)備了標(biāo)識信息(應(yīng)用 id 和應(yīng)用 key),在每一次網(wǎng)絡(luò)請求中,我們都要求 SDK 帶上 app 標(biāo)識信息(鑒權(quán)簽名),以此來對請求發(fā)起方進(jìn)行身份鑒別。
- 訪問授權(quán)(Authorization)。Authentication 解決的是冒名訪問的問題,Authorization 則對一個合法用戶的操作進(jìn)行權(quán)限檢查,以保證登錄者不能看到或者破壞 ta 本沒有權(quán)限操作的數(shù)據(jù)。BaaS 平臺對每一條數(shù)據(jù)都提供「ACL」(Access Control List,訪問控制列表),以供開發(fā)者進(jìn)行更細(xì)粒度的控制。
- Web 應(yīng)用安全域名。在通用的兩層鑒權(quán)機(jī)制之外,我們額外增加了 Web 應(yīng)用的安全域名設(shè)置,以此來對請求來源進(jìn)行限制,防御住 Web 應(yīng)用的服務(wù)器資源盜取問題。
- 其它安全措施。我們還有更多的安全選項(xiàng)和數(shù)據(jù)備份設(shè)置,具體可以登錄我們的 BaaS 平臺了解更多。
- 如何應(yīng)對大流量、保證高性能。壓力和性能看起來是一對矛盾,但其實(shí)它們是一個硬幣的兩面,我們討論性能的時候都需要明確是在多大的訪問壓力下得出的。為了保證在流量增長的情況下,還有出色的性能,我們在架構(gòu)設(shè)計上對 scale up/scale out 做了很多努力,譬如,內(nèi)部系統(tǒng)都盡量采用微服務(wù)的架構(gòu),使用 Apache mesos/marathon/Docker 和自動化運(yùn)維技術(shù)來管理資源池并實(shí)現(xiàn)自動擴(kuò)展,等等。
業(yè)務(wù)邏輯千差萬別,通用平臺如何解決特定需求
大家可能會覺得,上面的方案只解決了基本的數(shù)據(jù)增刪改查的問題,并不能覆蓋復(fù)雜的業(yè)務(wù)邏輯。例如我是一個網(wǎng)商產(chǎn)品,消費(fèi)者下單購買了某個商品,后臺除了需要生成訂單、更新庫存之外,還需要能通知到物流等其他環(huán)節(jié),這時候怎么辦?
我們提供了代碼擴(kuò)展的功能——云引擎。這是一個給后端 Web 開發(fā)者的零管理計算平臺,使用方式上與 AWS 的 Lambda 一樣,開發(fā)者自己用 Node.js / Python / PHP 等語言實(shí)現(xiàn)自己的核心業(yè)務(wù)邏輯,然后部署到 BaaS 平臺的獨(dú)立容器中,就可以完成一些特定的業(yè)務(wù)需求了。開發(fā)者無需關(guān)心具體的代碼部署、負(fù)載均衡以及平行擴(kuò)展,都由 BaaS 平臺來保證的,所以說這是一個「零管理」的計算平臺。
開發(fā)者可以使用云引擎來完成如下功能:
- 定義新的函數(shù),供客戶端直接調(diào)用,完成特定的業(yè)務(wù)邏輯,以此來自由擴(kuò)展數(shù)據(jù)存儲的標(biāo)準(zhǔn) API 接口;
- 定義 Hook 函數(shù),響應(yīng)特定事件(譬如某類數(shù)據(jù)被修改、被刪除等),完成各種關(guān)聯(lián)操作,其作用類似于數(shù)據(jù)庫的存儲過程或 trigger。
- 甚至,還可以用來進(jìn)行網(wǎng)站托管,這就和大家熟知的 App Engine 差不多了。
為了保障性能,在云引擎中我們也提供云緩存(類似于 memcached、redis)等服務(wù),這樣方便開發(fā)者輕松實(shí)現(xiàn)各種個性化場景功能。
結(jié)論
使用第三方云服務(wù)已經(jīng)是大勢所趨,在新的產(chǎn)品開發(fā)流程里,我們希望讓更多的團(tuán)隊(duì)忘掉「infrastructure」,能夠集中精力在解決用戶的問題,而不要浪費(fèi)時間在打造「又」一個復(fù)雜的后端系統(tǒng)。