5月15日:技術夜話(第一期)

注:本文是根據“阿Ben部落”微信群“技術夜話”聊天記錄整理而出,其版權歸“阿Ben部落"微信群所有,如要轉載,需要先行請聯系群主授權

今日嘉賓:James.Meng(蒙曉凈),UCloud存儲部門負責人,主要負責參與UCloud存儲產品的研發和運營工作,產品涵蓋云硬盤、云數據庫、云內存存儲和對象存儲等, 關注存儲和云計算相關技術領域。歡迎交流存儲相關問題~
James.Meng(蒙曉凈),UCloud存儲部門負責人,主要負責參與UCloud存儲產品的研發和運營工作,產品涵蓋云硬盤、云數據庫、云內存存儲和對象存儲等, 關注存儲和云計算相關技術領域。

:大家晚上好,感謝熱情的各位捧場,今晚主要是對UCloud存儲方面的產品與大家做一個交流。我先簡單以一張圖片介紹一下目前現有的存儲產品吧。我們存儲方面現在主要云數據庫、內存存儲、云硬盤以及對象存儲這幾個產品。


現在咱們就直接進入主題吧,存儲相關的話題都可以提問:)

Q1:能介紹下udisk的架構么…上次季總似乎有提到貴司是iscsi出塊設備?
:我們UDISK是支持ISCSI協議的,這個主要是由IO接入層來支持。
架構方面我先簡單說一下吧,整體主要是由chunk, master, proxy這幾個核心模塊組成。chunk是負責最底層的存儲讀寫,master作為中心節點管理元數據等信息,proxy負責解析協議,并將IO轉發給chunk進行寫入,同時這里會使用多份冗余的方式

Q2:proxy……兼容了哪些協議?
:主要是ISCSI以及我們自己開發的驅動的協議

Q3:基于ceph來做的么?
:UDISK底層是直接操作裸盤的,直接把裸盤塊設備加入資源池中進行管理,沒有使用文件系統。整個系統這里沒有基于開源產品,都是自己重新搭建的。UDB中,數據庫的同步用的是什么技術,同步的頻率是怎么樣的?UDB目前是支持有mysql/mongodb 這2種數據庫,都是使用其原生的同步方式

Q4:serversan形態?
:類似吧,對于上層應用來說可以認為是一個SAN,只是內部的管理方式還是有自身的特殊處理的。

Q5: 裸盤?單節點raid么?
:不是的,這里的冗余都是通過分布式來解決,會確保冗余的數據分布在不同的機器的不同磁盤上。

Q6:MySQL高可用機制如何實現的,支持分布式數據庫嗎?
:UDB目前還沒有支持高可用,主要還是提供最基礎的單元服務。目前需要用戶利用創建從庫或是集群的功能,然后自己來處理切換的事情。但我們也正在研發基于UDB的高可用產品,以完善這個特性。

Q7:3副本么?支持EC么?有mds節點么?
:UDISK 目前是多副本冗余的形式

Q8:那在UDB中, 如果有大量查詢進來,你們有做哪些優化?
:UDB的默認配置參數是有做了一些優化的,用戶也可以自行根據自己的場景再自定義優化。如果如果并發查詢比較多,達到了DB的性能瓶頸,是可以對DB做相應的升級,同時也會有提供DBA服務支持。不過建議還是架構上需要進行一些調整,使用UMEM增加一層緩存,增加只讀的從庫,盡可能減少對DB的訪問。同時業務最好是有做分庫分表等處理,以便分流

Q9:我想問一下UDB的彈性擴展能力?
:UDB的彈性擴展這里主要是針對單實例自身的升級了,比如升級內存和磁盤容量這些。

Q10:UFile,我想問單個對象 大小的限制是多少,aws是5TB
:單個對象的大小,我們最大也是支持5T。容量嘛也是沒有上限的。

Q11:主要應用在哪些場景尼?視頻大文件性能如何?
:上邊這個問題是針對UFILE對象存儲吧?我就以UFILE這個簡單說下吧
對象存儲的應用場景還是比較廣泛的了,比如替代常見的一些共享存儲、NFS這些,減少文件系統的束縛。同時他的按需使用、動態擴容特性,對于容量增長比較快的應用來說也是挺NICE的。而且支持HTTP協議,文件可以直接訪問。UFILE自身是與我們的UCDN產品緊密結合的,會有對于的CDN加速支持,當然視頻、大文件這塊也是OK的,都可以有對應的CDN加速

Q12:對象存儲可用直接對接分布式計算引擎嗎?
:對象存儲本身還是用于存儲數據了,分布式計算的框架如果其底層支持對象存儲相應的協議,也是可以從對象存儲上拉取數據進行計算分析的

Q13:往對象存儲里上傳或下載數據速度有限制嗎?
:目前速度都是不限制的,一般主要還是受限于客戶端本地的出口帶寬。主要是是否可以計算隨著數據走,而不是先下載再計算
嗯,這個應該還是產品定位的問題吧,我們對象存儲的根本還是更關注于存儲本身,分布式計算這塊尚不是其關注的重點。但比如圖片處理、視頻處理這些互聯網應用常用的功能,后續也是會有提供的。

Q14:最高能支持多大帶寬?哪大數據遷移到云都有什么好的解決方案?
:這個理論上沒有嚴格的上限,本身接入服務是可以平行去擴展的。遷移這塊,我就數據遷移到對象存儲說說一個思路吧,應該盡可能可以用類似緩存+源站的這種結構形式,把當前的數據源作為對象存儲的源,業務數據訪問時指向對象存儲,當對象存儲上沒有對應數據時,可以從源站去獲取。這種方式應該比較平滑一些。 但遷移的持續時間可能會比較長,故同時也可以用主動同步的方式,把數據也主動推送到對象存儲上。 對于這點,我們的UFILE也正在研發相應的特性,以方便用戶的數據遷移。:)

Q15:針對虛擬化一些特殊的應用比如虛擬磁盤遷移,虛擬磁盤備份,有做存儲加速么?或者普通的業務層面的數據備份,有做存儲加速么?
:我們是有在虛擬化這塊研發了自己的一個加速模塊,用于提高磁盤的隨機讀寫能力。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容