關(guān)于我們

質量為(wèi)本、客戶為(wèi)根、勇于拼搏、務(wù)實創新(xīn)

< 返回新(xīn)聞公共列表

全新(xīn)華為(wèi)雲存儲型雲服務(wù)器(qì)的優劣對比體(tǐ)現(xiàn)在什(shén)麽地方?

發布時(shí)間(jiān):2021-05-12 21:53:03

針對于華為(wèi)雲于近期發布新(xīn)類型的華為(wèi)雲服務(wù)器(qì),相信大家都是有不少的疑問存在的,尤其是對于器(qì)優勢與劣勢的問題,那麽全新(xīn)華為(wèi)雲存儲型雲服務(wù)器(qì)的優劣體(tǐ)現(xiàn)在什(shén)麽地方呢(ne)?微子(zǐ)網絡為(wèi)滿足客戶多樣化(huà)的業務(wù)需求,所以今天重點介紹針對大數據場(chǎng)景設計的本地存儲型華為(wèi)雲服務(wù)器(qì)類型,其旨在解決海量數據處理(lǐ)服務(wù)上(shàng)雲的難題,充分(fēn)滿足以Hadoop大數據服務(wù)為(wèi)代表對華為(wèi)雲服務(wù)器(qì)存儲性能(néng)、容量、穩定性等方面的業務(wù)需求。接下(xià)來(lái)就(jiù)跟微子(zǐ)網絡一(yī)起來(lái)看一(yī)看:

全新(xīn)華為(wèi)雲存儲型雲服務(wù)器(qì)的優劣對比體(tǐ)現(xiàn)在什(shén)麽地方?


01适用場(chǎng)景

本地存儲型華為(wèi)雲服務(wù)器(qì)适合大數據分(fēn)析與海量存儲需求的用戶,特别是适用于分(fēn)布式文件存儲(HDFS)、并行計算(suàn)(MapReduce)等相關(guān)業務(wù)。華為(wèi)雲服務(wù)器(qì)數據盤采用本地存儲的設計,目前提供1-20塊8TB的SATA盤挂載,以更低(dī)的成本來(lái)保證客戶業務(wù)對存儲帶寬、容量的高要求。

02産品優勢

  • 單塊數據盤大小達8TB,單實例最高提供20塊數據盤[1],最高達160TB的可用空間(jiān),為(wèi)大數據服務(wù)提供海量存儲資源。

  • 單盤順序讀寫性能(néng)最高達250MB/s[2],實例最大吞吐接近5GB/s,縮短大數據分(fēn)布式文件讀取和寫入時(shí)間(jiān)[3]。

  • 随機讀寫IOPS接近其物理(lǐ)盤性能(néng)的95%,提供穩定高效的小文件讀寫性能(néng)。

  • 實例最高提供30Gb/s的内網帶寬能(néng)力,滿足大數據業務(wù)間(jiān)的海量數據交互需求。

03實現(xiàn)方式

我們結合挂載驅動(virtio-blk)與性能(néng)增強方式(iothread綁定),實現(xiàn)了(le)華為(wèi)雲服務(wù)器(qì)對本地數據盤的支持。工作(zuò)包括并不限于:

1)設計開發了(le)本地數據盤的生(shēng)命周期管理(lǐ)。

2)實現(xiàn)了(le)基于盤位數量與磁盤大小的雙因子(zǐ)混合調度算(suàn)法。

3)實現(xiàn)了(le)雲環境下(xià)大容量數據盤的快(kuài)速清理(lǐ)方法。

4)支持數據盤與雲盤的混合挂載,并增強多盤讀寫處理(lǐ)性能(néng)。

具體(tǐ)流程邏輯如(rú)下(xià)圖所示,我們從多個(gè)角度增強了(le)雲平台底層對于本地盤的管理(lǐ),進一(yī)步封裝實現(xiàn)了(le)華為(wèi)雲上(shàng)的本地存儲型華為(wèi)雲服務(wù)器(qì)類型。


04特色功能(néng)

1.  實現(xiàn)本地數據盤與雲盤的混合挂載

本地存儲型華為(wèi)雲服務(wù)器(qì)支持系統盤使用雲盤,依賴底層的鏡像緩存,可實現(xiàn)快(kuài)速發放(fàng),創建時(shí)間(jiān)與普通雲服務(wù)器(qì)無差異。并且通過雲盤能(néng)提供系統盤快(kuài)照/備份功能(néng),具備一(yī)定的高可用能(néng)力。

本地存儲型華為(wèi)雲服務(wù)器(qì)同樣也(yě)支持挂載數據盤為(wèi)雲盤,提供多樣化(huà)的存儲類型滿足不同場(chǎng)景的需求。

2.  增強多盤并發性能(néng)

華為(wèi)雲服務(wù)器(qì)挂載本地數據盤數量達成一(yī)定程度後,磁盤讀寫性能(néng)會出現(xiàn)一(yī)定程度的降級。如(rú)當測試挂載10塊數據盤的時(shí)候,單盤512K順序寫性能(néng)為(wèi)245MB/s,但(dàn)在并發十塊盤同時(shí)進行寫入時(shí),平均每塊盤寫入性能(néng)為(wèi)200MB/s,都會有不同程度的下(xià)降。

進一(yī)步研究發現(xiàn),由于虛拟機事(shì)件觸發隻能(néng)在單個(gè)線程中運行,多核優勢無法發揮。故引入多iothread機制[4],從而減少鎖競争及其他模拟功能(néng)的幹擾,單獨處理(lǐ)響應虛拟機IO事(shì)件。引入優化(huà)後,多盤并發順序寫性能(néng)與單盤性能(néng)保證一(yī)緻。

05局限性

由于本地存儲型華為(wèi)雲服務(wù)器(qì)使用服務(wù)器(qì)上(shàng)的本地數據盤作(zuò)為(wèi)主要存儲,靈活性上(shàng)将受到一(yī)定程度的限制:

①不支持遷移/變配:由于數據存在于本地數據盤上(shàng),本地存儲型華為(wèi)雲服務(wù)器(qì)不支持變配、熱遷移和宕機遷移。

②高可用局限:目前隻能(néng)實現(xiàn)系統盤的快(kuài)照/備份功能(néng), 本地數據盤不支持高可用,需上(shàng)層應用使用高可用架構來(lái)實現(xiàn)數據可靠性保證。

06後續

今後計劃豐富規格種類,覆蓋更多大數據應用場(chǎng)景,不限于:支持更多、更大容量的SATA盤提高存儲容量上(shàng)限;推出高性能(néng)的本地SAS盤滿足MPP數據庫、HBase、ES等場(chǎng)景;針對高IOPS需求業務(wù)提供本地SSD盤等。後續也(yě)将持續跟進本地存儲型華為(wèi)雲服務(wù)器(qì)相關(guān)功能(néng)優化(huà)與性能(néng)調優,引入壞盤修複機制等,為(wèi)客戶提供更優質的上(shàng)雲體(tǐ)驗。


全新(xīn)華為(wèi)雲存儲型雲服務(wù)器(qì)的優劣對比體(tǐ)現(xiàn)在什(shén)麽地方?

以上(shàng)就(jiù)是微子(zǐ)網絡為(wèi)大家分(fēn)析的全新(xīn)華為(wèi)雲存儲型雲服務(wù)器(qì)的優劣對比體(tǐ)現(xiàn)在什(shén)麽地方的問題,希望能(néng)夠對大家有所幫助,從而綜合的考量自己的業務(wù)。微子(zǐ)網絡代理(lǐ)的華為(wèi)雲是一(yī)家優秀的雲計算(suàn)服務(wù)提供商(shāng),可以為(wèi)想要租用華為(wèi)雲服務(wù)器(qì)來(lái)開設自己在線業務(wù)的朋(péng)友們提供最優質的服務(wù),擁有着完善的行業解決方案和優秀的雲計算(suàn)技術。自行開發的純 SSD架構雲服務(wù)器(qì),以50,000 IOPS随機讀寫速度,800 Mb/s吞吐量為(wèi)性能(néng)指标,刷新(xīn)業界紀錄。ecs彈性雲服務(wù)器(qì)采用純 SSD體(tǐ)系結構的硬件設備,隻需幾分(fēn)鍾,就(jiù)可以輕松地獲得并啓用雲端,滿足您的計算(suàn)需求。擴展資源使用的彈性,同時(shí)也(yě)為(wèi)您節省了(le)計算(suàn)成本,簡化(huà)了(le) IT運營工作(zuò),使您能(néng)夠更加關(guān)注核心業務(wù)的創新(xīn)。



/template/Home/Zkeys/PC/Static