雲存儲

雲存儲

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是一種新興的網路存儲技術,是指通過集群套用、網路技術或分散式檔案系統等功能,將網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供資料存儲和業務訪問功能的一個系統。當雲計算系統運算和處理的核心是大量資料的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麽雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以資料存儲和管理為核心的雲計算系統。簡單來說,雲存儲就是將儲存資源放到雲上供人存取的一種新興方案。使用者可以在任何時間、任何地方,透過任何可連網的裝置連線到雲上方便地存取資料。

  • 中文名稱
    雲存儲
  • 外文名稱
    Cloud storage

基本簡介

由來:早在2006年谷歌推出的“Google101計畫”時,“雲”的概念及理論被正式提出,隨後亞馬遜、微軟、IBM等公司宣布了各自的“雲計畫”,雲存儲、雲安全等相關的雲概念相繼誕生。

雲存儲

雲存儲是在雲計算(cloud computing)概念上延伸和衍生發展出來的一個新的概念。雲計算是分散式處理(Distributed Computing)、並行處理(Parallel Computing)和格線計算(Grid Computing)的發展,是透過網路將龐大的計算處理程式自動分拆成無數個較小的子程式,再交由多部伺服器所組成的龐大系統經計算分析之後將處理結果回傳給使用者。通過雲計算技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,達到和”超級電腦”同樣強大的網路服務。

雲存儲是一種服務,和雲計算相似,通過集群套用、格線技術或分散式檔案系統等功能,將網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供資料存儲和業務訪問功能的一整套系統。

雲存儲的概念與雲計算類似,它是指通過集群套用、格線技術或分散式檔案系統等功能,將網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供資料存儲和業務訪問功能的一個系統,保證資料的安全性,並節約存儲空間。如果這樣解釋還是難以理解,那我們可以借用廣域網和網際網路的結構來解釋雲存儲。

參考雲狀的網路結構,建立一個新型的雲狀結構的存儲系統,這個存儲系統由多個存儲設備組成,通過集群功能、分散式檔案系統或類似格線計算等功能聯合起來協同工作,並通過一定的套用軟體或套用接口,對使用者提供一定類型的存儲服務和訪問服務。

當我們使用某一個獨立的存儲設備時,我們必須非常清楚這個存儲設備是什麽型號,什麽接口和傳輸協定,必須清楚地知道存儲系統中有多少塊磁碟,分別是什麽型號、多大容量,必須清楚存儲設備和伺服器之間採用什麽樣的連線線纜。為了保證資料安全和業務的連續性,我們還需要建立相應的資料備份系統和容災系統。除此之外,對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必須的。

如果採用雲存儲,那麽上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連線,對雲存儲進行資料訪問。

雲存儲不是存儲,而是服務

雲存儲的概念與雲計算類似,它是指通過集群套用、格線技術或分散式檔案系統等功能,將網路中大量各種不同類型的存儲設備通過套用軟體集合起來協同工作,共同對外提供資料存儲和業務訪問功能的一個系統。 如果這樣解釋還是難以理解,那我們可以借用廣域網和網際網路的結構來解釋雲存儲。

雲狀的網路結構

相信大家對區域網路、廣域網和網際網路都已經非常了解了。在常見的區域網路系統中,我們為了能更好地使用區域網路,一般來講,使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置,比如採用什麽型號交換機,有多少個連線埠,採用了什麽路由器防火牆,分別是如何設定的。系統中有多少個伺服器,分別安裝了什麽作業系統和軟體。各設備之間採用什麽類型的連線線纜,分配了什麽 xml:lang=IP地址和子網掩碼

但當我們使用廣域網和網際網路時,我們隻需要知道是什麽樣的接入網和使用者名稱、密碼就可以連線到廣域網和網際網路,並不需要知道廣域網和網際網路中到底有多少台交換機、路由器、防火牆和伺服器,不需要知道資料是通過什麽樣的路由到達我們的電腦,也不需要知道網路中的伺服器分別安裝了什麽軟體,更不需要知道網路中各設備之間採用了什麽樣的連線線纜和連線埠。 廣域網和網際網路對于具體的使用者是完全透明的,我們經常用一個雲狀的圖形來表示廣域網和網際網路,如下圖:

雲存儲

雖然這個雲圖中包含了許許多多的交換機、路由器、防火牆和伺服器,但對具體的廣域網、網際網路使用者來講,這些都是不需要知道的。這個雲狀圖形代表的是廣域網和網際網路帶給大家的互聯互通的網路服務,無論我們在任何地方,都可以通過一個網路接入線纜和一個使用者、密碼,就可以接入廣域網和網際網路,享受網路帶給我們的服務。

參考雲狀的網路結構,建立一個新型的雲狀結構的存儲系統系統,這個存儲系統由多個存儲設備組成,通過集群功能、分散式檔案系統或類似格線計算等功能聯合起來協同工作,並通過一定的套用軟體或套用接口,對使用者提供一定類型的存儲服務和訪問服務。

雲存儲

當我們使用某一個獨立的存儲設備時,我們必須非常清楚這個存儲設備是什麽型號,什麽接口和傳輸協定,必須清楚地知道存儲系統中有多少塊磁碟,分別是什麽型號、多大容量,必須清楚存儲設備和伺服器之間採用什麽樣的連線線纜。為了保證資料安全和業務的連續性,我們還需要建立相應的資料備份系統和容災系統。除此之外,對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必須的。如果採用雲存儲,那麽上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連線,對雲存儲進行資料訪問。

結構模型

雲存儲系統的結構模型由 4層組成。

存儲層

存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和 iSCSI等IP存儲設備,也可以是 SCSI或SAS等 DAS存儲設備。雲存儲中的存儲設備往往數量龐大且分布多不同地域,彼此之間通過廣域網、網際網路或者 FC光纖通道網路連線在一起。

雲存儲

存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗餘管理,以及硬體設備的狀態監控和故障維護。

基礎管理層

基礎管理層是雲存儲最核心的部分,也是雲存儲中最難以實現的部分。基礎管理層通過集群、分散式檔案系統和格線計算等技術,實現雲存儲中多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,並提供更大更強更好的資料訪問性能。

CDN內容分發系統、資料加密技術保證雲存儲中的資料不會被未授權的使用者所訪問,同時,通過各種資料備份和容災技術和措施可以保證雲存儲中的資料不會丟失,保證雲存儲自身的安全和穩定。

套用接口層

套用接口層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型,開發不同的套用服務接口,提供不同的套用服務。比如影片監控套用平台、IPTV和影片點播套用平台、網路硬碟引用平台,遠程資料備份套用平台等。

訪問層

任何一個授權使用者都可以通過標準的公用套用接口來登錄雲存儲系統,享受雲存儲服務。雲存儲運營單位不同,雲存儲提供的訪問類型和訪問手段也不同。

基本前提

寬頻網路的發展

真正的雲存儲系統將會是一個多區域分布、遍布全國、甚至于遍布全球的龐大公用系統,使用者需要通過ADSL、DDN等寬頻接入設備來連線雲存儲,而不是通過FC、 SCSI或乙太網線纜直接連線一台獨立的、私有的存儲設備上。隻有寬頻網路得到充足的發展,使用者才有可能獲得足夠大的資料傳輸頻寬,實現大量容量資料的傳輸,真正享受到雲存儲服務,否則隻能是空談。

WEB2.0技術

Web2.0 技術的核心是分享。隻有通過web2.0技術,雲存儲的使用者才有可能通過 PC、手機、移動多媒體等多種設備,實現資料、文檔、圖片和視音頻等內容的集中存儲和資料共享。Web2.0技術的發展使得使用者的套用方式和可得服務更加靈活和多樣。

套用存儲的發展

雲存儲不僅僅是存儲,更多的是套用。套用存儲是一種在存儲設備中集成了套用軟體功能的存儲設備,它不僅具有資料存儲功能,還具有套用軟體功能,可以看作是伺服器和存儲設備的集合體。套用存儲技術的發展可以大量減少雲存儲中伺服器的數量,從而降低系統建設成本,減少系統中由伺服器造成單點故障和性能瓶頸,減少資料傳輸環節,提供系統性能和效率,保證整個系統的高效穩定運行。

集群技術、格線技術和分散式檔案系統

雲存儲系統是一個多存儲設備、多套用、多服務協同工作的集合體,任何一個單點的存儲系統都不是雲存儲。

既然是由多個存儲設備構成的,不同存儲設備之間就需要通過集群技術、分散式檔案系統和格線計算等技術,實現多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,並提供更大更強更好的資料訪問性能。如果沒有這些技術的存在,雲存儲就不可能真正實現,所謂的雲存儲隻能是一個一個的獨立系統,不能形成雲狀結構。

雲存儲

 CDN內容分發、P2P技術、資料壓縮技術

CDN內容分發、P2P技術、資料壓縮技術、重復資料移除技術、資料加密技術

CDN內容分發系統、資料加密技術保證雲存儲中的資料不會被未授權的使用者所訪問,同時,通過各種資料備份和容災技術保證雲存儲中的資料不會丟失,保證雲存儲自身的安全和穩定。如果雲存儲中的資料安全得不到保證,想來也沒有人敢用雲存儲,否則,儲存的資料不是很快丟失了,就是全國人民都知道了。

存儲虛擬化技術、存儲網路化管理技術

雲存儲中的存儲設備數量龐大且分布多在不同地域,如何實現不同廠商、不同型號甚至于不同類型(如FC存儲和 IP存儲)的多台設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題,這個問題得不到解決,存儲設備就會是整個雲存儲系統的性能瓶頸,結構上也無法形成一個整體,而且還會帶來後期容量和性能擴展難等問題。

雲存儲中的存儲設備數量龐大、分布地域廣造成的另外一個問題就是存儲設備運營管理問題。雖然這些問題對雲存儲的使用者來講根本不需要關心,但對于雲存儲的運營單位來講,卻必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此,雲存儲必須要具有一個高效的類似與網路管理軟體一樣的集中管理平台,可實現雲存儲系統中設有存儲設備、伺服器和網路設備的集中管理和狀態監控。

基本架構

架構方法分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。

傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了松弛耦合非對稱架構,集中元資料和控製操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下:

緊耦合對稱(TCS)架構

構建TCS系統是為了解決單一檔案性能所面臨的挑戰,這種挑戰限製了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一檔案I/O操作要比單一設備的I/O操作多得多。業內對此的回應是建立利用TCS架構的產品,很多節點同時伴隨著分散式鎖管理(鎖定檔案不同部分的寫操作)和快取一致性功能。這種解決方案對于單檔案吞吐量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。

松弛耦合非對稱(LCA)架構

LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個資料路徑之外的中央元資料控製伺服器。集中控製提供了很多好處,允許進行新層次的擴展:

● 存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認信息。

● 節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。

● 使用者可以通過利用硬體性能或虛擬化實例來調整雲存儲。

● 消除節點之間共享的大量狀態開銷也可以消除使用者電腦互聯的需要,如光纖通道或infiniband,從而進一步降低成本。

● 異構硬體的混合和匹配使使用者能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的資料可用性。

● 擁有集中元資料意味著,存儲節點可以旋轉地進行深層次應用程式歸檔,而且在控製節點上,元資料經常都是可用的。

選擇模式

● 服務模式:最普遍的情況下, 當你考慮雲存儲的時候,你就會想到其所提供的服務產品。這種模式很容易開始,其可擴展性幾乎是瞬間的。根據定義,你擁有一份異地資料的備份。然而,頻寬是有限的,因此要考慮你的恢復模型。你必須要滿足你網路之外的資料的需求。

雲存儲

● HW模式:這種部署位于防火牆背後,並且其提供的吞吐量要比公共的內部網路好。購買整合的硬體存儲解決方案非常方便,而且,如果廠商在安裝/管理上做的好的話,其往往伴隨有機架和堆疊模型。但是,這樣你就會放棄某些摩爾定律的優勢,因為你會受到硬體設備的限製。

● SW模式:SW模式具有HW模式所具有的優勢。另外,它還具有HW所沒有的價格競爭優勢。然而,其安裝/管理過程式要謹慎關註,因為安裝某些SW的確非常困難,或者可能需要其他條件來限製人們選擇HW,而選擇SW。

主要分類

雲存儲可分為以下三類:

1.公共雲存儲

公共雲存儲又稱公有雲存儲,像亞馬遜公司的Simple Storage Service(S3)和Nirvanix公司提供的存儲服務一樣,它們可以低成本提供大量的檔案存儲。供應商可以保持每個客戶的存儲、套用都是獨立的,私有的。公共雲存儲是雲技術發展較為突出的代表,覆蓋範圍較廣的如金山快盤、OATOS企業網盤以及cStor雲存儲,服務較專業的如雲創存儲希望管理平台,都具有一定代表性。

公有雲存儲一般通過單一類型的存儲服務滿足不同客戶需求,比如用的最多的對象存儲服務或表服務,難點在利用分散式技術構建一個Scale-out的多租戶存儲系統;而私有雲需要通過多種類型的存儲服務滿足內部不同套用系統的需求,因此在架構設計上會包括塊存儲、檔案存儲等多種存儲系統。難點在管理系統平台的建設上。

公共雲存儲可以劃出一部分用作私有雲存儲。一個公司可以擁有或控製基礎架構,以及套用的部署,私有雲存儲可以部署在企業資料中心或相同地點的設施上。私有雲可以由公司自己的IT部門管理,也可以由服務供應商管理。

2.內部雲存儲

又稱私有雲存儲,私有雲存儲是建立在私有雲上面,客戶獨立擁有其存儲設施。這種雲存儲和私有雲存儲比較類似,唯一的不同點是它仍然位于企業防火牆內部。至2014年可以提供私有雲的平台有:Eucalyptus、3A Cloud、minicloud安全辦公私有雲、聯想網盤和OATOS企業網盤等。

3.混合雲存儲

這種雲存儲把公共雲和私有雲/內部雲結合在一起。主要用于按客戶要求的訪問,特別是需要臨時配置容量的時候。從公共雲上劃出一部分容量配置一種私有或內部雲可以幫助公司面對迅速成長的負載波動或高峰時很有幫助。盡管如此,混合雲存儲帶來了跨公共雲和私有雲分配套用的復雜性。    

發展趨勢

雲存儲已經成為未來存儲發展的一種趨勢。但隨著雲存儲技術的發展,各類搜尋、套用技術和雲存儲相結合的套用,還需從安全性、便攜性及資料訪問等角度進行改進。

(1)安全性

從雲計算誕生,安全性一直是企業實施雲計算首要考慮的問題之一。同樣在雲存儲方面,安全仍是首要考慮的問題,對于想要進行雲存儲的客戶來說,安全性通常是首要的商業考慮和技術考慮。但是許多使用者對雲存儲的安全要求甚至高于它們自己的架構所能提供的安全水準。既便如此,面對如此高的不現實的安全要求,許多大型、可信賴的雲存儲廠商也在努力滿足它們的要求,構建比多數企業資料中心安全得多的資料中心。使用者可以發現,雲存儲具有更少的安全漏洞和更高的安全環節,雲存儲所能提供的安全性水準要比使用者自己的資料中心所能提供的安全水準還要高。

(2)便攜性

一些使用者在托管存儲的時候還要考慮資料的便攜性。一般情況下這是有保證的,一些大型服務提供商所提供的解決方案承諾其資料便攜性可媲美最好的傳統在地存儲。有的雲存儲結合了強大的便攜功能,可以將整個資料集傳送到你所選擇的任何媒介,甚至是專門的存儲設備。

(3)性能和可用性

過去的一些托管存儲和遠程存儲總是存在著延遲時間過長的問題。同樣地,網際網路本身的特徵就嚴重威脅服務的可用性。最新一代雲存儲有突破性的成就,體現在客戶端或在地設備高速快取上,將經常使用的資料保持在在地,從而有效地緩解網際網路延遲問題。通過在地高速快取,即使面臨最嚴重的網路中斷,這些設備也可以緩解延遲性問題。這些設備還可以讓經常使用的資料像在地存儲那樣快速反應。通過一個在地NAS網關,雲存儲甚至可以模仿終端NAS設備的可用性、性能和可視性,同時將資料予以遠程保護。隨著雲存儲技術的不斷發展,各廠商仍將繼續努力實現容量最佳化和WAN(廣域網)最佳化,從而盡量減少資料傳輸的延遲性。

(4)資料訪問

現有對雲存儲技術的疑慮還在于,如果執行大規模資料請求或資料恢復操作,那麽雲存儲是否可提供足夠的訪問性。在未來的技術條件下,此點大可不必擔心,現有的廠商可以將大量資料傳輸到任何類型的媒介,可將資料直接傳送給企業,且其速度之快相當于復製、貼上操作。另外,雲存儲廠商還可以提供一套組件,在完全在地化的系統上模仿雲地址,讓在地NAS網關設備繼續正常運行而無需重新設定。未來,如果大型廠商構建了更多的地區性設施,那麽資料傳輸將更加迅捷。如此一來,即便是客戶在地資料發生了災難性的損失,雲存儲廠商也可以將資料重新快速傳輸給客戶資料中心。

相關詞條

相關搜尋

其它詞條