云計算中的8項核心技術

DQZHAN技術訊：云計算中的8項核心技術

下面詳細談一談云計算的核心技術。

云計算是一種以數據和處理能力為中心的密集型計算模式，它融合了多項ICT技術，是傳統技術“平滑演進”的產物。其中以虛擬化技術、分布式數據存儲技術、編程模型、大規模數據管理技術、分布式資源管理、信息**、云計算平臺管理技術、綠色節能技術*為關鍵。

1、虛擬化技術

虛擬化是云計算*重要的核心技術之一，它為云計算服務提供基礎架構層面的支撐，是ICT服務快速走向云計算的*主要驅動力?？梢哉f，沒有虛擬化技術也就沒有云計算服務的落地與成功。隨著云計算應用的持續升溫，業內對虛擬化技術的重視也提到了一個新的高度。與此同時，我們的調查發現，很多人對云計算和虛擬化的認識都存在誤區，認為云計算就是虛擬化。事實上并非如此，虛擬化是云計算的重要組成部分但不是全部。

從技術上講，虛擬化是一種在軟件中仿真計算機硬件，以虛擬資源為用戶提供服務的計算形式。旨在合理調配計算機資源，使其更高效地提供服務。它把應用系統各硬件間的物理劃分打破，從而實現架構的動態化，實現物理資源的集中管理和使用。虛擬化的*大好處是增強系統的彈性和靈活性，降低成本、改進服務、提高資源利用效率。

從表現形式上看，虛擬化又分兩種應用模式。一是將一臺性能強大的服務器虛擬成多個獨立的小服務器，服務不同的用戶。二是將多個服務器虛擬成一個強大的服務器，完成特定的功能。這兩種模式的核心都是統一管理，動態分配資源，提高資源利用率。在云計算中，這兩種模式都有比較多的應用。

2、分布式數據存儲技術

云計算的另一大優勢就是能夠快速、高效地處理海量數據。在數據爆炸的今天，這一點至關重要。為了保證數據的高可靠性，云計算通常會采用分布式存儲技術，將數據存儲在不同的物理設備中。這種模式不僅擺脫了硬件設備的限制，同時擴展性更好，能夠快速響應用戶需求的變化。

分布式存儲與傳統的網絡存儲并不完全一樣，傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

在當前的云計算領域，Google的GFS和Hadoop開發的開源系統HDFS是比較流行的兩種云計算分布式存儲系統。

GFS(Google File System)技術：谷歌的非開源的GFS(GoogleFile System) 云計算平臺滿足大量用戶的需求，并行地為大量用戶提供服務。使得云計算的數據存儲技術具有了高吞吐率和高傳輸率的特點。

HDFS(Hadoop Distributed File System)技術：大部分ICT廠商，包括Yahoo、Intel的“云”計劃采用的都是HDFS的數據存儲技術。未來的發展將集中在超大規模的數據存儲、數據加密和**性保證、以及繼續提高I/O速率等方面。

3、編程模式

從本質上講，云計算是一個多用戶、多任務、支持并發處理的系統。高效、簡捷、快速是其核心理念，它旨在通過網絡把強大的服務器計算資源方便地分發到終端用戶手中，同時保證低成本和良好的用戶體驗。在這個過程中，編程模式的選擇至關重要。云計算項目中分布式并行編程模式將被廣泛采用。

分布式并行編程模式創立的初衷是更高效地利用軟、硬件資源，讓用戶更快速、更簡單地使用應用或服務。在分布式并行編程模式中，后臺復雜的任務處理和資源調度對于用戶來說是透明的，這樣用戶體驗能夠大大提升。MapReduce是當前云計算主流并行編程模式之一。MapReduce模式將任務自動分成多個子任務，通過Map和Reduce兩步實現任務在大規模計算節點中的高度與分配。

MapReduce是Google開發的java、Python、C++編程模型，主要用于大規模數據集(大于1TB)的并行運算。MapReduce模式的思想是將要執行的問題分解成Map(映射)和Reduce(化簡)的方式，先通過Map程序將數據切割成不相關的區塊，分配(調度)給大量計算機處理，達到分布式運算的效果，再通過Reduce程序將結果匯整輸出。

4、大規模數據管理

處理海量數據是云計算的一大優勢。那么如何處理則涉及到很多層面的東西，因此高效的數據處理技術也是云計算不可或缺的核心技術之一。對于云計算來說，數據管理面臨巨大的挑戰。云計算不僅要保證數據的存儲和訪問，還要能夠對海量數據進行特定的檢索和分析。由于云計算需要對海量的分布式數據進行處理、分析，因此，數據管理技術必需能夠高效的管理大量的數據。

Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase是業界比較典型的大規模數據管理技術。

BT(BigTable)數據管理技術：BigTable是非關系的數據庫，是一個分布式的、持久化存儲的多維度排序Map.BigTable建立在 GFS, Scheduler, Lock Service和MapReduce之上，與傳統的關系數據庫不同，它把所有數據都作為對象來處理，形成一個巨大的表格，用來分布存儲大規模結構化數據。 Bigtable的設計目的是可靠的處理PB級別的數據，并且能夠部署到上千臺機器上。

開源數據管理模塊HBase:HBase是Apache的Hadoop項目的子項目，定位于分布式、面向列的開源數據庫。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲系統，HBase在性能和可伸縮方面都有比較好的表現。利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。

5、分布式資源管理

云計算采用了分布式存儲技術存儲數據，那么自然要引入分布式資源管理技術。在多節點的并發執行環境中，各個節點的狀態需要同步，并且在單個節點出現故障時，系統需要有效的機制保證其它節點不受影響。而分布式資源管理系統恰是這樣的技術，它是保證系統狀態的關鍵。

另外，云計算系統所處理的資源往往非常龐大，少則幾百臺服務器，多則上萬臺，同時可能跨躍多個地域。且云平臺中運行的應用也是數以千計，如何有效地管理這批資源，保證它們正常提供服務，需要強大的技術支撐。因此，分布式資源管理技術的重要性可想而知。

全球各大云計算方案/服務提供商們都在積極開展相關技術的研發工作。其中Google內部使用的Borg技術很受業內稱道。另外，微軟、IBM、Oracle/Sun等云計算巨頭都有相應解決方案提出。

6、信息**調查

數據表明，**已經成為阻礙云計算發展的*主要原因之一。數據顯示，32%已經使用云計算的組織和45%尚未使用云計算的組織的ICT管理將云**作為進一步部署云的*大障礙。因此，要想保證云計算能夠長期穩定、快速發展，**是首要需要解決的問題。

事實上，云計算**也不是新問題，傳統互聯網存在同樣的問題。只是云計算出現以后，**問題變得更加突出。在云計算體系中，**涉及到很多層面，包括網絡**、服務器**、軟件**、系統**等等。因此，有分析師認為，云**產業的發展，將把傳統**技術提到一個新的階段。

現在，不管是軟件**廠商還是硬件**廠商都在積極研發云計算**產品和方案。包括傳統殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內的各個層面的**供應商都已加入到云**領域。相信在不久的將來，云**問題將得到很好的解決。

7、云計算平臺管理

云計算資源規模龐大，服務器數量眾多并分布在不同的地點，同時運行著數百種應用，如何有效地管理這些服務器，保證整個系統提供不間斷的服務是巨大的挑戰。云計算系統的平臺管理技術，需要具有高效調配大量服務器資源，使其更好協同工作的能力。其中，方便地部署和開通新業務、快速發現并且恢復系統故障、通過自動化、智能化手段實現大規模系統可靠的運營是云計算平臺管理技術的關鍵。

對于提供者而言，云計算可以有三種部署模式，即公共云、私有云和混合云。三種模式對平臺管理的要求大不相同。對于用戶而言，由于企業對于ICT資源共享的控制、對系統效率的要求以及ICT成本投入預算不盡相同，企業所需要的云計算系統規模及可管理性能也大不相同。因此，云計算平臺管理方案要更多地考慮到定制化需求，能夠滿足不同場景的應用需求。

包括Google、IBM、微軟、Oracle/Sun等在內的許多廠商都有云計算平臺管理方案推出。這些方案能夠幫助企業實現基礎架構整合、實現企業硬件資源和軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份，打破應用對資源的獨占，讓企業云計算平臺價值得以充分發揮。

8、綠色節能技術

節能環保是全球整個時代的大主題。云計算也以低成本、高效率著稱。云計算具有巨大的規模經濟效益，在提高資源利用效率的同時，節省了大量能源。綠色節能技術已經成為云計算必不可少的技術，未來越來越多的節能技術還會被引入云計算中來。

Carbon Disclosure Project(碳排放披露項目，簡稱CDP)近日發布了一項有關云計算有助于減少碳排放的研究報告。報告指出，遷移至云的美國公司每年就可以減少碳排放8570萬噸，這相當于2億桶石油所排放出的碳總量。

總之，云計算服務提供商們需要持續改善技術，讓云計算更綠色。