時間:2023-07-28 09:18:57
緒論:在尋找寫作靈感嗎?愛發(fā)表網(wǎng)為您精選了8篇云計算的基礎(chǔ)架構(gòu),愿這些內(nèi)容能夠啟迪您的思維,激發(fā)您的創(chuàng)作熱情,歡迎您的閱讀與分享!
關(guān)鍵詞: 云計算; 橋梁安全與健康監(jiān)測; 數(shù)據(jù)中心; 數(shù)據(jù)管理技術(shù)
中圖分類號:TP391 文獻標(biāo)志碼:A 文章編號:1006-8228(2013)12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1,2, Wu Jufeng1,2
(1. Wuhan Bridge Science Research Institute(BSRI) Ltd.MBEC, Wuhan, Hubei 430034, China;
2. Key laboratory of bridge structure and health of Hubei province)
Abstract: With the development of bridge safety&health monitoring data center (BSHM-DC) technology, the monitoring data is increased rapidly in exponential speed, which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper, the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing, the selections of key devices and related software are discussed. Lastly, its application expectation of BSHM-DC is prospected.
Key words: cloud computing; bridge safety &health monitoring (BSHM); data center(DC); data management technology
0 引言
橋梁安全與健康監(jiān)測系統(tǒng)是通過在橋梁的關(guān)鍵部位布置高可靠性和耐久性的各類傳感器,對結(jié)構(gòu)內(nèi)力、變形、動力特性、環(huán)境狀況進行實時監(jiān)測,獲取橋梁在營運期內(nèi)受各種荷載作用下的結(jié)構(gòu)響應(yīng),通過理論計算和規(guī)范值與實測值的對比、分析,實現(xiàn)結(jié)構(gòu)異常響應(yīng)報警、結(jié)構(gòu)營運安全性評估、結(jié)構(gòu)損傷識別等。由于該系統(tǒng)7*24小時不間斷檢測,所采集的數(shù)據(jù)量飛速增長。在面對多座橋梁監(jiān)測系統(tǒng)集成管理的情況下通常采用直聯(lián)式數(shù)據(jù)存儲方式,其數(shù)據(jù)的存儲能力、數(shù)據(jù)管理難度、數(shù)據(jù)安全,以及存儲資源的利用等,都難以滿足系統(tǒng)設(shè)計需求。
云計算可以滿足新一代數(shù)據(jù)中心對網(wǎng)絡(luò)、存儲和計算的業(yè)務(wù)需求,并能提供豐富的應(yīng)用服務(wù),是新一代數(shù)據(jù)中心的核心要素[1-2]。本文通過引入云計算的基礎(chǔ)架構(gòu),建立了基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心,將分散在全國各地的監(jiān)測系統(tǒng)數(shù)據(jù)進行集中可靠的存儲與管理,并通過云計算數(shù)據(jù)中心向用戶提供高效、安全的服務(wù)。
1 橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)的現(xiàn)狀
隨著在役橋梁安全與健康監(jiān)測建設(shè)的發(fā)展,橋梁安全與健康監(jiān)測系統(tǒng)中海量數(shù)據(jù)的存儲與有效利用日顯重要,并成為在役系統(tǒng)普遍關(guān)注的一個重點。一個中等橋梁安全與健康監(jiān)測系統(tǒng)數(shù)據(jù)日增長量在3GB/天左右,一年有1.1TB增量的數(shù)據(jù),數(shù)據(jù)的維護管理主要依賴系統(tǒng)管理員定期執(zhí)行,數(shù)據(jù)管理的實施方式難以統(tǒng)一。隨著數(shù)據(jù)量的增加,數(shù)據(jù)管理工作量、管理難度及管理成本成倍增加,數(shù)據(jù)也得不到有效利用。
橋梁安全與健康監(jiān)測數(shù)據(jù)中心引入云計算,可將業(yè)務(wù)數(shù)據(jù)和應(yīng)用在公有云和私有云之間同步,當(dāng)數(shù)據(jù)中心構(gòu)建的私有云出現(xiàn)故障,應(yīng)用可以無縫遷移到公有云中。通過云計算將分散在全國各地的業(yè)務(wù)系統(tǒng)數(shù)據(jù)通過INTERNET進行集中存儲與管理,可向橋梁技術(shù)研究者提供數(shù)據(jù)共享服務(wù)分析橋梁健康監(jiān)測海量數(shù)據(jù);橋梁管理單位即使不具備橋梁專業(yè)技術(shù)知識也可以在任何地方、任何時間監(jiān)測到橋梁的實際運營狀況,獲得橋梁健康監(jiān)測報告及橋梁營運安全性評估等服務(wù)并實時反饋專家意見,大大提高了橋梁管養(yǎng)效率。
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)分兩部分,一部分是集成中心,另一部分是分散在全國各地的分中心。集成中心的數(shù)據(jù)增長量在10GB/天,分中心的數(shù)據(jù)增長量在3GB/天左右,增長量會隨著業(yè)務(wù)量的增加而增加。集成中心利用云計算技術(shù)對服務(wù)器、存儲、網(wǎng)絡(luò)等IT資源進行虛擬化,將所有的IT資源放在一個資源池中并進行動態(tài)資源管理,對IT資源進行監(jiān)管和云管理。當(dāng)資源池中分配給某個橋梁安全與健康監(jiān)測系統(tǒng)的資源出現(xiàn)故障或者該系統(tǒng)獲得的資源不夠用的時候,云管理平臺會自動分配給它新的資源,從而保證系統(tǒng)7*24小時不間斷運行。
分中心的數(shù)據(jù)通過公共Internet網(wǎng)絡(luò)與集成中心組成云網(wǎng)絡(luò),數(shù)據(jù)進行同步,在集成中心對數(shù)據(jù)進行異地容災(zāi)備份。集成中心有兩份數(shù)據(jù),一份數(shù)據(jù)面向橋梁安全與健康監(jiān)測系統(tǒng)(數(shù)據(jù)庫A),一份數(shù)據(jù)是完全備份數(shù)據(jù)(數(shù)據(jù)庫B)。我們主要考慮如何優(yōu)化實時數(shù)據(jù)讀取和歷史數(shù)據(jù)查詢。數(shù)據(jù)庫B中保留所有數(shù)據(jù),數(shù)據(jù)庫A只保留最近1周的數(shù)據(jù);業(yè)務(wù)系統(tǒng)實時讀取的是數(shù)據(jù)庫A中的數(shù)據(jù),而查詢一周之前的數(shù)據(jù)就讀取數(shù)據(jù)庫B中的數(shù)據(jù)。
圖1 分中心數(shù)據(jù)庫結(jié)構(gòu)與操作
2 關(guān)鍵技術(shù)
云計算(Clouding Computing)由Google、Amazon等公司于2006年首先提出,它是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時隨地、按需、便捷地訪問共享資源池(如計算設(shè)施、存儲設(shè)備、應(yīng)用程序等)的計算模式[3]。我國政府高度重視對云計算的發(fā)展,把其列為重點發(fā)展的戰(zhàn)略性新興產(chǎn)業(yè)[4-5],云計算技術(shù)的應(yīng)用已成為國內(nèi)外的熱點研究問題[6-8]。
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心的建設(shè)所需專業(yè)涉及面較廣,如橋梁專業(yè)、網(wǎng)絡(luò)通信專業(yè)、計算機專業(yè)等。本節(jié)著重討論其在計算機領(lǐng)域內(nèi)實現(xiàn)云計算數(shù)據(jù)中心的關(guān)鍵技術(shù)。
2.1 虛擬化技術(shù)
虛擬化技術(shù)能讓所有計算元件在虛擬的基礎(chǔ)上運行,是實現(xiàn)云計算數(shù)據(jù)中心不可缺少的功能。通過把有限的固定的資源根據(jù)不同需求進行重新規(guī)劃以達到最大利用率的思路,在IT領(lǐng)域就叫虛擬化技術(shù)[9-10](Virtual Technology)。這種解決方案能在很大程度上優(yōu)化資源、節(jié)約成本。虛擬化技術(shù)包括計算虛擬化技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)、存儲虛擬化技術(shù)。系統(tǒng)虛擬化前后的特點如表1所述。
表1 虛擬化前后特點比較
[虛擬化前\&虛擬化后\&每臺主機一個操作系統(tǒng)\&每臺主機上運行多個虛擬機,每個虛擬機一個操作系統(tǒng)
\&每臺主機上運行多個程序,可能造成沖突
\&多個程序可分別在運行在多個虛擬機上,應(yīng)用程序相對獨立的運行空間,避免沖突
\&每臺主機配一個存儲,存儲資源得不到有效利用,且一旦存儲出現(xiàn)單點故障,數(shù)據(jù)可能丟失
\&多個虛擬機共享存儲,當(dāng)一臺主機出現(xiàn)故障時,會自動分配其他主機上的硬件資源給故障主機的應(yīng)用程序\&硬件成本高,且配置和管理困難\&虛擬機獨立于硬件運行,可動態(tài)資源分配,新程序的部署工作只需要幾分鐘,有效節(jié)約硬件和維護成本
\&]
目前虛擬化技術(shù)的產(chǎn)品主要有EMC的 VMware虛擬化產(chǎn)品,Microsoft的Virtual Server, Sun的Virtual Box,以及Ctrix公司的Xen Server和Xen,占市場份額最大的是EMC的 VMware虛擬化產(chǎn)品。
2.2 數(shù)據(jù)存儲技術(shù)
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心需要滿足大數(shù)據(jù)管理的需求,為大量橋梁管理者提供服務(wù)并且為橋梁研究者提供大數(shù)據(jù)分析功能。數(shù)據(jù)安全可靠存儲是實現(xiàn)大數(shù)據(jù)管理分析的基礎(chǔ)。
數(shù)據(jù)存儲系統(tǒng)從物理結(jié)構(gòu)來看,底層主要是磁盤,通過光纖、串口線等與磁盤后的板卡和控制器相連。目前最常用的存儲方式有DAS(直接連接存儲)、SAN(存儲區(qū)域網(wǎng)絡(luò))和NAS(網(wǎng)絡(luò)附加存儲)。直連存儲(DAS)是直接通過SCSI線纜或者光纖直接連接到服務(wù)器上。存儲區(qū)域網(wǎng)絡(luò)(SAN)是通過網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器,目前常用的SAN結(jié)構(gòu)根據(jù)連接介質(zhì)不同而分為FC SAN和IP SAN。網(wǎng)絡(luò)附加存儲(NAS)是將網(wǎng)絡(luò)存儲設(shè)備直接放在網(wǎng)絡(luò)上提供文件共享服務(wù)。這三種技術(shù)優(yōu)缺點如表2所示。
表2 DAS、SAN、NAS數(shù)據(jù)存儲系統(tǒng)技術(shù)優(yōu)缺點
[特征\&DAS\&SAN\&NAS\&安裝難易度\&較難\&較難\&很容易\&集中管理\&難\&專用軟件\&基于網(wǎng)絡(luò)\&擴展性\&低\&高\&中\&數(shù)據(jù)共享\&難\&通過軟件實現(xiàn)\&內(nèi)部實現(xiàn)\&處理能力\&強\&強\&視網(wǎng)絡(luò)情況而定\&備份\&傳統(tǒng)方式\&服務(wù)器不參與\&多種方案\&容災(zāi)\&基于服務(wù)器\&端對端及多點容災(zāi)\&端對端方案\&安全\&中\&高\&低\&]
目前主要存儲廠商的FC SAN存儲可以實現(xiàn)8Gbit/S的傳輸速率,但費用較高,所以中大型數(shù)據(jù)中心建設(shè)中還是處于領(lǐng)先地位。但是隨著IP SAN技術(shù)的發(fā)展,較高的性價比使FC SAN存儲逐漸擴大了在市場的份額。
2.3 動態(tài)資源管理
云計算的資源包括存儲資源、計算資源、網(wǎng)絡(luò)資源、基礎(chǔ)設(shè)施資源以及其他資源[2]。當(dāng)應(yīng)用云計算時,面對大量設(shè)備和相關(guān)技術(shù),如何有效整合各種資源并實施動態(tài)資源管理是實現(xiàn)云計算的關(guān)鍵。云計算動態(tài)資源管理系統(tǒng)的基本功能,是接受資源請求,合理地調(diào)度相應(yīng)的資源并且把特定的資源分配給資源請求者,使請求資源的業(yè)務(wù)得以運行。它能跨資源池智能動態(tài)調(diào)整計算資源,使IT與業(yè)務(wù)優(yōu)先級對應(yīng),動態(tài)提高系統(tǒng)的管理效率。
云計算的動態(tài)資源管理必須處理好存儲架構(gòu)問題,解決資源部署、監(jiān)控和調(diào)度策略等問題。在VMware虛擬化產(chǎn)品中,DRS(vsphere Distributed Resources Scheduler)可以根據(jù)每一個虛機的實際運行情況,適時地對內(nèi)存、CPU、網(wǎng)絡(luò)的消耗進行動態(tài)調(diào)整,將其平均分配到DRS集群的每一臺主機上面。動態(tài)分配依靠VMotion實現(xiàn),所以,VMotion是DRS的先決條件。
3 云計算數(shù)據(jù)中心實現(xiàn)
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心實現(xiàn)了數(shù)據(jù)中心服務(wù)器、網(wǎng)絡(luò)、存儲虛擬化及負載均衡,其基礎(chǔ)架構(gòu)拓撲圖如圖2所示。
整個方案通過兩路6核服務(wù)器配合后端IP SAN存儲技術(shù),并采用云計算虛擬化技術(shù)來實現(xiàn)橋梁安全與健康實時監(jiān)測。在云計算操作系統(tǒng)軟件的支持下,將3臺兩路6核服務(wù)器組建HA集群,并配合DRS及VMotion等高級功能,實現(xiàn)業(yè)務(wù)的連續(xù)性,減少計劃內(nèi)宕機時間,有效地提高資源利用率。
3.1 計算系統(tǒng)設(shè)備及軟件實現(xiàn)
計算系統(tǒng)設(shè)備主要是指服務(wù)器,服務(wù)器的選擇上主要考慮的是服務(wù)器的性能,滿足五年內(nèi)橋梁安全與健康監(jiān)測業(yè)務(wù)的需要,主要計算能力由3臺兩路6核服務(wù)器擔(dān)任。
而計算系統(tǒng)虛擬化的實現(xiàn)主要是利用軟件將服務(wù)器虛擬化。目前主流的、最具代表性的虛擬化軟件是VMware的Vsphere軟件。
本方案采用3臺企業(yè)級兩路服務(wù)器(HP Enterprise Server)作為核心數(shù)據(jù)庫平臺。該服務(wù)器能滿足數(shù)據(jù)庫應(yīng)用的高可用性、可恢復(fù)性,并具有錯誤檢測及消除單點故障的功能。采用數(shù)據(jù)庫雙機方案也增強了應(yīng)用的可擴展性,滿足業(yè)務(wù)不斷增長的需要。由于該型服務(wù)器采用全新的因特爾快速互聯(lián)通道互聯(lián)架構(gòu)配合因特爾志強E5系列處理器及SAS 6Gbps高性能磁盤控制器,使系統(tǒng)聯(lián)機處理性能提升2.5倍以上,數(shù)據(jù)庫性能提升3倍以上,更加適用于基礎(chǔ)架構(gòu)、數(shù)據(jù)庫核心應(yīng)用。
3.2 存儲設(shè)備及數(shù)據(jù)管理軟件
在保障客戶應(yīng)用的前提下,存儲將成為一個必須受到關(guān)注的核心環(huán)節(jié),因此雙控制器、多處理器和高可靠光纖8Gb存儲成為首選,這能有效保障業(yè)務(wù)的物理穩(wěn)定特性。出于數(shù)據(jù)安全備份的考慮,配置大存儲容量6TB存儲空間服務(wù)器作為虛擬機的備份服務(wù)器,可以保證在光纖存儲故障時或維護時的業(yè)務(wù)連續(xù)性,并對客戶的應(yīng)用數(shù)據(jù)也做到了統(tǒng)一備份。為了保障業(yè)務(wù)運行的高性能、可持續(xù)性和可擴展性,我們選擇了IP-SAN的存儲模式,通過串口線連接磁盤與控制器。云計算計算節(jié)點服務(wù)器通過交換機連接存儲設(shè)備,實現(xiàn)數(shù)據(jù)鏈路的高品質(zhì)性能保障。
在數(shù)據(jù)的統(tǒng)一備份處理上,基于虛擬機文件駐留在共享SAN存儲上,可以使用存儲區(qū)的映像來備份虛擬機文件,這樣做不會在運行虛擬機的云計算計算節(jié)點主機上引起任何額外的負載。統(tǒng)一備份功能可以滿足縮短虛擬機的備份時間,移除客戶應(yīng)用服務(wù)器上的備份工作負載,以及從中央服務(wù)器中執(zhí)行備份的工作。其工作流程是從運作中的主機上剝離磁盤,將磁盤鏈接到專用的統(tǒng)一備份服務(wù)器上,然后備份磁盤中適當(dāng)?shù)奈募藭r原始主機仍能看到該磁盤并能正常工作。通過有效利用虛擬機存儲區(qū)的映象文件,高效地保障客戶數(shù)據(jù)安全。
3.3 網(wǎng)絡(luò)設(shè)備
云計算數(shù)據(jù)中心網(wǎng)絡(luò)需實現(xiàn)雙鏈路可靠冗余連接、負載均衡,充分考慮網(wǎng)絡(luò)的可管理性。本方案采用兩臺DLINK交換機實現(xiàn)設(shè)備冗余,同時通過實現(xiàn)網(wǎng)絡(luò)虛擬化來保證網(wǎng)絡(luò)策略安全,使之不受虛擬機位置遷移的影響。
3.4 云平臺管理
云管理平臺是負責(zé)整個數(shù)據(jù)中心的資源池管理、是實現(xiàn)IAAS的關(guān)鍵環(huán)節(jié)。本方案采用VMware公司的Vcenter軟件,與其他的管理軟件相比,該軟件的使用為IT管理者大大降低了云計算虛擬環(huán)境管理的難度。
該云平臺是目前最強大的虛擬環(huán)境管理平臺,它能提高在虛擬基礎(chǔ)架構(gòu)每個級別上的集中控制和可見性,無論是幾十臺還是幾千臺虛擬機,都能集中、簡單地管理。它可以通過使用向?qū)Щ蛘吣0?,在幾分鐘?nèi)創(chuàng)建新的虛擬機或主機,最大限度地減少錯誤和停機;它還可以借用DRS(vsphere Distributed Resources Scheduler) 持續(xù)監(jiān)控各個資源池的使用情況。此外,借助vCenter API和.NET可實現(xiàn)vCenter Server和其他工具的集成,并且支持在vSphere Client中嵌入自定義插件,為管理IT環(huán)境提供選擇自由。
4 結(jié)束語
目前,基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)還處在初級階段,隨著橋梁安全監(jiān)測技術(shù)和云計算技術(shù)的發(fā)展,云計算數(shù)據(jù)中心會逐漸形成系統(tǒng)化、網(wǎng)絡(luò)化的全國性的橋梁安全與健康監(jiān)測平臺。該平臺能面向所有橋梁行業(yè)的客戶,提供存儲空間及橋梁安全與健康監(jiān)測服務(wù);同時還能根據(jù)存儲的大量橋梁相關(guān)數(shù)據(jù),進行數(shù)據(jù)挖掘及數(shù)據(jù)分析,在橋梁學(xué)術(shù)研究方面具有重要意義。
基于云計算的數(shù)據(jù)中心建設(shè)是一個復(fù)雜的系統(tǒng)工程,本文著重從橋梁安全監(jiān)測數(shù)據(jù)中心的關(guān)鍵技術(shù)方面闡述了系統(tǒng)基礎(chǔ)架構(gòu),以及關(guān)鍵設(shè)備和軟件的選型,希望能為其他行業(yè)數(shù)據(jù)中心的建設(shè)提供一些參考。
參考文獻:
[1] 林小村.數(shù)據(jù)中心建設(shè)與運行管理[M].科學(xué)出版社,2010.
[2] 劉鵬.云計算[M].電子工業(yè)出版社,2011.
[3] MELL P, GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology, SP800-145, Gaithersburg:U.S Dept. of Commerce,2011.
[4] 國家科學(xué)技術(shù)部.中國云科技發(fā)展"十二五"專項規(guī)劃[EB/01].
/tztg/201209/W020120918516104069531.doc,2012
[5] 工業(yè)和信息化部電信研究院.云計算白皮書(2012)[M].工業(yè)和信息化
部電信研究院,2012.
[6] 田冠華,孟丹,詹劍鋒.云計算環(huán)境下基于失效規(guī)則的資源動態(tài)提供
策略[J].計算機學(xué)報,2010.33(10):1859-1872
[7] 朱仕村,張宇峰,張立濤,朱曉文,胡云輝.面向長大橋梁結(jié)構(gòu)健康監(jiān)測
物聯(lián)網(wǎng)的云計算[J].現(xiàn)代交通技術(shù),2011.8(1):24-27
[8] 孟凡立,徐明,張慰.基于云計算的高校數(shù)據(jù)中心設(shè)計與實現(xiàn)[J].現(xiàn)代
教育技術(shù),2012.22(3):99-103
[9] 楊望仙,朱定局,謝毅,范朝冬.虛擬化技術(shù)在云計算中的研究進展[J].
先進技術(shù)研究通報,2010.4(8):5-10
關(guān)鍵詞:銀行業(yè)務(wù) ;批處理流程;Hadoop MapReduce ;云計算
中圖分類號:TP302文獻標(biāo)識碼:A文章編號文章編號:16727800(2013)0010000104
作者簡介:趙曦(1971-),男,博士,上海金融學(xué)院信息管理學(xué)院副教授,研究方向為互聯(lián)網(wǎng)金融應(yīng)用。
0引言
隨著大型商業(yè)銀行業(yè)務(wù)規(guī)模的擴大和信息技術(shù)的發(fā)展, 數(shù)據(jù)中心已經(jīng)成為大型商業(yè)銀行業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進行集中業(yè)務(wù)處理的樞紐,匯集了規(guī)?;腎T計算、存儲和網(wǎng)絡(luò)資源。
銀行主要承擔(dān)本外幣儲蓄、信用卡、對公存貸款業(yè)務(wù),銀行匯票及聯(lián)行業(yè)務(wù),國際結(jié)算和外匯買賣,代收代付等業(yè)務(wù) [1]。銀行業(yè)以網(wǎng)絡(luò)和信息技術(shù)作為其業(yè)務(wù)處理的核心支撐,形成了前端業(yè)務(wù)信息采集、中端數(shù)據(jù)交換和數(shù)據(jù)中心處理“分布采集、集中處理”模式。隨著業(yè)務(wù)量的增加和金融新產(chǎn)品的涌現(xiàn),業(yè)務(wù)管理和信息處理“大集中”后對流程處理效率、系統(tǒng)擴展性和數(shù)據(jù)存儲可靠性提出了更高的要求。金融行業(yè)特別是銀行業(yè)在處理在線聯(lián)機業(yè)務(wù)(online transaction)的同時,還需要處理大量的離線批處理業(yè)務(wù)(batch processing),如影像文件處理、票據(jù)結(jié)算、外匯清算、薪資、各類報表,批處理業(yè)務(wù)具有數(shù)據(jù)量大、占用計算資源多、限時處理完成的特點,銀行信息中心通常要配備足夠的資源在特定時間段(夜間、周末、月末)進行批量業(yè)務(wù)數(shù)據(jù)處理。如何提高批處理業(yè)務(wù)能力、合理配置計算資源是銀行信息中心不斷要面對的挑戰(zhàn)。
以計算資源和服務(wù)虛擬化為核心的云計算架構(gòu)和技術(shù)得到了廣泛的認同,正在成為IT產(chǎn)業(yè)和信息化應(yīng)用系統(tǒng)架構(gòu)的發(fā)展趨勢,實踐表明,基于云計算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運行成本及能源消耗方面具有明顯的優(yōu)勢。
本文提出了一種應(yīng)對批量業(yè)務(wù)流程處理的優(yōu)化方法,基本原理是將業(yè)務(wù)流程的任務(wù)節(jié)點進行分解和分類,形成流程隊列和若干可以進行并行處理分類任務(wù)隊列,使用Hadoop MapReduce并行計算框架進行并行處理,MapReduce提供的資源調(diào)度和容錯機制能夠有效提高業(yè)務(wù)處理系統(tǒng)的可擴展性和穩(wěn)定性。模擬實驗表明,流程任務(wù)分解優(yōu)化方法比通常的以流程為處理單元的方式具有一定的優(yōu)勢,可以在云計算環(huán)境下分組處理具有共同特征的計算和操作任務(wù),實現(xiàn)優(yōu)化資源調(diào)配,提高批量業(yè)務(wù)處理的效率。
1批處理業(yè)務(wù)流程優(yōu)化
批量業(yè)務(wù)處理是指一組遵循同一處理流程的重復(fù)操作,而涉及的業(yè)務(wù)流程是一組將輸入轉(zhuǎn)化為輸出的相互關(guān)聯(lián)或相互作用的活動,活動之間不僅有嚴(yán)格的先后順序限定,而且活動的內(nèi)容、方式、責(zé)任等也都必須有明確的安排和界定,以使不同活動在不同角色之間進行交接成為可能,批量處理業(yè)務(wù)流程活動之間的轉(zhuǎn)移不需要人工干預(yù)。處理流程中的活動根據(jù)數(shù)據(jù)處理的要求和特點進行設(shè)計,如先進行數(shù)據(jù)核對,然后進行計算,最后進行賬戶操作,每個活動會產(chǎn)生臨時數(shù)據(jù)。為了提高處理能力和資源使用效率,流程活動設(shè)計盡可能遵循以下幾個原則:
①獨立于其它流程和活動,可進行重復(fù)操作;②使用較少類別的計算資源,CPU、網(wǎng)絡(luò)、存儲;③能夠進行并行處理。
圖1示意了批量流程處理的原理,銀行信息中心在每個批處理周期安排若干批處理的規(guī)劃,配置計算資源,啟動和監(jiān)控批處理過程。每個批處理中包括對應(yīng)同一處理流程的批量處理任務(wù)。
銀行信息中心根據(jù)資源配置情況,安排批處理規(guī)劃中的批處理執(zhí)行,可以做到并行處理,以滿足處理時限的要求,每個批處理分配固定的或虛擬化的資源(服務(wù)器、CPU、存儲、外設(shè)),當(dāng)現(xiàn)有資源不能滿足批處理要求時,則需要不斷增加資源。這種以批處理流程為單位來決定資源配置的模式(圖2)不一定能夠確保資源的高效使用,如:需要大量CPU計算的流程同時配置I/O性能較高的資源,造成I/O資源的浪費。經(jīng)過分析,可以通過優(yōu)化批處理業(yè)務(wù)流程和操作來進行改進(圖3),以進一步提高資源的使用效率。
以優(yōu)化流程任務(wù)作為并行計算單元,形成批量處理任務(wù)隊列,根據(jù)任務(wù)操作的類型來分配最適合的資源,理論上提高了資源配置的精細程度,有助于提高資源使用效率。
2基于MapReduce的批處理優(yōu)化計算
為了驗證提出的以流程任務(wù)為基礎(chǔ)配置資源的批處理運算架構(gòu)(圖3),我們搭建了Hadoop/MapReduce并行計算實驗環(huán)境,通過模擬批處理業(yè)務(wù),對兩種資源配置模式進行比較。
Hadoop[6]云計算平臺的核心由HDFS分布存儲和映射機制及MapReduce并行計算架構(gòu)組成,具有開放性、穩(wěn)定性和擴展性方面的優(yōu)勢,成為了云計算研究和應(yīng)用的重要平臺之一,其架構(gòu)與提出的批處理流程優(yōu)化模型吻合程度高。
MapReduce[8]通過兩個函數(shù)Map和Reduce提供并行計算框架, 將計算任務(wù)(Job)分解為可以進行獨立和并行計算操作集合(Tasks),提交給Map函數(shù)處理,而Reduce函數(shù)收集、整理、排序Map函數(shù)的計算結(jié)果。其基本功能是按一定的映射規(guī)則將輸入的 (k1,v1)鍵值對轉(zhuǎn)換成另一個或一批list(k2,v2)對輸出,而Reduce將一個或多個Map輸出的list(k2,v2)轉(zhuǎn)換為新的鍵值對list(k3,v3),作為任務(wù)計算的輸出[2]。
一種基于C++的腳本語言和解釋器封裝了實現(xiàn)上述功能的基本功能函數(shù),用來描述任務(wù)的執(zhí)行操作。根據(jù)上述模擬批次規(guī)劃和流程節(jié)點類型,得出計算隊列表。
硬件計算架構(gòu)使用5臺Ubantu Linux服務(wù)器提供Hadoop MapReduce并行計算平臺,1個NameNode和4個DataNode,網(wǎng)絡(luò)環(huán)境為100M局域網(wǎng),通過SSH實現(xiàn)服務(wù)器之間的連接、控制和HDFS數(shù)據(jù)復(fù)制,流程和任務(wù)隊列管理程序運行在NameNode上,Map和Reduce實現(xiàn)分布在DateNode上。圖7所示為流程優(yōu)化模擬架構(gòu)。
平臺模擬了以業(yè)務(wù)流程為處理單元和任務(wù)分解優(yōu)化兩種計算架構(gòu),使用同樣的模擬流程和數(shù)據(jù),同時檢測了當(dāng)一個DateNote服務(wù)器宕機時的任務(wù)容錯機制和性能,表4匯總模擬運行的比較數(shù)據(jù)。
圖7Haddop MapReduce流程優(yōu)化模擬系統(tǒng)架構(gòu)
流程最短處理時間指流程任務(wù)按照關(guān)鍵邏輯路徑執(zhí)行需要的累計時間,當(dāng)一個任務(wù)處理完成后才能激活后續(xù)節(jié)點任務(wù)。以流程為單位的隊列處理模式在4個DataNode平均分配流程,每個DataNode處理的流程數(shù)量幾乎均等,資源的使用率也相同。任務(wù)優(yōu)化分解方法形成了7個任務(wù)隊列,DateNode資源分配按照優(yōu)先資源對照表3進行。
流程平均處理時間指進入流程隊列到所有任務(wù)處理完畢的時間,包括等待和任務(wù)處理時間,資源使用差異指CPU和I/O在高度使用和過度空閑的比例關(guān)系。
根據(jù)實驗平臺記錄的運行數(shù)據(jù),在同樣的批處理流程和硬件架構(gòu)條件下,使用業(yè)務(wù)流程分解優(yōu)化的并行計算能夠處理更多的事務(wù)(320min對比430min),資源的使用效率得到提高(54%對比31%),即使考慮到流程分解和多個任務(wù)隊列管理的額外開銷,運行結(jié)果還是表明了所提出方法的優(yōu)勢,為進一步深入研究和完善提供了基礎(chǔ)。
3結(jié)語
銀行批處理“大集中”后,其數(shù)量和規(guī)模不斷擴大,銀行信息中心不斷面臨IT資源優(yōu)化和靈活配置的挑戰(zhàn),一方面要提升IT架構(gòu)的資源數(shù)量和技術(shù)水平,另一方面要優(yōu)化批處理的模式來更有效地利用IT資源(計算、存儲、網(wǎng)絡(luò)、I/O)。
云計算技術(shù)的研究和應(yīng)用成為了IT產(chǎn)業(yè)發(fā)展的一個重要方向,基于云計算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運行成本及能源消耗方面具有明顯的優(yōu)勢。云計算架構(gòu)的出現(xiàn)也引發(fā)了在信息系統(tǒng)設(shè)計、功能開發(fā)和維護服務(wù)的巨大變化。作為以信息化技術(shù)作為重要支撐的銀行業(yè),正在逐步嘗試和分享云計算帶來的各種優(yōu)勢。本文在此背景下,提出了一種針對銀行批處理業(yè)務(wù)的優(yōu)化流程分解方法。
業(yè)務(wù)流程分解優(yōu)化方法通過對流程任務(wù)分組,可以為實時處理大批量流程的應(yīng)用領(lǐng)域(銀行、證券、保險、電子商務(wù))提高處理效率,MapReduce原理為流程節(jié)點處理提供了并行計算框架,其調(diào)度和容錯機制可以實現(xiàn)系統(tǒng)計算資源的高擴展性和穩(wěn)定性。模擬實驗表明,本文介紹的基于并行計算的優(yōu)化流程分解方法比以整個批量處理流程為處理單元的方法在效率、架構(gòu)和靈活性方面具有一定的優(yōu)勢。下一個階段,擬將該方法進一步完善,在銀行等典型批處理業(yè)務(wù)應(yīng)用領(lǐng)域進行深化和拓展。
參考文獻:
[1]李得仁.銀行批量業(yè)務(wù)后臺集中處理模式的實現(xiàn)[J].中國金融電腦 ,2012(11).
[2]李成華.MapReduce:新型的分布式并行計算編程模型[J].計算機工程與科學(xué), 2011(3).
[3]楊志豪.一種適應(yīng)數(shù)據(jù)與計算密集型任務(wù)的私有云系統(tǒng)實現(xiàn)研究[J].計算機應(yīng)用研究 , 2011(2).
[4]易小華.面向MapReduce的數(shù)據(jù)處理流程開發(fā)方法[J].計算機科學(xué)與探索,2011(2).
[5]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM,2008, 51(1): 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http:///mapreduce/.
【關(guān)鍵詞】云計算;云基礎(chǔ)架構(gòu);虛擬化技術(shù);分布式存儲系統(tǒng);并行編程模型
1.引言
自新千年IT業(yè)引入云計算概念以來,通過廣大的市場需求及雄厚的技術(shù)支持,大規(guī)模云計算系統(tǒng)已成為當(dāng)今IT業(yè)發(fā)展的主流。實現(xiàn)云計算的基礎(chǔ)是實現(xiàn)云計算系統(tǒng)基礎(chǔ)架構(gòu)。一個云計算系統(tǒng)的優(yōu)秀與否,關(guān)鍵在于其基礎(chǔ)架構(gòu)是否能夠穩(wěn)定、高效地完成各項任務(wù)。本文試圖結(jié)合相關(guān)資料,對云基礎(chǔ)架構(gòu)及其效能進行分析、定義及具體闡述,為下一步研究提供有力參考。
2.云計算簡介
云計算的迅猛發(fā)展與廣大的市場需求和強大的技術(shù)支撐密切相關(guān)。首先,隨著IT業(yè)的迅猛發(fā)展,各IT運營商都形成了各自龐大的服務(wù)器集群。如何實現(xiàn)現(xiàn)有集群的重新整合以降低運維成本,提高效率成為運營商考慮的首要問題;另外,IT市場的迅猛發(fā)展也要求各運營商提供更加穩(wěn)定、快捷的服務(wù)。其次,分布式系統(tǒng)、虛擬化技術(shù)的不斷發(fā)展完善,使得服務(wù)集群性能的快速提升成為可能。所以,在上述兩方面原因的相互作用下,云計算得到了前所未有的發(fā)展。
目前,不同公司對云計算有著不同的理解和實現(xiàn)方式。通過對現(xiàn)有云計算系統(tǒng)的分析及對相關(guān)資料的研究[1—5],本文認為云計算是以商業(yè)需要為出發(fā)點,將數(shù)量龐大的服務(wù)器集群整合成為分布式的資源池,通過虛擬化技術(shù)、Web2.0技術(shù)將資源池強大的計算能力、存儲能力和構(gòu)建在其基礎(chǔ)之上的各類應(yīng)用以按需計費的形式從不同的層次(Infrastructure、Platform、Application)租賃給用戶的一種新型網(wǎng)絡(luò)運營模式。
由上述定義可得到云計算體系結(jié)構(gòu)如圖1。
由圖可知,云計算基礎(chǔ)架構(gòu)位于云計算系統(tǒng)的底層,它為云計算系統(tǒng)的出色運營提供了有力的支持。
3.云計算基礎(chǔ)架構(gòu)
3.1 云計算基礎(chǔ)架構(gòu)的定義
目前,業(yè)界及學(xué)術(shù)界對云計算基礎(chǔ)架構(gòu)還沒有一個統(tǒng)一的定義利標(biāo)準(zhǔn)。各IT運營商均根據(jù)自身的實際情況,以各自的理解定義和實現(xiàn)云計算基礎(chǔ)架構(gòu)的部署。理工大學(xué)教授劉鵬在其著作《云計算》中提出:云基礎(chǔ)架構(gòu)及管理層由數(shù)據(jù)中心與云基礎(chǔ)架構(gòu)、安全產(chǎn)品、基礎(chǔ)架構(gòu)和運營管理三大部分組成[3]。作為虛擬化技術(shù)的龍頭,Vmware公司在談到其云基礎(chǔ)架構(gòu)層產(chǎn)品時說道:云計算基礎(chǔ)架構(gòu)是指通過虛擬化技術(shù)將傳統(tǒng)數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵苹A(chǔ)架構(gòu)并在其之上創(chuàng)建云,將IT基礎(chǔ)架構(gòu)作為服務(wù)交付給客戶使用[6]。Lenk等人在其文章談及云計算基礎(chǔ)設(shè)施層時也指出:云基礎(chǔ)架構(gòu)可劃分為基礎(chǔ)設(shè)施服務(wù)和資源集兩大部分,其中資源集可分為虛擬資源集和物力資源集;而基礎(chǔ)設(shè)施服務(wù)又分為高級基礎(chǔ)設(shè)施服務(wù)、基本基礎(chǔ)設(shè)施服務(wù)、計算服務(wù)、存儲服務(wù)和網(wǎng)絡(luò)服務(wù)[7]。
通過對現(xiàn)有云基礎(chǔ)架構(gòu)以及對相關(guān)文獻資料的研究,本文認為云計算基礎(chǔ)架構(gòu)是指由硬件資源(PC服務(wù)器、磁盤陣列、路由器、交換機及相關(guān)配套設(shè)備)組成,通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對外提供存儲、計算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計算應(yīng)用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統(tǒng)。
3.2 云計算基礎(chǔ)架構(gòu)的分類
通過分析研究現(xiàn)有云計算系統(tǒng)及相關(guān)[8—12],本文認為云基礎(chǔ)架構(gòu)按照服務(wù)的對象可分為基礎(chǔ)型云基礎(chǔ)架構(gòu)和外向型云基礎(chǔ)架構(gòu):基礎(chǔ)型云基礎(chǔ)架構(gòu)指主要向運系統(tǒng)上層提供計算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu),基礎(chǔ)型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有:TFS、GFS、Cassandra、KIDC;外向型云基礎(chǔ)架構(gòu)指直接向用戶提供計算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu),外向型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有:IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基礎(chǔ)架構(gòu)的結(jié)構(gòu)體系
通過對當(dāng)前業(yè)界主流云基礎(chǔ)架構(gòu)系統(tǒng)的分析和對相關(guān)學(xué)術(shù)成果的研究,可以看出云基礎(chǔ)架構(gòu)的作用是通過將物理資源轉(zhuǎn)化為虛擬資源池,實現(xiàn)對資源的監(jiān)控、調(diào)度和管理以達到為上層應(yīng)用和用戶提供彈性的計算和存儲資源的目的。云基礎(chǔ)架構(gòu)結(jié)構(gòu)框架如圖2。
由此本文將云基礎(chǔ)架構(gòu)分為以下五個層次:
1)物理層是指搭建、部署云基礎(chǔ)架構(gòu)所需的物理設(shè)備和配套環(huán)境。起作用時為云基礎(chǔ)架構(gòu)提供基本的物力資源,并保持物理設(shè)備的可靠性。
2)虛擬層是指通過虛擬化技術(shù)解除實現(xiàn)方式、地理位置或底層物理配置對計算機資源的限制,打破上層與物力資源之間的耦合關(guān)系,形成統(tǒng)一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計算資源、虛擬存儲資源和虛擬網(wǎng)絡(luò)資源組成。
3)數(shù)據(jù)層是指對云基礎(chǔ)架構(gòu)內(nèi)運行的客戶數(shù)據(jù)進行基本操作和管理的層次。數(shù)據(jù)層主要包含兩個部分,既數(shù)據(jù)處理與數(shù)據(jù)管理。
4)管理層是整個云基礎(chǔ)架構(gòu)中的一個抽象層次。它對云基礎(chǔ)架構(gòu)的各類資源進行監(jiān)控,根據(jù)實際負載狀況對資源進行管理和調(diào)度并且根據(jù)上層需求對資源進行快速部署,以保證云基礎(chǔ)架構(gòu)高效運行。云基礎(chǔ)架構(gòu)管理層主要由資源監(jiān)控、負載管理、資源部署和安全管理四個部分組成。
5)服務(wù)層是指為上層云計算應(yīng)用調(diào)用云基礎(chǔ)架構(gòu)計算、存儲資源預(yù)留的接口和對用戶使用云基礎(chǔ)架構(gòu)計算、存儲資源提供的交互界面。服務(wù)層對云基礎(chǔ)架構(gòu)效能的影響體現(xiàn)在服務(wù)層各類接口的通用性上。因為服務(wù)層接口與上層的松耦合性能夠減小底層云基礎(chǔ)架構(gòu)對上層應(yīng)用的限制,從而提高云基礎(chǔ)架構(gòu)自身的可用性。
3.4 云基礎(chǔ)架構(gòu)實現(xiàn)的主要技術(shù)
3.4.1 虛擬化技術(shù)
虛擬化是表示計算機資源的一種抽象方法。通過虛擬化,可以簡化基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計算機資源的表示、訪問和管理,并為這些資源提供標(biāo)準(zhǔn)的接口來接受輸入和提供輸出[2]。通過虛擬化技術(shù),可以實現(xiàn)在一臺服務(wù)器上運行多個虛擬機,從而提供服務(wù)器的效率。由于絕大部分PC產(chǎn)品均屬于X86架構(gòu),所以本文論述的虛擬化技術(shù)主要指X86架構(gòu)的虛擬化技術(shù)。當(dāng)前X86虛擬化技術(shù)的主流產(chǎn)品是VMware的VMware vSphere。
vSphere主要用于服務(wù)器的虛擬化,即在一臺物理服務(wù)器上運行多臺虛擬機,以次達到服務(wù)器整合和優(yōu)化的目的。vSphere的核心是ESX架構(gòu),它可分為兩部分:Service Console和VMKernel。其中前者提供管理服務(wù),后者提供虛擬化能力。
隨著虛擬化技術(shù)在云計算中發(fā)展中的作用越來越重要,對虛擬化技術(shù)的研究也成為熱點。對虛擬資源的管理便是熱點之一,[13]提出將VM模型集成到資源管理框架里,利用兩極調(diào)度將VM的管理集成至批調(diào)度器里,以次為用戶提供調(diào)度服務(wù)。
當(dāng)前如Amazon EC2等云計算產(chǎn)品大多是以虛擬機的形式為用戶提供計算能力,但對于虛擬機的具體配置,需要用戶手動完成,因此虛擬化技術(shù)在自適應(yīng)方面還需要進一步研究。
3.4.2 分布式存儲系統(tǒng)
隨著IT業(yè)的發(fā)展,網(wǎng)上交易、網(wǎng)上檢索等系統(tǒng)所要處理的數(shù)據(jù)量越來越大。如何利用最低的資源成本創(chuàng)造最高的運行效率成為各大運營商考慮的首要問題。因此研發(fā)人員開發(fā)完成了一系列分布式存儲系統(tǒng),為云計算提供了強有力的后盾。
分布式存儲系統(tǒng)研發(fā)目的是為云基礎(chǔ)架構(gòu)提供高效、海量的數(shù)據(jù)存儲能力。各大運營商在搭建自己的云基礎(chǔ)架構(gòu)前都會開發(fā)自己的分布式存儲系統(tǒng)如Google的GFS分布式文件系統(tǒng)。Google的GFS(Google File System)[14]是Google研發(fā)完成的作用于底層的分布式文件系統(tǒng)。GFS的作用是為大規(guī)模分布式應(yīng)用系統(tǒng)提供強大的數(shù)據(jù)存儲服務(wù)。GFS的核心設(shè)計思路是將系統(tǒng)故障當(dāng)作一種常態(tài)來處理,實現(xiàn)這一思路的技術(shù)主要是提供多個副本進行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項操作。Snapshot以最低的開銷創(chuàng)建一個文件或目錄副本,記錄追加則保證多客戶同時對文件進行數(shù)據(jù)追加時的原子性和正確性。
GFS含有一個主控服務(wù)器(Master)和多個塊服務(wù)器(Chunk Server)。一份文件由設(shè)備經(jīng)接口,會被分為有限個數(shù)據(jù)塊(每個數(shù)據(jù)塊64MB)。此外,每個數(shù)據(jù)塊都會產(chǎn)生一個元數(shù)據(jù)(
當(dāng)前分布式存儲系統(tǒng)已成為云基礎(chǔ)架構(gòu)重要組成之一。在學(xué)術(shù)界,對分布式存儲系統(tǒng)的研究逐漸成為熱點。[11]提出并實現(xiàn)了一種對等結(jié)構(gòu)分布式存儲系統(tǒng)NDSS,該系統(tǒng)取消了類似GFS中主控服務(wù)器的中心節(jié)點,而是利用分布式共享內(nèi)存(DSM,Distributed Shared Memory)實現(xiàn)了數(shù)據(jù)一致性模塊,利用分布式共享位圖(DSB,Distributed Shared Bitmap)限制了多個節(jié)點對信息的同時訪問,解決了同步訪問控制問題。以此在對等節(jié)點中完成了中心節(jié)點的主要功能。從測試結(jié)果看,NDSS系統(tǒng)的整體性能優(yōu)于有中心節(jié)點的YNS系統(tǒng)[10]。
目前,云基礎(chǔ)架構(gòu)中著名的分布式存儲系統(tǒng)還有Google的Bigtable分布式存儲系統(tǒng)和Amazon的Dynamo分布式數(shù)據(jù)存儲中心[11]等。它們雖然為云基礎(chǔ)架構(gòu)提供了強大的動力,但仍有改進之處。
3.4.3 并行編程模型
并行編程模型是云計算中的一個重要概念。它是指系統(tǒng)為高效并行處理海量數(shù)據(jù)而設(shè)定的一組數(shù)據(jù)處理規(guī)則。研發(fā)人員為了解決輸入數(shù)據(jù)的并行計算、分發(fā)數(shù)據(jù)等問題提出了并行編程模型的概念。
MapReduce是Google公司開發(fā)的一種新的抽象模型,也是當(dāng)前起主導(dǎo)作用的編程模型。它的設(shè)計思路來源于函數(shù)式編程語言的映射和簡化操作[1]。MapReduce的核心思想是將數(shù)據(jù)邏輯列表通過Map函數(shù)處理成為鍵值對集(),經(jīng)過排序?qū)⒕哂邢嗤琄ey值的鍵值對放在一起后通過Reduce函數(shù)將具有相同Key值的鍵值對的Value值進行合并。
當(dāng)前對并行編程模型的研究大多以在MapReduce的基礎(chǔ)上提出改進方案為主。在文獻[15]中。Zaharia等人根據(jù)MapReduce建立在系統(tǒng)同構(gòu)的假設(shè)基礎(chǔ)上,提出了LATE(Longest Approximate Time to End)調(diào)度算法。通過新型調(diào)度算法的改進使得MapReduce在異構(gòu)環(huán)境下運行。
雖然現(xiàn)行并行編程模型為云計算提供了強大的技術(shù)支持,在某些具體情況的適用性上還需進一步的完善。
4.結(jié)論與展望
當(dāng)前對云基礎(chǔ)架構(gòu)的研究主要集中在業(yè)界IT運營商,在學(xué)術(shù)界對云計算基礎(chǔ)架構(gòu)的研究主要集中在單個技術(shù)性能的改進與提高上,明確提出云計算基礎(chǔ)架構(gòu)概念,并進行整體性理論分析研究相對較少。本文通過分析研究現(xiàn)有云計算基礎(chǔ)架構(gòu)實例及相關(guān)文獻資料,提出了云計算基礎(chǔ)架構(gòu)定義,指出:云計算基礎(chǔ)架構(gòu)是指由硬件資源(PC服務(wù)器、磁盤陣列、路由器、交換機及相關(guān)配套設(shè)備)組成,通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對外提供存儲、計算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計算應(yīng)用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統(tǒng)。根據(jù)云計算基礎(chǔ)架構(gòu)定義,預(yù)計在今后的一段時間內(nèi),對云計算基礎(chǔ)架構(gòu)的研究會朝著以下幾個方面進行:
1)更加高效的數(shù)據(jù)交互體驗。云計算基礎(chǔ)架構(gòu)為上層應(yīng)用提供存儲與計算能力,在此過程中必然會存在基于請求的數(shù)據(jù)交互過程。而數(shù)據(jù)交互的速度會直接影響用戶對云計算應(yīng)用的操作體驗。所以對高效的數(shù)據(jù)交互地研究會成為未來云計算基礎(chǔ)架構(gòu)的研究重點。
2)更穩(wěn)定的系統(tǒng)運行過程。云計算基礎(chǔ)架構(gòu)位于云計算系統(tǒng)的底層,其運行的穩(wěn)定與否直接關(guān)系到整個云計算系統(tǒng)的運作。盡管當(dāng)前已有多種技術(shù)手段(資源監(jiān)控技術(shù)、同步復(fù)制技術(shù),心跳檢測技術(shù)等)來確保云計算基礎(chǔ)架構(gòu)的穩(wěn)定性。但是這些技術(shù)手段任然存在自身消耗資源過大、檢測周期與負載變化不適應(yīng)等問題。而這些問題也會在今后的云計算基礎(chǔ)架構(gòu)的研究中得到解決。所以系統(tǒng)的穩(wěn)定性也將是云計算基礎(chǔ)架構(gòu)研究的重點之一。
3)更靈活的系統(tǒng)擴展。隨著數(shù)據(jù)量的增加,云計算基礎(chǔ)架構(gòu)不得不面臨系統(tǒng)擴展的問題。而實時變化的數(shù)據(jù)交互量,使得云計算基礎(chǔ)架構(gòu)在擴展的同時更加注重擴展的靈活性。系統(tǒng)的擴展意味著資源的擴充,而系統(tǒng)擴展后的資源合理分配是體現(xiàn)靈活系統(tǒng)擴展的重要部分。當(dāng)前盡管各類云基礎(chǔ)架構(gòu)都在努力統(tǒng)一和規(guī)范各自系統(tǒng)擴展接口并改進資源分配方式,但資源分配是否能夠與負載變化同步依然是問題的實質(zhì)和仍未解決的問題。而這也是云計算發(fā)展的基本出發(fā)點和立足點。所以,靈活的系統(tǒng)擴展能力是云計算基礎(chǔ)架構(gòu)未來的重要研究方向。
綜上所述,云計算基礎(chǔ)架構(gòu)是一個具有現(xiàn)實意義并充滿挑戰(zhàn)的新興領(lǐng)域,它的發(fā)展將對云計算發(fā)展產(chǎn)生巨大的推進作用,而云計算基礎(chǔ)架構(gòu)也會在未來的發(fā)展中扮演越來越重要的角色。
參考文獻
[1]陸嘉恒等.分布式系統(tǒng)與云計算[M].北京:清華大學(xué)出版社,2011.5.
[2]吳朱華.云計算核心技術(shù)剖析[M].北京:人民郵電出版社,2011.5.
[3]劉鵬.云計算[M].北京:電子工業(yè)出版社,2011.7.
[4]Tim Mather,Subra Kumaraswamy,Shahed Latif著.云計算安全與隱私[M].北京:機械工業(yè)出版社,2011.5.
[5]朱近之.智慧的云計算[M].北京:電子工業(yè)出版社, 2011.4.
[6]VMware and Cloud Computing:An Evolutionary Approach to an IT Revolution.
[7]A.Lenk,M.Klems,J.Nimis,S.Tai.What is Inside the Cloud?An Architectural Map of the Cloud Landscape.http:///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶,吳昊,白松林.云計算安全研究綜述[J].電信科學(xué),2011,27(4):37—42.
[9]陳丹偉,黃秀麗,任勛益.云計算及安全分析[A].計算機技術(shù)與發(fā)展,2010,20(2):99—102.
[10]張建勛,古志民,鄧超.云計算研究進展綜述[A].計算機應(yīng)用研究,2010,27(2):429—433.
[11]吳英,謝廣軍,劉景.對等結(jié)構(gòu)的分布式存儲系統(tǒng)設(shè)計與研究[A].計算機工程與應(yīng)用,2006,42(4):135—139.
[12]王剛,劉曉光,劉景.網(wǎng)絡(luò)軟RAID的設(shè)計與實現(xiàn)[J].計算機研究與發(fā)展,2000,37(增刊):81—83.
[13]FREEMANT T,KEAHEY K.Flying low:simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S,GOBIOFF H,LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles,Lake Georage,New York,2003.
1)云架構(gòu)云計算的一開始出現(xiàn)主要是為了解決計算機硬件資源問題,它通過虛擬化方式大大降低企業(yè)數(shù)據(jù)中心的應(yīng)用成本。在這些年的發(fā)展之后,云計算的概念和范疇已經(jīng)擴展為3個層次:基礎(chǔ)架構(gòu)云(InfrastructureasaService,IaaS)、平臺云(PlatformasaService,PaaS)和軟件應(yīng)用云(SoftwareasaService,SaaS)。IaaS指基礎(chǔ)設(shè)施即服務(wù),這一層的作用是提供虛擬機或者其他資源作為服務(wù)提供給用戶。PaaS指平臺即服務(wù),其作用是將一個開發(fā)平臺作為服務(wù)提供給用戶。SaaS指軟件即服務(wù),是指將應(yīng)用作為服務(wù)提供給客戶。它們主要提供的服務(wù)如圖1。企業(yè)利用云計算架構(gòu)去進一步解決它的煙囪式問題,但主要目標(biāo)是降低IT運營成本、提升IT資源的利用率,促進企業(yè)自身IT建設(shè)從粗曠型向集約型進行轉(zhuǎn)變。從上圖可以看出,從底至上,IaaS層主要是將服務(wù)器、存儲及網(wǎng)絡(luò)資源虛擬化,將虛擬后的資源作為服務(wù)提供給用戶;PaaS層可以為用戶提供一個包括開發(fā)、測試環(huán)境以及文檔等的開發(fā)平臺,用戶可以在此開發(fā)平臺上編寫應(yīng)用,并且不用關(guān)心服務(wù)器部署、網(wǎng)絡(luò)和存儲等問題;SaaS層主要是給普通用戶提供無需安裝就能直接使用的應(yīng)用。
由于SOA架構(gòu)主要涉及的是軟件體系的架構(gòu),而云計算的三層架構(gòu)中的PaaS的平臺開發(fā)中亦涉及到軟件架構(gòu)問題,所以本文中主要將云計算中的PaaS模式與SOA進行分析。在PaaS模式中,對用戶提供的服務(wù)是一種分布式平臺服務(wù),包括開發(fā)環(huán)境、測試環(huán)境、服務(wù)器平臺、硬件資源等。通過PaaS提供的服務(wù),用戶可在分布式平臺上定制開發(fā)應(yīng)用程序,并通過互聯(lián)網(wǎng)傳遞給其他客戶。PaaS能夠給企業(yè)或個人提供研發(fā)的中間件平臺,提供應(yīng)用程序開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗、托管及應(yīng)用服務(wù)。Gartner將PaaS分成兩類,APaaS(applicationplatformasaservice)和IPaaS(integrationplatformasaservice)。APaaS主要為應(yīng)用提供運行環(huán)境和數(shù)據(jù)存儲,能夠?qū)⑵髽I(yè)內(nèi)部自建的簡單三層架構(gòu)的應(yīng)用直接部署到APaaS;IPaaS主要用于集成和構(gòu)建復(fù)合應(yīng)用。據(jù)Gartner稱,雖然PaaS市場的規(guī)模相對較小,但在市場上提供不完全PaaS產(chǎn)品的公司卻有超過150多家。目前市場上的PaaS產(chǎn)品既包括綜合PaaS產(chǎn)品,例如網(wǎng)站旗下的,也包含獨立的應(yīng)用基礎(chǔ)架構(gòu)組件,如數(shù)據(jù)庫及其它為云計算服務(wù)提供支持的功能型中間件。目前代表產(chǎn)品有GoogleAppEngine,Salesforce的平臺,八百客的800APP等。以GoogleAppEngine為例,它是一個由python應(yīng)用服務(wù)器群、BigTable數(shù)據(jù)庫及GFS組成的平臺,為開發(fā)者提供一體化主機服務(wù)器及可自動升級的在線應(yīng)用服務(wù)。用戶編寫應(yīng)用程序并在Google的基礎(chǔ)架構(gòu)上運行就可以為互聯(lián)網(wǎng)用戶提供服務(wù),Google提供應(yīng)用運行及維護所需要的平臺資源。
另外,云計算除了三層架構(gòu)之外,從橫向范疇來說,云還可以劃分為公有云、私有云、社區(qū)云和混合云等。公有云是指第三方提供商為用戶提供的能夠使用的云,可在整個開放的公有網(wǎng)絡(luò)中提供服務(wù)。在公有云中,云服務(wù)提供商通過自己的基礎(chǔ)設(shè)施直接向外部用戶提供服務(wù),外部用戶通過互聯(lián)網(wǎng)訪問服務(wù),并不擁有云計算資源。私有云是為一個客戶單獨使用而構(gòu)建的,該客戶擁有基礎(chǔ)設(shè)施,并可以控制在此基礎(chǔ)設(shè)施上部署應(yīng)用程序的方式。私有云可由公司自己的IT機構(gòu),也可由云服務(wù)提供商進行構(gòu)建,可部署在企業(yè)數(shù)據(jù)中心的防火墻內(nèi),也可部署在一個安全的主機托管場所。社區(qū)云是由幾個組織共享的云端基礎(chǔ)設(shè)施,支持特定的社區(qū)?;旌显朴蓛蓚€或者更多云端系統(tǒng)組成云端基礎(chǔ)設(shè)施,這些云端系統(tǒng)中可能包含公有云、私有云、社區(qū)云等,這些系統(tǒng)保有獨立性,但借由標(biāo)準(zhǔn)化或封閉式專屬技術(shù)相互結(jié)合,可確保資料與應(yīng)用程序的可攜性。
2)SOA架構(gòu)長期以來企業(yè)面臨的關(guān)鍵問題是如何解決已形成的煙囪式的企業(yè)計算環(huán)境,SOA的出現(xiàn)就是為了解決獨立系統(tǒng)間的整合問題,或者說系統(tǒng)架構(gòu)的問題。SOA作為一種面向服務(wù)的架構(gòu),是一種軟件架構(gòu)設(shè)計的模型和方法論。SOA將異構(gòu)平臺上的應(yīng)用程序拆分為不同的功能單元(服務(wù)),服務(wù)之間通過定義良好的接口和規(guī)范以松耦合的方式整合在一起。接口是采用中立的方式進行定義的,它獨立于實現(xiàn)服務(wù)的硬件平臺、操作系統(tǒng)和編程語言,這使得構(gòu)建在各種系統(tǒng)中的服務(wù)可以使用一種統(tǒng)一和通用的方式進行交互。從業(yè)務(wù)角度來看,SOA利用企業(yè)現(xiàn)有的各種軟件體系,重新整合并構(gòu)建起一套新的軟件架構(gòu)。這套軟件架構(gòu)能夠隨著業(yè)務(wù)的變化,隨時靈活地結(jié)合現(xiàn)有服務(wù),組成新軟件,共同服務(wù)于整個企業(yè)的業(yè)務(wù)體系。我們可以把SOA看作是模塊化的組件,每個模塊都可以實現(xiàn)獨立功能,而不同模塊之間的結(jié)合則可以提供不同的服務(wù),模塊之間的接口遵循統(tǒng)一準(zhǔn),可以實現(xiàn)低成本的重構(gòu)和重組。在SOA的技術(shù)框架下,可以把雜亂無章的龐大系統(tǒng)整合成一個全面有序的系統(tǒng),從而增加企業(yè)在業(yè)務(wù)發(fā)展過程中應(yīng)用系統(tǒng)的靈活性,實現(xiàn)最大的IT資產(chǎn)利用率。
2云架構(gòu)與SOA架構(gòu)各自的優(yōu)缺點
從上兩節(jié)云架構(gòu)和SOA架構(gòu)的概念來看,它們的出現(xiàn)也是為了解決不同的問題,但它們都是企業(yè)或政務(wù)信息化實施的架構(gòu),在業(yè)界看來屬于競爭關(guān)系,甚至有些學(xué)者認為云計算可以取代SOA成為新的架構(gòu)風(fēng)格。實質(zhì)上,云計算和SOA架構(gòu)應(yīng)用在企業(yè)或政務(wù)信息化中,各有優(yōu)勢,也有自己的局限性。從發(fā)展至今,云計算主要有處理能力強大、應(yīng)用高度集成、用戶成本低、大規(guī)模數(shù)據(jù)存儲等優(yōu)勢。但云計算還處于發(fā)展初期,局限性也有明顯。云的安全性是企業(yè)或政府需要考慮的首要問題。另外,現(xiàn)在不同云服務(wù)之間的交互能力非常弱,混合云架構(gòu)缺乏成熟的技術(shù)支撐。同時網(wǎng)絡(luò)帶寬的限制也會給云的部署和實施帶來一定影響。SOA的優(yōu)勢主要有模塊的重用性、模塊之間的交互能力以及快速應(yīng)變能力。SOA方法從服務(wù)提供者和服務(wù)消費者的角度對功能方面涉及的對象、數(shù)據(jù)、組件、業(yè)務(wù)流程、界面等進行層次化,為所有服務(wù)提取安全架構(gòu)、數(shù)據(jù)架構(gòu)、集成架構(gòu)、服務(wù)質(zhì)量管理等中的共用部分。SOA架構(gòu)契合了企業(yè)信息化建設(shè)過程中業(yè)務(wù)創(chuàng)新的需要,同時也可以達到業(yè)務(wù)重用的效果,充分降低了企業(yè)的成本。但是SOA在企業(yè)信息化實施過程中仍有一些不足。目前SOA最好的實現(xiàn)方式是web服務(wù),但web服務(wù)本身也有不成熟的地方,比如在可靠消息傳遞、web事務(wù)處理等方面的標(biāo)準(zhǔn)還有待完善。另外,如何快速組裝服務(wù)以及控制服務(wù)顆粒度這兩方面,還有待進一步研究,而服務(wù)顆粒大小問題在某種程度上決定了整個系統(tǒng)的靈活性和效率。
3云架構(gòu)與SOA架構(gòu)的交叉與結(jié)合
上一節(jié)提到云架構(gòu)與SOA架構(gòu)在信息化建設(shè)中各有優(yōu)缺點,但其實它們之間除了競爭之外,還有著比較復(fù)雜的關(guān)系。我們認為,云架構(gòu)和SOA架構(gòu)之間可以取長補短,在一定程度上結(jié)合起來形成新的架構(gòu)來更好地支撐復(fù)雜的信息化建設(shè)。首先,從云計算的架構(gòu)和SOA的概念來看,SOA在云計算中最廣泛使用的地方是PaaS平臺的中間件組件。PaaS的中間件包含事務(wù)型中間件、消息中間件、遠程過程/對象調(diào)用中間件、應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、ESB、BPM等多種類型,SOA架構(gòu)本身即是一種組件模型,可以組合異構(gòu)平臺中的各種應(yīng)用程序,而目前PaaS平臺的能力還尚未成熟,PaaS架構(gòu)中正是需要這種標(biāo)準(zhǔn)化的組件模型,來支持其平臺中應(yīng)用程序的開發(fā)及部署。同時,SOA架構(gòu)的特性決定了它可用于包括PaaS在內(nèi)的任何云服務(wù)(包括基礎(chǔ)設(shè)施服務(wù)IaaS和軟件服務(wù)SaaS)的創(chuàng)建與交付中。其次,云計算對于SOA有著良好的促進作用。由于SOA架構(gòu)是一個好的架構(gòu)方法,使用SOA架構(gòu)建成的信息系統(tǒng)間的運行與協(xié)作更加方便、標(biāo)準(zhǔn)化。為了獲得云計算的優(yōu)勢,企業(yè)用戶需要通過接口和架構(gòu)延展出去連接到云計算資源。
為了更好的使用云計算的資源,企業(yè)內(nèi)部需要一定的架構(gòu)在核心企業(yè)信息系統(tǒng)和云計算資源之間建立鏈接,而這正是SOA可以做到的。另外,市場上云的類型很多,私有云、公有云、社區(qū)云將長時間在市場上共存,形成混合云架構(gòu)。在這種情況下,SOA架構(gòu)可以很好的支持混合云的發(fā)展,利用模塊化架構(gòu)既可以更好地將模塊遷移到云,同時還可幫助云端的應(yīng)用程序進行整合。SOA在企業(yè)應(yīng)用與混合云架構(gòu)中的作用大致如圖2所示。如圖2所示,企業(yè)內(nèi)部應(yīng)用可通過SOA與混合云中某種云的應(yīng)用進行互相遷移,同時混合云中不同平臺的應(yīng)用及服務(wù)也可通過SOA來進行整合或遷移??偟膩碚f,云計算的發(fā)展對于SOA架構(gòu)在網(wǎng)絡(luò)、基礎(chǔ)架構(gòu)上的應(yīng)用都造成一定的影響,它們并不是排斥的關(guān)系,相反云計算的發(fā)展不僅對SOA不是一種取代關(guān)系,而是有顯著的促進作用,同時云計算中也需要SOA架構(gòu)的應(yīng)用,有效地部署云計算服務(wù)需要SOA方法。云計算時代的到來,給SOA架構(gòu)帶來了更大的發(fā)展空間。
4發(fā)展趨勢
通過對云計算和SOA架構(gòu)之間關(guān)系的分析,可以看出兩者之間的關(guān)系比較復(fù)雜,并不是簡單的替代關(guān)系。上一節(jié)最后也提到,SOA與云計算架構(gòu)是密不可分的,對于將來的發(fā)展趨勢來說,由于兩種架構(gòu)各自的優(yōu)勢,更實際的方式是將兩種架構(gòu)結(jié)合應(yīng)用。將兩種架構(gòu)結(jié)合起來有兩種方式,一種是在SOA架構(gòu)中引入云計算,另一種是在云計算架構(gòu)中引入SOA,兩種方式各有偏重,主要區(qū)別是解決問題的出發(fā)點和側(cè)重點不一致,而實現(xiàn)的途徑基本一致。1)在SOA中引入云計算在SOA架構(gòu)中引入云計算,主要目的還是為了更好的集成軟件服務(wù),包括企業(yè)內(nèi)部信息系統(tǒng)與外部服務(wù)的集成,如SaaS和IaaS。有研究表示,使用SOA整合SaaS是可以實現(xiàn)的。通過SOA來整合SaaS服務(wù),可以將較小粒度的SaaS服務(wù)集成到一起,提供更抽象、粗粒度的軟件服務(wù)。SOA平臺中的ESB總線可以將云計算中的分布式計算模塊、云存儲等以服務(wù)的方式接入。同時SOA平臺需要的IT硬件基礎(chǔ)設(shè)施,可以直接使用云計算中IaaS層的虛擬化的計算能力單元和存儲能力單元,均以服務(wù)的方式接入到ESB總線上。前文中提到了,SOA中的中間件平臺類似于云計算中的PaaS平臺,SOA中所包含的ESB總線、流程引擎、規(guī)則引擎等都可以發(fā)展為PaaS平臺的能力。2)在云計算中引入SOA在云計算中引入SOA,主要是為了解決云計算中不同云服務(wù)之間的交互能力弱的問題。如圖2所示,混合云架構(gòu)中不同云服務(wù)之間通常很難進行整合和遷移,將SOA應(yīng)用到此處將有益于解決此問題。同時,通過引入SOA中的ESB總線,還可實現(xiàn)云計算中SaaS、PaaS、IaaS三層架構(gòu)之間的集成。另外,PaaS層可以將SOA中的數(shù)據(jù)、業(yè)務(wù)、流程、展現(xiàn)服務(wù)均納入,提供給在線開發(fā)環(huán)境中應(yīng)用,這些服務(wù)在線進行服務(wù)編排和組裝可借助SOA本身已有的流程引擎和規(guī)則引擎來完成。
5結(jié)論
日前,IBM在北京舉辦了一場POWER基礎(chǔ)架構(gòu)云媒體交流會。本次IBM POWER基礎(chǔ)架構(gòu)云媒體交流會邀請到了IBM系統(tǒng)與科技部大中華區(qū)Power Systems服務(wù)器產(chǎn)品部總經(jīng)理韓忠恒、IBM中國區(qū)系統(tǒng)與科技部行業(yè)及重點客戶技術(shù)支持總經(jīng)理梁建球、IDC中國助理副總裁武連峰、IDC中國高級研究經(jīng)理周震剛以及眾多媒體記者分享了IDC中國云計算基礎(chǔ)架構(gòu)建設(shè)指南和IBM Power基礎(chǔ)架構(gòu)云平臺的技術(shù)與實踐經(jīng)驗。
現(xiàn)在很多企業(yè)一提到云計算成功模式就會聯(lián)想到谷歌,繼而馬上認為分布式就是云計算,殊不知谷歌和亞馬遜的業(yè)務(wù)應(yīng)用和技術(shù)實力與自身企業(yè)存在著不同,一旦部署了分布式云平臺,結(jié)果導(dǎo)致兩個孤島式的架構(gòu),造成資源上的浪費,雖然很快的部署了云計算,但沒有達到最終的效果。建設(shè)云計算,要根據(jù)企業(yè)性質(zhì)和業(yè)務(wù)應(yīng)用的不同做到量身定制,同時應(yīng)提升到戰(zhàn)略層面。
提起云計算,必會談及虛擬化,為什么說虛擬化如此重要呢?虛擬化可以提高設(shè)備的使用效率,提高設(shè)備的靈活性,獲得更多的資源利用率。雖然大多數(shù)用戶已經(jīng)意識到虛擬化的重要性,但需要注意的是,云計算平臺需要企業(yè)級的虛擬化,企業(yè)級虛擬化才是云計算的基礎(chǔ)。
不管是x86架構(gòu)還是RISC架構(gòu),世界上沒有一個架構(gòu)一定是最好的,只要是適合企業(yè)的業(yè)務(wù)架構(gòu)就應(yīng)是最好的,任何架構(gòu)都要與業(yè)務(wù)相結(jié)合。企業(yè)中不同的工作負載要根據(jù)性質(zhì)的不同放在不同的架構(gòu)平臺上,對于一般性業(yè)務(wù)應(yīng)用運行在x86架構(gòu)上,而關(guān)鍵業(yè)務(wù)應(yīng)部署在Unix平臺。最后即使云計算架構(gòu)不一定是統(tǒng)一的,但要實現(xiàn)統(tǒng)一的管理。在這一方面,IBM Starter Kit for Cloud(SKC)可將您的虛擬化環(huán)境從“云就緒”狀態(tài)過渡到真正的“云”環(huán)境,SKC是一個跨平臺的快速云服務(wù)管理軟件,它不僅能對Power平臺提供無縫支持,而且對于用戶已有的x86甚至都能提供支持。SKC對于x86上KVM提供與Power的一體化支持,統(tǒng)一部署引擎,統(tǒng)一管理界面。
根據(jù)IDC的《中國云計算基礎(chǔ)架構(gòu)建設(shè)指南》報告顯示,以云計算為基礎(chǔ)的第三平臺已經(jīng)來臨。何為第三平臺呢?第一平臺是以主機為核心,第二平臺以PC為核心、局域網(wǎng)、互聯(lián)網(wǎng)為核心,第三平臺以移動設(shè)備和應(yīng)用為中心,實際上是以人為中心。其中云服務(wù)、大數(shù)據(jù)、商業(yè)分析、移動寬帶社會化,這四方面作為第三平臺的核心。在這里面,最大的基礎(chǔ)是云,云在最底層,社會化移動普及率越高,產(chǎn)生的數(shù)據(jù)量就越大,對IT基礎(chǔ)設(shè)施的需求也就越大。所以說,云計算是實現(xiàn)智慧行業(yè)的重要途徑,而云基礎(chǔ)設(shè)施是重要基礎(chǔ)。
對于行業(yè)企業(yè)來說,企業(yè)服務(wù)化是一個大的趨勢,特別是中國制造企業(yè)服務(wù)化趨勢,目前很多制造企業(yè)已經(jīng)往服務(wù)化轉(zhuǎn)型,而不再是我們印象中的傳統(tǒng)制造企業(yè)只生產(chǎn)產(chǎn)品,而是給用戶或間接為有提供服務(wù)。所以采用云計算可以增強企業(yè)的核心競爭力。企業(yè)進行業(yè)務(wù)變革和轉(zhuǎn)型,需要IT系統(tǒng)做很好的支撐,這些支撐后臺一定要有云計算,需要數(shù)據(jù)整合。
企業(yè)建設(shè)云計算的六大誤區(qū)
IDC(中國)行業(yè)研究與咨詢服務(wù)部助理副總裁武連峰,在IBM Power Cloud新一代企業(yè)級基礎(chǔ)架構(gòu)云媒體交流會上,談到了現(xiàn)在企業(yè)建設(shè)云計算時存在著六大誤區(qū):
誤區(qū)一:重概念,輕本質(zhì)。用戶往往關(guān)注于買多少軟硬件產(chǎn)品或服務(wù),而忽略了云計算的本質(zhì)是提高服務(wù)器資源利用率,節(jié)省成本和如何提供即時服務(wù)。
誤區(qū)二:重實施,輕規(guī)劃。
誤區(qū)三:x86架構(gòu)就是云計算。
誤區(qū)四:重硬件,輕較件。很多企業(yè)一提到云計算,馬上買服務(wù)器,買存儲,如果云計算沒有很好的基礎(chǔ)架構(gòu)軟件,沒有很好的系統(tǒng)管理自動化軟件,云計算硬件就不能發(fā)揮它的作用。
誤區(qū)五:重虛擬,輕管理。大部分企業(yè)只是實現(xiàn)局部的虛擬化。云計算本質(zhì)應(yīng)該是一個全方位的虛擬化,這些虛擬化必須要用到很好的管理,才能夠使它自動化起來,使整個IT架構(gòu)做更好的提升。
誤區(qū)六:重創(chuàng)新,輕移植。大部分用戶部署云計算是為了部署新應(yīng)用,而忽略了對原有應(yīng)用該如何進行移植。
基于以上六個誤區(qū),IDC建議云計算基礎(chǔ)架構(gòu)實施應(yīng)經(jīng)歷以下三個時期:
第一時期:一是規(guī)劃,二是準(zhǔn)備
在規(guī)劃方面應(yīng)首要注意兩點,一是明確企業(yè)實施云計算的目的,二是確保最高管理層的參與。從云計算整個基礎(chǔ)架構(gòu)來看,促進業(yè)務(wù)比節(jié)約成本更重要。云計算對于企業(yè)來講,不僅是IT的變革,實際上還涉及到IT整體架構(gòu)的改變,而這種變革與業(yè)務(wù)的變革息息相關(guān),所以一定要有最高領(lǐng)導(dǎo)的參與,在實施過程中才會更加得心應(yīng)手。
在準(zhǔn)備階段要明確企業(yè)IT中有哪些應(yīng)用,對企業(yè)自身的業(yè)務(wù)進行分析,不同的業(yè)務(wù)將會采用不同的體系架構(gòu)實施。對于企業(yè)的核心
應(yīng)用,交付成本高,適合企業(yè)級的私有云的基礎(chǔ)架構(gòu);而一些數(shù)據(jù)分析,包括一些協(xié)作,更適合融合性的云計算基礎(chǔ)架構(gòu);與消費自動化相關(guān)的應(yīng)用,適合開放云計算架構(gòu);像電子郵件或網(wǎng)站,更適合公共云的外包。
第二時期:實施和深化
虛擬化是云計算的開始,但需要注意的是一定要建立企業(yè)級的虛擬化資源池。通過虛擬化創(chuàng)建資源池,其中安全性是用戶認為最重要的技術(shù)特性,靈活和可擴展性,硬件性能排在安全性的后面。
全方位的虛擬化,包括服務(wù)器、存儲、網(wǎng)絡(luò)。這三個虛擬化,一是計算能力的虛擬化,二是存儲能力的虛擬化,三是傳輸能力的虛擬化,這樣就會把服務(wù)器的計算資源、存儲資源、網(wǎng)絡(luò)帶寬資源都會充分利用起來,不會有一個瓶頸。但現(xiàn)實情況是,用戶購買了很多服務(wù)器,但如果做云計算,就需要采購一些虛擬化軟件支持整個云計算平臺基礎(chǔ)設(shè)施,結(jié)果發(fā)現(xiàn)購買虛擬化軟件甚至比買一臺服務(wù)器還貴。最后還是要用單機甚至集群的方式把硬件搭建起來以后,在運行使用過程中出現(xiàn)很多問題。一是從性能和資源協(xié)調(diào)上沒有把這些服務(wù)器做很好的資源利用。二是從自動化的角度來講,沒有做很好的自動化,包括資源分配的過程中,很多需要IT人員參與,大大降低了效率。
虛擬化完成之后,一定要通過管理自動化和資源自動化,最后實現(xiàn)資源的整體調(diào)度,包括資源池的實時監(jiān)控,包括生命周期管理,映像管理,快速部署,動態(tài)遷移等。在這一方面,國內(nèi)外用戶的差異很大,國內(nèi)用戶在這方面的投資相較于國外要吝嗇的多,其實,如果不做好管理自動化和資源自動化,做好資源池的匹配調(diào)度的話,實際上整個云計算的基礎(chǔ)架構(gòu)設(shè)備并沒有很好地發(fā)揮起來,整個IT效率沒有提高。
從虛擬化到自動化的云計算深化過程,分為4個階段,第一階段是虛擬化,據(jù)據(jù)IDC全球研究結(jié)果顯示,服務(wù)器虛擬化率已經(jīng)達到64%,第二階段是將虛擬化和自動化流程結(jié)合起來,這部分用戶有32%,第三階段是把虛擬化、自動化流程以及融合的基礎(chǔ)架構(gòu),包括網(wǎng)絡(luò)、存儲融合起來,從綠色節(jié)能以及從總體效率上會更少,這里目前還很低,只有3%。第四階段是一個理想狀況,通過虛擬化、自動化流程到融合架構(gòu),最后做到自服務(wù)、自適應(yīng),這樣大大減少IT部門人員的壓力,同時使IT能更好地跟業(yè)務(wù)融合。這部分用戶只有2%。
第三時期:應(yīng)用和管理
現(xiàn)在企業(yè)構(gòu)建云計算貌似更加盲目,已然忘記最初的目的,而只是為了云而云,所以說,上云計算不是目的,在云上跑什么應(yīng)用才是關(guān)鍵。
【關(guān)鍵詞】云計算;企業(yè)IT架構(gòu);搭建
0 引言
正如知名調(diào)研公司Gartner的分析師所說:“云服務(wù)是多種多樣的,每種類型的云服務(wù)都有不同的發(fā)展前景。有些云服務(wù)注重的是企業(yè)的業(yè)務(wù)方面,具有很強的適應(yīng)性,多樣化是其顯著特點?!痹谥T多云服務(wù)中,云計算的發(fā)展前途巨大,特別是在企業(yè)的IT架構(gòu)構(gòu)建上。云計算帶給企業(yè)的不僅僅是技術(shù)上的變革,更是企業(yè)內(nèi)相應(yīng)的IT構(gòu)架流程以及與之相應(yīng)的業(yè)務(wù)的一場革命。毫無疑問,云計算將會成為未來企業(yè)IT架構(gòu)搭建的主要模式。接下來本文將對基于云計算的企業(yè)IT架構(gòu)搭建做出淺顯的分析及探討。
1 云計算概述
所謂云計算,其基本原理就是通過互聯(lián)網(wǎng)和遠程數(shù)據(jù)中心,把無數(shù)的服務(wù)器相連接,使得計算機的運算能力得到了極大的提高(甚至達到10萬億次每秒),從而實現(xiàn)很多傳統(tǒng)計算機無法實現(xiàn)的事情。之所以稱之為云,是因為云計算中的資源較傳統(tǒng)IT資源有很大不同,其具有“云”的特性,使用者可以隨用隨取,具有極大的方便性。對于一般用戶來說,云計算可以看成一種通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需的IT服務(wù)。對于專業(yè)人員來說,云計算是一種基于互聯(lián)網(wǎng)的,融合了分布式、并行計算等IT技術(shù),具備大規(guī)模、低成本、高度彈性、自動管理等特征的互聯(lián)網(wǎng)和計算機技術(shù)的商業(yè)實現(xiàn)。
通常比較常用的云計算服務(wù)模式有以下幾種:首先是基礎(chǔ)設(shè)施即服務(wù)(IaaS,Infrastructure as a Services),即提供按需付費的彈性資源服務(wù),例如彈性計算、存儲資源。其次是平臺即服務(wù)(PaaS, Platform as a Service),即提供基于可擴展云基礎(chǔ)設(shè)施的按需付費平臺服務(wù),例如運行環(huán)境、用戶數(shù)據(jù)服務(wù)、應(yīng)用開發(fā)環(huán)境等。然后是軟件即服務(wù)(SaaS,Software as a Service),即一種以互聯(lián)網(wǎng)為載體,以瀏覽器為交互方式,把服務(wù)器端的程序軟件傳給遠程用戶來提供軟件服務(wù)的應(yīng)用模式,提供基于可擴展云架構(gòu)的按需付費應(yīng)用軟件服務(wù)。
2 傳統(tǒng)的企業(yè)IT架構(gòu)的基本以及面臨的核心問題
由于企業(yè)的特殊性,使得企業(yè)內(nèi)部使用的軟件和一般大眾使用的軟件有著極大的不同,最核心的差異在于企業(yè)為了保證正常的經(jīng)營活動,最基本的應(yīng)用必須有極高的穩(wěn)定性,而且還必須保證一定的使用周期。通常來說企業(yè)內(nèi)部傳統(tǒng)的IT架構(gòu)搭建主要存在著以下問題。首先企業(yè)IT建構(gòu)所需的一些基礎(chǔ)設(shè)備不具有實用性,每次構(gòu)建一個新的IT架構(gòu)時,很多基礎(chǔ)設(shè)施都必須重新建設(shè),這樣不僅使得搭建周期長,同時還浪費資源,使得資源利用率極低,使得IT架構(gòu)的搭建成本大大提高。其次是傳統(tǒng)的IT架構(gòu)適用范圍比較窄且沒有很好的延展性,沒有制定統(tǒng)一的標(biāo)準(zhǔn),使得后期的維護比較困難,維護成本也比較高。
傳統(tǒng)的企業(yè)IT架構(gòu)的基本組成為:1)IT構(gòu)架內(nèi)的各種管理應(yīng)用系統(tǒng),比較常用的有CRM、OA、ERP等;2)IT架構(gòu)內(nèi)的其它軟件和基礎(chǔ)的設(shè)施,例如機房、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫軟件、操作系統(tǒng)等;3)其他一些保證IT架構(gòu)正常運行的軟件和設(shè)備,例如網(wǎng)絡(luò)安全工具、殺毒軟件、安保措施、供電保障、IT組織與IT管控體系等。
3 企業(yè)傳統(tǒng)IT架構(gòu)與基于云計算的企業(yè)IT架構(gòu)的比較
云計算的劃分有很多種,通常比較常用的是以服務(wù)和部署為依據(jù)來劃分,目前在實際應(yīng)用中比較成熟的有公有云、私有云和融合云三種模式。目前來說企業(yè)傳統(tǒng)的IT架構(gòu)中有著數(shù)量龐大的服務(wù)器,雖然在龐大的服務(wù)器的作用下,使得企業(yè)內(nèi)的計算機具有很高的運算能力,但是這樣會帶來一個弊端,那就是隨著企業(yè)IT架構(gòu)中服務(wù)器數(shù)量的增加,IT架構(gòu)中數(shù)據(jù)中心就越難管理,同時IT架構(gòu)的成本也會大幅度的提高。同時企業(yè)傳統(tǒng)IT架構(gòu)的穩(wěn)定性和可靠性也不盡人意,比如每個服務(wù)器的不穩(wěn)定性為0.01%,但是成千上萬個服務(wù)器疊加使用時,服務(wù)器的整體穩(wěn)定性則會大大降低。雖然可以通過改變硬件的設(shè)計來提高IT架構(gòu)數(shù)據(jù)中心的穩(wěn)定性,但這種方法僅適用于服務(wù)器數(shù)量不多的時候,當(dāng)服務(wù)器數(shù)量急劇增多時這種方法的效果就大大降低。
如果把云計算技術(shù)運用到企業(yè)IT架構(gòu)的搭建中則可以極大的提高IT架構(gòu)的穩(wěn)定性,通過云計算技術(shù)使IT架構(gòu)中的服務(wù)器構(gòu)建成一臺邏輯上的計算機,實現(xiàn)資源的共享和按需分配。這樣不僅從根本上提高了服務(wù)器的穩(wěn)定性,同時也使IT架構(gòu)數(shù)據(jù)中心的計算能力得到了保證。目前很多規(guī)模龐大的互聯(lián)網(wǎng)公司在搭建企業(yè)IT構(gòu)架時都采用了這種做法,如微軟公司,谷歌公司,百度公司等。
4 云計算出現(xiàn)后,企業(yè)實現(xiàn)IT架構(gòu)的思路
隨著云計算的出現(xiàn),企業(yè)在IT架構(gòu)搭建時應(yīng)該從以下方面著手。首先從IT架構(gòu)的基礎(chǔ)設(shè)備層進行著手,從傳統(tǒng)的煙囪式的建設(shè)模式轉(zhuǎn)變?yōu)榧s化的建設(shè)模式,要充分運用IaaS,將眾多服務(wù)器資源池化,為應(yīng)用系統(tǒng)的承載提供所需的計算資源,快速提供計算資源以滿足用戶突發(fā)資源需求。其次,要充分發(fā)揮PaaS的關(guān)鍵作用,注重能力匯聚、能力開放和統(tǒng)一應(yīng)用開發(fā)環(huán)境的建設(shè),通過分布式并行計算算法,充分聚合服務(wù)器的計算和存儲能力,為特定應(yīng)用提供海量數(shù)據(jù)處理能力,形成高效的軟件應(yīng)用開發(fā)和托管平臺,聚合第三方軟件開發(fā)者和終端用戶演進。另外,在應(yīng)用層面,要從實際的建設(shè)、運營、維護角度出發(fā),優(yōu)先選擇SaaS應(yīng)用。因為SaaS提供商為用戶搭建信息化所需要的所有網(wǎng)絡(luò)基礎(chǔ)設(shè)施及軟硬件運作平臺,負責(zé)所有前期的實施、后期的維護等一系列工作,作為客戶的企業(yè)則只需根據(jù)自己的需要,向SaaS提供商租賃軟件服務(wù),無需購買軟硬件、建設(shè)機房、招聘IT人員,更重要的是在企業(yè)IT架構(gòu)中采用云計算技術(shù)還會增加企業(yè)的自主性,企業(yè)在設(shè)計之前可以根據(jù)自己的實際需求來向軟件商購買或定制所需要的服務(wù),同時通過互聯(lián)網(wǎng)完成軟件的使用,一方面使計算工作從終端側(cè)轉(zhuǎn)移至數(shù)據(jù)中心側(cè),降低對終端設(shè)備的計算能力要求,另一方面也減少了企業(yè)IT架構(gòu)構(gòu)建的成本,也極大的方便了企業(yè)對經(jīng)營活動的管理,而且離線數(shù)據(jù)的使用還使得企業(yè)在使用這些軟件服務(wù)時,不受時間和地點的限制,使企業(yè)辦公更加便捷安全可靠。
5 結(jié)束語
總而言之,企業(yè)在IT架構(gòu)構(gòu)建方面,應(yīng)該充分利用云計算的優(yōu)勢和優(yōu)點,從而使企業(yè)IT架構(gòu)更加科學(xué)化,更加穩(wěn)定可靠,在保證企業(yè)正常運營的基礎(chǔ)上,進一步提升運營價值。同時由于云計算在我國還處于起步階段,為了使云計算能更好的在企業(yè)IT架構(gòu)中發(fā)揮作用,仍需要大家的不斷探索和努力。
【參考文獻】
[1]張東.大話存儲 網(wǎng)絡(luò)存儲系統(tǒng)原理精解與最佳實踐[J].清華大學(xué)出版社,2008,11.
關(guān)鍵詞:大數(shù)據(jù) 云計算 資源池
歷史上曾發(fā)生過三次技術(shù)革命,分別是十八世紀(jì)中葉的工業(yè)革命、十九世紀(jì)的電力革命和二十世紀(jì)至今的信息技術(shù)革命。每一次技術(shù)革命都促進了生產(chǎn)力的大幅度提高,尤其是信息技術(shù)革命期間,計算機和互聯(lián)網(wǎng)的發(fā)展,極大地提高了生產(chǎn)力,甚至從許多方面改變了人們的生活和工作方式,人們也因此步入了信息時代。物聯(lián)網(wǎng)、電子商務(wù)、ERP等新的互聯(lián)網(wǎng)技術(shù)的發(fā)展為企業(yè)運營管理帶來便利的同時,也產(chǎn)生了大量結(jié)構(gòu)化的非格式化的數(shù)據(jù)。如何通過數(shù)據(jù)挖掘,從海量數(shù)據(jù)和大數(shù)據(jù)中獲得有用的信息,為用戶提供更好的用戶體驗,從而增強企業(yè)的競爭力,這對企業(yè)來說是一個巨大的挑戰(zhàn),同時又是一個難得的機遇。
隨著信息時代的來臨,企業(yè)為解決大數(shù)據(jù)難題,在傳統(tǒng)的網(wǎng)格計算等計算技術(shù)的基礎(chǔ)上,開發(fā)出了云計算技術(shù)。云計算是被改進了的分布式計算技術(shù)的一種,它能夠以極低的成本高效處理海量數(shù)據(jù),被越來越多的企業(yè)所關(guān)注和研究。數(shù)據(jù)處理是企業(yè)運營的一個重要內(nèi)容,也是其關(guān)鍵部分。云計算技術(shù)憑借其眾多優(yōu)點和無限的發(fā)展?jié)摿Γ貙⒗^計算機和互聯(lián)網(wǎng)之后,成為信息技術(shù)革命期間第三個深刻影響未來的發(fā)明。
1 云計算概述
云計算最早的定義是由Ramnath Chellappa教授于1997年在美國芝加哥召開的INFORMS(運籌學(xué)和管理學(xué)研究協(xié)會)會議上提出的,那時的云計算界限是由經(jīng)濟的合理性來決定的。后來云計算憑借其“高效率,低成本”的優(yōu)越性,被許多IT企業(yè)所關(guān)注 ,并被越來越多地應(yīng)用于商業(yè)領(lǐng)域,經(jīng)過如亞馬遜、Google、IBM、微軟等眾多大型IT企業(yè)近兩年的研究實踐,云計算技術(shù)的商業(yè)特性得到了前所未有的開發(fā)。云計算從單純的一種架構(gòu)技術(shù),發(fā)展成為一種服務(wù),甚至是一種資源。
1.1概念
云計算是一種計算服務(wù)的交付和使用模式,它通過網(wǎng)絡(luò)架構(gòu)、分布式計算、虛擬化等技術(shù)將若干計算機硬件個體連接成為一個巨大的計算資源池,也就是所謂的“云”。
云計算也有廣義的云計算和狹義的云計算。所謂狹義的云計算,是指基于IT基礎(chǔ)設(shè)施交付和使用的一種服務(wù)。所謂廣義的云計算,是指云計算作為一種服務(wù)被交付和使用,這種服務(wù)的范疇很廣,可以是與IT、軟件和互聯(lián)網(wǎng)相關(guān)的,也可以是其他任意領(lǐng)域的服務(wù)。但是不論是狹義的云計算還是廣義的云計算,他們的共同特點是易擴展,而且是按需分配和收費。
可以說,云計算既是一項技術(shù),也是一種服務(wù)。本文是將云計算作為一種服務(wù)來解讀的。
1.2發(fā)展過程
Google成立之初并沒有充足的資金購買大量的服務(wù)器,他們的創(chuàng)始人布林和佩奇就通過購買被淘汰的主板、過期的CPU、便宜的小容量硬盤和廉價的電源等最便宜的器件自己搭建服務(wù)器,并通過自己設(shè)計的一套新型運算方法將這些獨立的服務(wù)器連接起來,實現(xiàn)了高性能運算,這就是“云計算”的雛形。
在WEB2.0時代,個人電腦和互聯(lián)網(wǎng)得到了前所未有的普及,人們也從單純的信息消費者成為了信息的生產(chǎn)者,信息的數(shù)量出現(xiàn)了爆炸性的增長,如何以高性價比的方式存儲和處理數(shù)據(jù)成為一個被大家熱議的話題。2005年,Apache基金會開發(fā)出了一個類似于Google的開源的云計算架構(gòu)的Hadoop基礎(chǔ)架構(gòu),許多IT企業(yè)基于這個架構(gòu)開發(fā)出了自己的云計算架構(gòu),并出租他們的云計算服務(wù),極大地促進了云計算技術(shù)的推廣和發(fā)展,也為許多中小型企業(yè)提供了成本極低而功能強大的計算平臺。
1.3原理
以Google云計算為例,云計算架構(gòu)主要由以下幾個部分構(gòu)成:Google文件系統(tǒng)GFS,并行編程模式MapReduce,分布式鎖服務(wù)Chubby,分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable,分布式存儲系統(tǒng)Megastore以及大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper。Google將海量數(shù)據(jù)分成若干塊分布存儲在GFS上,然后通過MapReduce技術(shù)高效處理這些數(shù)據(jù)然后生成結(jié)構(gòu)化文件存儲在Bigtable上。
也就是說,要實現(xiàn)云計算必須要有一個分布式文件系統(tǒng),然后通過MapReduce這種處理海量數(shù)據(jù)的并行編程模式將文件系統(tǒng)上的海量數(shù)據(jù)進行處理,并將結(jié)果存儲到另外一個結(jié)構(gòu)化數(shù)據(jù)庫中,從而實現(xiàn)高效的信息處理。
1.4應(yīng)用形式
從功能方面來講,云計算的應(yīng)用形式有三種,它們分別是:基礎(chǔ)設(shè)施即服務(wù)Iaas(Infrastructure as a Service)、平臺即服務(wù)Paas(Platform as a Service)以及將軟件即服務(wù)Saas(Software as a service)。Iaas提供的服務(wù)是云計算架構(gòu)中的各種硬件設(shè)施等基礎(chǔ)資源,用戶可以根據(jù)自己的需求任意部署和安裝運行任意軟件,同時管理和控制底層的云基礎(chǔ)設(shè)施。Paas為用戶提供一個已經(jīng)部署好的云計算基礎(chǔ)架構(gòu),用戶可以在這個既成架構(gòu)上任意部署自己需要的應(yīng)用程序,但不用自己管理和控制云基礎(chǔ)設(shè)施。Saas為用戶直接提供已經(jīng)安裝在云基礎(chǔ)設(shè)施上的應(yīng)用程序,用戶不用自己管理云基礎(chǔ)設(shè)施和上面的應(yīng)用程序,只需通過客戶端對云平臺進行訪問即可應(yīng)用云基礎(chǔ)設(shè)施上面的應(yīng)用程序。
2 云計算在商業(yè)應(yīng)用中的局限性
雖然云計算在商業(yè)應(yīng)用領(lǐng)域有著獨特的優(yōu)越性,但其自身擁有的局限性是云計算技術(shù)進一步發(fā)展和普及的最大障礙。
2.1安全性
安全性是用戶選擇云計算時的首要考慮的因素,也是云計算實現(xiàn)可持續(xù)發(fā)展的關(guān)鍵。由于多個用戶共享同一個云基礎(chǔ)設(shè)施,這就必然造成用戶對自身企業(yè)數(shù)據(jù)泄露的擔(dān)憂,這也是許多大型企業(yè)對云計算技術(shù)始終保持觀望態(tài)度的重要原因。
目前許多提供云計算服務(wù)的企業(yè)開發(fā)出了公有云、私有云和混合云等不同的云架構(gòu),其目的就在于為企業(yè)提供更多的選擇,從而更好的避免數(shù)據(jù)泄露的風(fēng)險。
云計算的安全性研究是今后云計算發(fā)展的一個重要課題,解決好云計算的安全性問題,必將推動云計算向更高水平發(fā)展。
2.2帶寬限制
云計算的服務(wù)是通過互聯(lián)網(wǎng)實現(xiàn)的,而云計算資源池中的海量數(shù)據(jù)也是通過互聯(lián)網(wǎng)流動的,由此就容易發(fā)生服務(wù)中斷、網(wǎng)絡(luò)延遲等問題。企業(yè)如果要實現(xiàn)云計算的流暢運行和操作,多多少少都要改變企業(yè)自身的網(wǎng)絡(luò)架構(gòu),而且需要更大的寬帶帶寬。然而企業(yè)并不是每時每刻都面臨海量數(shù)據(jù)的挑戰(zhàn),改變自身網(wǎng)絡(luò)架構(gòu)和一次性部署大帶寬對他們來說并不劃算。因此要使云計算走進企業(yè),解決網(wǎng)絡(luò)接入和寬帶帶寬技術(shù)的問題也成為一項重要議題。
3 結(jié)束語
云計算技術(shù)具有“低成本,高效,環(huán)?!钡莫毺厣虡I(yè)特性,該特性不但能夠被應(yīng)用于商業(yè)領(lǐng)域,更能被拓展利用于科研、數(shù)據(jù)挖掘和人工智能等社會的各方各面,必將在今后對社會經(jīng)濟文化的發(fā)展產(chǎn)生深刻的影響。
【參考文獻】
[1]張為民、唐劍峰、羅治國、錢嶺,《云計算深刻改變未來》,科學(xué)出版社,2009(12).
關(guān)鍵詞:云架構(gòu);冗余度
中圖分類號:TB文獻標(biāo)識碼:A文章編號:1672-3198(2012)01-0291-01
1 引言
隨著科學(xué)技術(shù)的進步,IT行業(yè)所在的環(huán)境復(fù)雜性與日俱增,更多的IT預(yù)算被用于維護基礎(chǔ)架構(gòu)和維持應(yīng)用程序的正常運行,而不是更好地滿足客戶的需要。云的出現(xiàn)似乎給人們帶來了新的希望,于是有人做出這樣的預(yù)測――未來云時代。
2 云架構(gòu)體系設(shè)計
2.1 云架構(gòu)的概念及特點
云架構(gòu)這一概念是Google在2006年首次提出的,它是為滿足按需分配的服務(wù)而設(shè)計的軟件架構(gòu)。云架構(gòu)與我們所熟悉的傳統(tǒng)計算機體系不同,云架構(gòu)是一個層結(jié)構(gòu),整個云架構(gòu)層分為顯示層、中間層、基礎(chǔ)設(shè)施層和管理層四個層次。顯示層主要用于向用戶顯示所需的內(nèi)容,并且利用HTML、JavaScript、CSS和Flash等云技術(shù)中間件層為用戶提供更多的服務(wù)。中間層起著過渡作用,它不但為顯示層提供支撐,也可以為基礎(chǔ)設(shè)施層提供資源上的便利,還可以為用戶直接使用。中間層主要通過5種云技術(shù)實現(xiàn):REST、多租戶、并行處理、應(yīng)用服務(wù)器和分布式緩存。管理層則是為上面三個層服務(wù)的,它提供賬號管理、SLA監(jiān)控、安全管理等技術(shù),目的在于更全面地管理和維護三個橫向?qū)拥姆€(wěn)定。通過上述分析,整個云架構(gòu)層可用如下框架來表示(見圖1):
圖1 云架構(gòu)層云架構(gòu)的特點是建立在云架構(gòu)層的基礎(chǔ)上的,它具有如下特點:(1)規(guī)模大?!霸啤毕到y(tǒng)涵蓋大規(guī)模的容量,例如IBM、微軟、蘋果等的“云”具有成千上萬臺服務(wù)器運行,“云”的計算能力和數(shù)據(jù)容量是一般計算機技術(shù)不能媲美的。(2)數(shù)據(jù)安全性強。云架構(gòu)層中的管理層對數(shù)據(jù)、帳號等資源監(jiān)控和保護,使其免受不必要的侵害;而且管理層可以憑借自身的服務(wù)功能應(yīng)對橫向3個層的突況,因此云架構(gòu)中儲存的數(shù)據(jù)是相當(dāng)安全的。(3)普適性強。云架構(gòu)受“云”的支撐,可以對變幻莫測的應(yīng)用加以控制,一個“云”就可以掌控多種不同的應(yīng)用程序。(4)伸縮性強。云架構(gòu)可以根據(jù)用戶的需要隨時改變其最佳容量,達到最優(yōu)狀態(tài)。
2.2 云架構(gòu)的設(shè)計
要實現(xiàn)“云”的強大功能,前提是必須要有完整的云架構(gòu)體系。云架構(gòu)是一種計算模式架構(gòu),它通過“云”把資源、數(shù)據(jù)和應(yīng)用等以服務(wù)形式提供到用戶端。基于前人的研究,云架構(gòu)主要包括服務(wù)控制機群、存儲節(jié)點機群、計算節(jié)點機群、應(yīng)用節(jié)點機群、輸入和輸出設(shè)備這六大部分。前面分析了云架構(gòu)層的結(jié)構(gòu),于是可以根據(jù)云架構(gòu)層進行拓展,對整個云架構(gòu)體系具體設(shè)計(見圖2)。
冗余度就是指數(shù)據(jù)的重復(fù)度,計算機系統(tǒng)中數(shù)據(jù)的重復(fù)存貯稱為數(shù)據(jù)冗余。數(shù)據(jù)冗余不但對數(shù)據(jù)庫的完整帶來影響,還會浪費存儲系統(tǒng)資源。盡可能地降低數(shù)據(jù)冗余度,是云架構(gòu)設(shè)計的主要目標(biāo)之一。與關(guān)系模式的規(guī)范化理論一樣,計算機系統(tǒng)處理冗余問題的主要思想就是最小冗余原則。
云計算框架可以更好的管理存儲空間,利用云計算的數(shù)據(jù)冗余處理機制,把數(shù)據(jù)資料分成若干文件片,分別存儲在云層中不同的數(shù)據(jù)存儲設(shè)備上,如果有存儲設(shè)備出現(xiàn)異常,也不會影響到存儲資料的完整性。云層中采用節(jié)點提取文件特征值,減少數(shù)據(jù)的重復(fù)性,在云層中創(chuàng)建了數(shù)據(jù)冗余的信息庫。
如圖2所示,云架構(gòu)中存在冗余策略,表明在云架構(gòu)存儲中可能存在大量的數(shù)據(jù)冗余。由于有些關(guān)聯(lián)數(shù)據(jù)可能需要重復(fù)存儲,而降低相同數(shù)據(jù)的儲存量,使關(guān)聯(lián)范式達到最優(yōu)化,是未來云架構(gòu)所走的畢竟之路。關(guān)聯(lián)數(shù)據(jù)的局限性體現(xiàn)在數(shù)據(jù)重復(fù)存儲,從而產(chǎn)生冗余,加大了云架構(gòu)的計算量,不僅浪費了存儲空間,也減慢了計算機的運行速度。處理能力的受限性表現(xiàn)在對簡單信息搜索、對復(fù)雜信息屏蔽以及動態(tài)信息混亂等。由于產(chǎn)生了數(shù)據(jù)冗余,使得計算機系統(tǒng)運行速度慢、維護難,達不到顧客的要求,滿足不了客戶的需要。
由于云存儲服務(wù)都采用了分布式數(shù)據(jù)存儲方式,通過將冗余數(shù)據(jù)分散存儲在連入云系統(tǒng)的大量存儲設(shè)備中去,以提高系統(tǒng)的抗摧毀性。在云架構(gòu)中主要存在副本備份冗余,對于其備份可使用存儲文件的不同之處,減少其存儲量,處理好云架構(gòu)中的數(shù)據(jù)冗余,節(jié)省資源,達到系統(tǒng)最優(yōu)存儲。
4 結(jié)語
處理好云架構(gòu)的冗余度,能夠通過最少的投入得到最多的回報。未來將是云的一個時代,云架構(gòu)的搭建和運行逐漸興起,它提高了計算的效率,最大限度的減少了數(shù)據(jù)的重復(fù)性,并能夠有效及時的處理信息,從而能夠未雨綢繆。