時間:2023-07-19 16:56:26
導(dǎo)言:作為寫作愛好者,不可錯過為您精心挑選的10篇云計算基本架構(gòu),它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內(nèi)容能為您提供靈感和參考。
中圖分類號:TP303文獻標(biāo)識碼:A文章編號:16727800(2012)008000602
作者簡介:連鴻鵬(1987-),福建師范大學(xué)協(xié)和學(xué)院初級網(wǎng)絡(luò)工程師,研究方向為云計算。
0引言
虛擬化技術(shù)是伴隨著計算機的產(chǎn)生而發(fā)展的,虛擬化意味著對計算機資源的抽象。虛擬化技術(shù)實現(xiàn)了物理資源的邏輯抽象和統(tǒng)一表示,通過它可以提高資源利用率,并能夠根據(jù)用戶業(yè)務(wù)需求的變化,快速、靈活地進行資源部署,因此,虛擬化技術(shù)已經(jīng)成為構(gòu)建云計算環(huán)境的一項關(guān)鍵技術(shù)。
VMware 云基礎(chǔ)架構(gòu)能夠讓現(xiàn)有的用戶從虛擬化中獲益,加速了現(xiàn)有數(shù)據(jù)中心云計算的轉(zhuǎn)移,與公共云基礎(chǔ)兼容,鋪平了向混合云模式前進的道路,成為云計算的新里程碑。
本文主要討論作為X86體系結(jié)構(gòu)虛擬化技術(shù)的代表,VMware公司基于已有的虛擬化技術(shù)和優(yōu)勢,提供了云基礎(chǔ)架構(gòu)及管理、云應(yīng)用平臺和終端用戶計算等多個層次上的解決方案,主要支持企業(yè)級組織機構(gòu)利用服務(wù)器虛擬化技術(shù),實現(xiàn)從目前的數(shù)據(jù)中心向云計算環(huán)境轉(zhuǎn)變方面的架構(gòu)分析。
1VMware vSphere 簡介
VMware vSphere是在原來的VI3基礎(chǔ)上推出的系統(tǒng),被成為業(yè)界首款云計算操作系統(tǒng)。vSphere將應(yīng)用程序和操作系統(tǒng)從底層硬件分離出來,從而簡化了 IT 操作?,F(xiàn)有的應(yīng)用程序可以看到專有資源,而服務(wù)器則可以作為資源池進行管理。vSphere以原生架構(gòu)的ESX/ESXi Server為基礎(chǔ),讓多臺ESX Server能并發(fā)負擔(dān)更多個虛擬機。主要包括3部分:一是虛擬化管理器VMM部分的VMware ESX 4,VMware ESX Server主要是用于調(diào)配物理服務(wù)器中內(nèi)存、CPU、存儲及網(wǎng)絡(luò)各種硬件資源,運行在物理服務(wù)器上的一個虛擬層并根據(jù)預(yù)定好的策略將這些資源分配到運行在其中的各虛擬機中,這些虛擬機以安全獨立的模式并行運行;二是用于整合和管理VMM的VMware vCenter,提高在虛擬基礎(chǔ)架構(gòu)每個級別上的集中控制和可見性,通過主動管理發(fā)揮 vSphere 潛能,是一個具有廣泛合作伙伴體系支持的可伸縮、可擴展平臺;三是用于管理客戶端的軟件VMware Infrastructure Client。
VMware vSphere 主要通過虛擬化技術(shù)將數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵朴嬎慊A(chǔ)架構(gòu),通過虛擬化提供自助部署和調(diào)配的功能,將IT基礎(chǔ)架構(gòu)作為服務(wù)來交付使用。vSphere是一個整體架構(gòu)而非單個產(chǎn)品,基本架構(gòu)如圖1。
圖1VMware vSphere 的基本架構(gòu)
2.1vSphere的云端部分
vSphere所謂的云端是指平臺及架構(gòu)部分(PaaS和IaaS),可以分為內(nèi)部和外部云端。內(nèi)部云端由各種硬件資源組成,并有vSphere負責(zé)統(tǒng)合云端資源,在IaaS及PaaS中,資源為硬件及OS資源。外部云端vSphere可以將這些第三方提供的資源集成到企業(yè)的IT架構(gòu)中。
2.2vSphere的底層:架構(gòu)服務(wù)(Infrastructure Service)
有了硬件資源之后,就需要一個Hypervisor將資源集成,然后ESX和ESXi服務(wù)器將負責(zé)硬件資源虛擬化。Infrastructure Service主要可以分為運算部分的vCompute、存儲部分的vStorage以及網(wǎng)絡(luò)部分的vNetwork。
(1)vCompute部分。vCompute包括了ESX/ESXi以及DRS。ESX/ESXi主要實現(xiàn)服務(wù)器整合、提供高性能并擔(dān)保服務(wù)品質(zhì)、流水式測試和部署及可伸縮的軟硬件架構(gòu)。DRS確保按需調(diào)整資源配置,根據(jù)需要和優(yōu)先級壓縮和增加應(yīng)用系統(tǒng)的資源,動態(tài)的響應(yīng)負載平衡。
(2)vStorage部分。vStorage包括VM所在硬盤的文件系統(tǒng)VMFS以及動態(tài)分配大小的Thin Provisioning,提供多種存儲虛擬連接選擇,通過vStorage VMotion減少或消除計劃內(nèi)停機,通過精簡部署降低虛擬環(huán)境的存儲要求,通過vStorage API簡化管理并提高存儲操作的效率。VMFS是專門為虛擬機設(shè)計的高性能集群文件系統(tǒng),該系統(tǒng)可以在VMware虛擬機的VMware虛擬數(shù)據(jù)中心環(huán)境中訪問共享存儲。
(3)vNetwork部分。VMware的網(wǎng)絡(luò)虛擬化技術(shù)主要通過VMware vSphere 中的vNetwork網(wǎng)絡(luò)元素實現(xiàn)。通過這些元素,部署在數(shù)據(jù)中心物理主機上的虛擬機可以像物理環(huán)境一樣進行網(wǎng)絡(luò)互連。vNetwork的組件主要包括虛擬網(wǎng)絡(luò)接口卡Vnic、vNetwork標(biāo)準(zhǔn)交換機vSwitch和vNetwork分布式交換機dvSwitch。vSphere提供了一個Distributed Network的架構(gòu),不但有完整的Bridged/NAT/Host only架構(gòu),更和Cisco合作推出一個專門安裝在vSphere上的分布式網(wǎng)絡(luò)。
一、背景
隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)的靈活性和敏捷性要求更高,現(xiàn)有的傳統(tǒng)分布式IP網(wǎng)絡(luò)的局限性日益突顯,主要表現(xiàn)為:
1.網(wǎng)絡(luò)剛性。網(wǎng)絡(luò)設(shè)備大量由單一功能的專用設(shè)備構(gòu)成,造成網(wǎng)絡(luò)復(fù)雜、無法協(xié)同、缺乏靈活性等弊端。
2.網(wǎng)元封閉。硬件和軟件一體化的封閉結(jié)構(gòu),導(dǎo)致設(shè)備擴展性差、價格昂貴、不同廠家的網(wǎng)元互通困難。
3.業(yè)務(wù)僵硬。不同廠家的網(wǎng)元設(shè)備功能單一封閉,新業(yè)務(wù)開發(fā)周期長、成本高,難以滿足快速靈活提供業(yè)務(wù)的要求。
4.運營復(fù)雜。大量廠家的各類專用設(shè)備以及相關(guān)的協(xié)議眾多,網(wǎng)絡(luò)規(guī)劃復(fù)雜,整合難度高,運營復(fù)雜,造成運營成本居高不下。
多年來積累的問題已經(jīng)使得今天的IP網(wǎng)絡(luò)患有“動脈硬化癥”,網(wǎng)絡(luò)架構(gòu)重構(gòu)迫在眉睫。2006年,SDN概念于是應(yīng)運而生。
SDN(Software Defined Network)即軟件定義網(wǎng)絡(luò),是一種開放靈活和可持續(xù)演進的新型網(wǎng)絡(luò)架構(gòu),采用軟件化、虛擬化的“分離”方法,將現(xiàn)有傳統(tǒng)的分布式網(wǎng)絡(luò)架構(gòu)進行重構(gòu),讓網(wǎng)絡(luò)中的控制面和數(shù)據(jù)轉(zhuǎn)發(fā)面進行分離,由傳統(tǒng)分布控制向集中控制的網(wǎng)絡(luò)轉(zhuǎn)變。
關(guān)于SDN網(wǎng)絡(luò)架構(gòu),不同的組織有不同的定義,當(dāng)前較為主流的是開放網(wǎng)絡(luò)基金會ONF(Open Networking Foundation)對SDN分層架構(gòu)的定義,如圖1所示。
該分層架構(gòu)模型得到了產(chǎn)業(yè)界的廣泛認可和推廣使用。
SDN的核心是“S”即軟件,也就是網(wǎng)絡(luò)不再是“硬”的,固化封閉的,難以擴展的,而是可以通過軟件程序?qū)崿F(xiàn)靈活的新I務(wù)開發(fā)和部署,網(wǎng)絡(luò)資源可以靈活調(diào)度,使得網(wǎng)絡(luò)作為一個管道變得更加智能和彈性可用,較好地解決運營商現(xiàn)有網(wǎng)絡(luò)運營的痛點,因此,SDN概念一經(jīng)提出,就受到了運營商的青睞和積極響應(yīng)。2014年以來,隨著SDN技術(shù)的逐步成熟,國內(nèi)運營商開始進行局部試點商用。
二、傳統(tǒng)分布式IP網(wǎng)絡(luò)和SDN網(wǎng)絡(luò)架構(gòu)分析
SDN是對運營商現(xiàn)有網(wǎng)絡(luò)架構(gòu)進行重構(gòu),重構(gòu)后的網(wǎng)絡(luò)是否能夠穩(wěn)定運行,是否出了故障能及時恢復(fù),是否能達到或接近傳統(tǒng)分布式IP網(wǎng)絡(luò)的可靠性可用性要求,是運營商關(guān)注的重點之一。
2.1可靠性、可用性
網(wǎng)絡(luò)的可靠性使用網(wǎng)絡(luò)運行階段平均業(yè)務(wù)失效故障間隔時間來描述,用無故障運行時間來衡量。網(wǎng)絡(luò)的可用性使用網(wǎng)絡(luò)穩(wěn)定不出現(xiàn)故障的時間與總的時間的百分比來表示。
從通俗的角度來理解,可靠性高是指網(wǎng)絡(luò)持續(xù)一段較長時間(如一年或兩年)運行穩(wěn)定,不出現(xiàn)業(yè)務(wù)失效的故障;可用性高是指網(wǎng)絡(luò)穩(wěn)定運行不易出現(xiàn)故障,并且一旦出現(xiàn)故障能夠快速恢復(fù)。
要提升網(wǎng)絡(luò)的可靠性和可用性,通常采用冗錯技術(shù)來實現(xiàn),也就是在網(wǎng)絡(luò)設(shè)計中增加冗余資源,避免單點故障造成業(yè)務(wù)失效。
2.2傳統(tǒng)分布式IP網(wǎng)絡(luò)基本架構(gòu)分析
傳統(tǒng)分布式IP網(wǎng)絡(luò)的基本架構(gòu)如圖2所示,分為管理平面、控制平面和數(shù)據(jù)平面。管理平面為網(wǎng)管系統(tǒng),負責(zé)網(wǎng)絡(luò)監(jiān)控和業(yè)務(wù)配置,當(dāng)業(yè)務(wù)配置下發(fā)后即使脫網(wǎng)也不影響網(wǎng)絡(luò)的正常運轉(zhuǎn)。控制平面和數(shù)據(jù)平面由路由器等設(shè)備組成,路由器負責(zé)按路由表轉(zhuǎn)發(fā)數(shù)據(jù)包,采用IGP和BGP兩種核心分布式動態(tài)路由協(xié)議,當(dāng)網(wǎng)管把業(yè)務(wù)配置上傳到路由器后,如果網(wǎng)絡(luò)狀態(tài)發(fā)生變化,控制平面即路由器會在網(wǎng)絡(luò)中自動擴散這些變化,各自根據(jù)新的狀態(tài)自動重新計算路由,全網(wǎng)采用冗余路由技術(shù)和路由快速收斂技術(shù),當(dāng)故障發(fā)生時能夠在秒級時間內(nèi)使受到影響的業(yè)務(wù)得以恢復(fù),網(wǎng)絡(luò)具有故障快速自愈能力。
2.3 SDN網(wǎng)絡(luò)基本架構(gòu)分析
SDN網(wǎng)絡(luò)的基本架構(gòu)如下圖3所示,分為應(yīng)用層、控制層、基礎(chǔ)設(shè)施層。應(yīng)用層由各類商業(yè)應(yīng)用軟件程序組成,通過北向接口向控制器提交各種網(wǎng)絡(luò)應(yīng)用;控制層由SDN控制器組成,它是整個網(wǎng)絡(luò)的控制中心和指揮中心,是整個網(wǎng)絡(luò)的“大腦”,擁有全局網(wǎng)絡(luò)視圖,負責(zé)實時采集全網(wǎng)設(shè)備狀態(tài)、網(wǎng)絡(luò)拓撲和各鏈路流量,生成流表并通過南向接口下發(fā)給網(wǎng)絡(luò)設(shè)備,同時根據(jù)網(wǎng)絡(luò)狀態(tài)變化或應(yīng)用層提交的功能更改重新生成流表并下發(fā);基礎(chǔ)設(shè)施層由網(wǎng)絡(luò)設(shè)備和線路組成,一方面負責(zé)接收控制器下發(fā)的流表并按之進行數(shù)據(jù)包轉(zhuǎn)發(fā),另一方面負責(zé)將網(wǎng)絡(luò)資源信息和狀態(tài)上報給SDN控制器,是執(zhí)行單元,本身不做決策。
從SDN網(wǎng)絡(luò)的架構(gòu)來看,SDN控制器作為網(wǎng)絡(luò)的“大腦”是關(guān)鍵部位,成為單點故障引發(fā)全網(wǎng)故障的風(fēng)險點。
2.4兩種架構(gòu)的可靠性可用性比較
從傳統(tǒng)分布式IP網(wǎng)絡(luò)和SDN網(wǎng)絡(luò)的基本架構(gòu)來看,傳統(tǒng)分布式IP網(wǎng)絡(luò)的控制功能是分布式的,任何一個單點故障發(fā)生時網(wǎng)絡(luò)具有快速自愈能力,而SDN網(wǎng)絡(luò)的控制功能全部集中在SDN控制器,有單點故障引發(fā)所有業(yè)務(wù)失效風(fēng)險,因此,傳統(tǒng)分布式IP網(wǎng)絡(luò)的可靠性和可用性較高,但是,SDN具有簡化網(wǎng)絡(luò)、快速業(yè)務(wù)開發(fā)和部署、低成本等核心價值,值得研究對策,讓SDN網(wǎng)絡(luò)可用。
三、提升SDN網(wǎng)絡(luò)可靠性可用性的策略
可靠性和可用性是基于網(wǎng)絡(luò)故障來考慮的,如果能夠識別出各層可能發(fā)生的故障及對網(wǎng)絡(luò)的影響程度,拿出應(yīng)對策略,避免網(wǎng)絡(luò)因單點故障而癱瘓。
從SDN網(wǎng)絡(luò)架構(gòu)來看,各層可能出現(xiàn)的故障如下:
應(yīng)用層
設(shè)備方面:服務(wù)器故障、應(yīng)用程序故障、服務(wù)器所在機房出現(xiàn)斷電等故障。
鏈路方面:服務(wù)器與SDN控制器的通信鏈路故障。
安全方面:非法侵入等。
控制層
設(shè)備方面:服務(wù)器故障、SDN控制器軟件故障、服務(wù)器所在機樓出現(xiàn)坍塌等故障。
鏈路方面:SDN控制器和網(wǎng)絡(luò)設(shè)備之間的鏈路故障。
安全方面:非法接入或受DDOS攻擊等。
基礎(chǔ)設(shè)施層
設(shè)備方面:網(wǎng)絡(luò)設(shè)備故障。
鏈路方面:網(wǎng)絡(luò)設(shè)備之間的鏈路故障。
安全方面:非法侵入等。
針對以上各層可能出現(xiàn)的故障,以及各層在網(wǎng)絡(luò)中的重要程度,權(quán)衡成本投入以及可接受的可靠性、可用性等因素采取以下的應(yīng)對策略:
3.1應(yīng)用層的應(yīng)對策略
應(yīng)用層的設(shè)備方面故障對網(wǎng)絡(luò)的運行影響并不大,當(dāng)應(yīng)用需求通過北向接口提交給控制器,由控制器生成相關(guān)的業(yè)務(wù)邏輯變成相關(guān)流表下發(fā)給網(wǎng)絡(luò)設(shè)備執(zhí)行,此后,應(yīng)用程序的服務(wù)器即使出現(xiàn)脫網(wǎng)等故障也暫時不會影響網(wǎng)絡(luò)的運行。因此,用層的服務(wù)器、應(yīng)用程序采用冷備份冗余設(shè)計,考慮到機房安全問題,在異地機樓部署冷備份系統(tǒng)。當(dāng)主用系統(tǒng)出現(xiàn)異常時切換到冷備份系統(tǒng)上運行。
防范鏈路方面的故障,可采用一條主鏈路和一條備用鏈路。由于與應(yīng)用程序通信的外部設(shè)備是可知的,因此,防范安全方面造成的故障,采取對連接的設(shè)備進行白名單設(shè)置并進行嚴格的身份認證。
3.2控制層的應(yīng)對策略
SDN控制器是網(wǎng)絡(luò)的控制中心和指揮中心,一旦SDN控制器無法提供服務(wù),假設(shè)基礎(chǔ)設(shè)施層的網(wǎng)絡(luò)沒有發(fā)生變化,網(wǎng)絡(luò)設(shè)備仍按原有的流表進行轉(zhuǎn)發(fā),不影響網(wǎng)絡(luò)運行,但是此時基礎(chǔ)設(shè)施層的網(wǎng)絡(luò)拓撲如果發(fā)生變化,沒有SDN控制器重新計算路由生成新的轉(zhuǎn)發(fā)流表,對網(wǎng)絡(luò)的運行就會造成重大影響。因此,控制層健壯性設(shè)計非常關(guān)鍵。
防范設(shè)備方面的故障,采取SDN控制器異地機樓的熱備份設(shè)計顯得尤為重要,承載SDN控制器軟件的服務(wù)器采用云化虛擬機集群,這些虛擬機獨占物理設(shè)備不與其他用戶分享,軟件采用分布式部署,主用控制器和備份控制器同時運行,都在處理業(yè)務(wù),是負載均擔(dān)關(guān)系,因此具有超強的自愈能力來應(yīng)對單臺或多臺服務(wù)器故障,冗余保護措施在故障情況下自動生效,對外服務(wù)不中斷,故障服務(wù)器修復(fù)后重新上線,系統(tǒng)自動平衡工作負載。
控制器和網(wǎng)絡(luò)設(shè)備之間的通信鏈路如果中斷導(dǎo)致控制器無法控制網(wǎng)絡(luò),會造成重大影響,為了防范鏈路故障的影響,應(yīng)采用控制器通過多條鏈路連接到網(wǎng)絡(luò)設(shè)備,采取帶外專門的鏈路通道,輔以帶內(nèi)控制通道作為冗余鏈路,使得任何一條鏈路故障,都不影響控制器與網(wǎng)絡(luò)設(shè)備的通信。
為防范非法接入或受DDOS攻擊,應(yīng)采取在SDN控制器和網(wǎng)絡(luò)邊界處部署防火墻、入侵檢測設(shè)備以及流量清洗系統(tǒng)。通過防火墻和入侵檢測設(shè)備進行訪問控制、病毒木馬防治、非法入侵檢測、安全漏洞掃描等,采取只對特定的IP地址提供服務(wù)并按需開放端口原則,阻斷非法IP接入或攻擊;通過清洗系統(tǒng)對進出控制器的流量進行分析,一旦發(fā)現(xiàn)非法攻擊流量,立即引導(dǎo)非法流量到清洗部件。
3.3基礎(chǔ)設(shè)施層的應(yīng)對策略
基礎(chǔ)設(shè)施層的網(wǎng)絡(luò)設(shè)備或鏈路故障,會造成部分業(yè)務(wù)中斷,故障發(fā)生后,SDN控制器會根據(jù)網(wǎng)絡(luò)變化情況,重新進行路由計算并生成新的流表下發(fā)給在線運行的網(wǎng)絡(luò)設(shè)備,實現(xiàn)網(wǎng)絡(luò)收斂。在設(shè)計網(wǎng)絡(luò)節(jié)點時采用傳統(tǒng)的設(shè)備冗余、鏈路冗余技術(shù),部署IP FRR快速重路由,一旦節(jié)點故障發(fā)生,網(wǎng)絡(luò)設(shè)備在沒有控制器控制下也能自動完成路徑切換。適當(dāng)加大資源冗余度,以輕載為主,鏈路帶寬利用率控制在50%以下。防范非法侵入網(wǎng)絡(luò)設(shè)備產(chǎn)生的故障,采取管理控制網(wǎng)絡(luò)與公網(wǎng)隔離,對遠程登錄進行嚴格設(shè)置和身份認證。
四、SDN可靠性可用性策略在實際網(wǎng)絡(luò)部署中的應(yīng)用
中國電信廣西公司從2014年以來,積極推進SDN網(wǎng)絡(luò)的試點工作,在實際SDN試點網(wǎng)絡(luò)部署中綜合考慮以上可靠性可用性策略,采用如圖4的方式部署:
應(yīng)用層和控制層的軟件使用云資源池分配的虛擬機來承載,同時在異地機樓云資源池上部署備用系統(tǒng)。應(yīng)用層和控制層的虛擬機各自獨占一個VLAN與云資源池中的其它網(wǎng)絡(luò)進行隔離。這些虛擬機獨占物理設(shè)備不與其他用戶分享。SDN控制器采用熱備份部署。
SDN控制器與網(wǎng)絡(luò)設(shè)備的通信鏈路,采用帶外管理控制網(wǎng)絡(luò)和帶內(nèi)控制通道相結(jié)合的方式。
基礎(chǔ)設(shè)施層采用設(shè)備、鏈路冗余配置。
在控制層部署防火墻、入侵檢測設(shè)備和流量清洗系統(tǒng),保障SDN控制器的安全。
通過在SDN試點網(wǎng)絡(luò)進行了專線業(yè)務(wù)開通、業(yè)務(wù)流量優(yōu)化、新業(yè)務(wù)開發(fā)和部署、模擬攻擊、設(shè)備主備倒換等一系列實驗,各項業(yè)務(wù)功能達到了預(yù)期效果,網(wǎng)絡(luò)可靠性可用性也達到商用的要求。
五、結(jié)束語
SDN網(wǎng)絡(luò)架構(gòu)具有傳統(tǒng)網(wǎng)絡(luò)無可比擬的優(yōu)勢,雖然SDN網(wǎng)絡(luò)的可靠性可用性相對于傳統(tǒng)分布式IP網(wǎng)絡(luò)而言,還有一些差距,但是可以通過以上的策略來提升SDN網(wǎng)絡(luò)的可靠性可用性,從而使SDN網(wǎng)絡(luò)達到可商用的目的。
參 考 文 獻
[1]閆長江,吳東君,熊怡 .SDN原理解析―轉(zhuǎn)控分離的SDN架構(gòu)[M].北京:人民郵電出版社,2016
關(guān)鍵詞:數(shù)字校園;基礎(chǔ)設(shè)施;云計算;云服務(wù)
中圖分類號:G642.0 文獻標(biāo)志碼:A 文章編號:1674-9324(2016)50-0069-02
進入21世紀(jì)以來,信息技術(shù)深入到經(jīng)濟發(fā)展與社會生活的各個方面,人們的工作、學(xué)習(xí)及生活方式正在發(fā)生著深刻的變化,針對教育資源不均衡、全民教育、個性化學(xué)習(xí)和終身學(xué)習(xí)等問題,國家制定了《教育信息化十年發(fā)展規(guī)劃(2011―2020年)》(簡稱《教育信息化規(guī)劃》),在《教育信息化規(guī)劃》中大力倡導(dǎo)積極開展教育信息化建設(shè),并提出“建設(shè)信息化公共支撐環(huán)境,提升公共服務(wù)能力和水平[2]”的發(fā)展任務(wù),其中提到了云服務(wù)平臺、云服務(wù)模式的建設(shè),而當(dāng)前多數(shù)學(xué)校在數(shù)字校園建設(shè)中尚未上升到云服務(wù)的模式,由此,本文將對建設(shè)數(shù)字校園基礎(chǔ)設(shè)施云服務(wù)平臺進行探討與闡述。
一、云服務(wù)模式簡介
目前,云服務(wù)類型主要分為基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service,即IaaS)、平臺即服務(wù)(Platform as a Service,即PaaS)、軟件即服務(wù)(Software as a Service,即SaaS)三種類型,這三種類型各具特點,又有一定的層次關(guān)系?;A(chǔ)設(shè)施即服務(wù)將計算、存儲、網(wǎng)絡(luò)等硬件基礎(chǔ)資源,通過虛擬化等相關(guān)技術(shù)封裝成服務(wù)提供給用戶使用,它最接近物理硬件資源,在服務(wù)層次上屬于最底層服務(wù),用戶可以利用IaaS提供的處理、存儲、網(wǎng)絡(luò)以及其他硬件資源方面的服務(wù),部署自己的操作系統(tǒng),并運行自己的軟件。典型的應(yīng)用如亞馬遜彈性計算云(EC2,Elastic Compute Cloud)。平臺即服務(wù)是構(gòu)建在基礎(chǔ)設(shè)施即服務(wù)之上的服務(wù),用戶通過PaaS提供的軟件工具和開發(fā)語言,部署自己需要的軟件運行環(huán)境和配置。用戶不必控制底層的網(wǎng)絡(luò)、存儲、操作系統(tǒng)等技術(shù)問題,底層服務(wù)對用戶是透明的,這一層服務(wù)是軟件的開發(fā)和運行環(huán)境[3]。典型的應(yīng)用有Google公司的Google App Engine。
軟件即服務(wù)是一種通過Internet提供軟件應(yīng)用的模式,用戶無須購買軟件,而是租用服務(wù)商運行在云計算基礎(chǔ)設(shè)施上的應(yīng)用程序,客戶不需要管理或控制底層的云計算基礎(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲,甚至單個應(yīng)用程序的功能[4]。典型的應(yīng)用有GoogleDocs、MicrosoftOfficeOnline。
二、云服務(wù)帶給數(shù)字校園的益處
云計算(Cloud Computing)是融合了分布式計算(Distributed Computing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網(wǎng)絡(luò)存儲(Network Storage Technologies)、虛擬化(Virtualization)、負載均衡(Load Balance)、熱備份冗余(High Available)等傳統(tǒng)計算機、網(wǎng)絡(luò)與存儲技術(shù)的產(chǎn)物,因而,它兼具高可靠性、通用性強、可擴展性高等特點。教育信息化推動了教育、教學(xué)模式的改革創(chuàng)新,但信息技術(shù)是一門專業(yè)性強、技術(shù)更新與發(fā)展快的綜合性學(xué)科,因此,學(xué)校通過搭建云計算平臺提供云服務(wù),將改變學(xué)校信息化建設(shè)、管理與應(yīng)用的模式,綜合起來有以下幾點突出優(yōu)點。
1.由專業(yè)技術(shù)團隊管理、運營云服務(wù)平臺可確保信息技術(shù)運用科學(xué)、合理、專業(yè),用戶無須具備較高的信息技術(shù)專業(yè)知識、技能,從而可以將更多的精力投入本職工作。
2.云服務(wù)采用群集服務(wù)器,相比單機可大幅提高服務(wù)可用性、數(shù)據(jù)可靠性,進而提供持續(xù)、穩(wěn)定、可靠的服務(wù)。
3.云服務(wù)采用虛擬技術(shù)能夠充分利用軟、硬件資源,避免重復(fù)投資;同時,由于云計算具有較高的靈活性與彈性,從而便于系統(tǒng)升級、“云”的規(guī)模擴充也易于實現(xiàn)。
三、基礎(chǔ)設(shè)施云服務(wù)平臺基本架構(gòu)
在構(gòu)建基礎(chǔ)設(shè)施云服務(wù)平臺時要秉持開放、共享、兼容的原則。開放性體現(xiàn)為能夠銜接已有在用的數(shù)字校園應(yīng)用,同時,也要為其他校園云服務(wù)系統(tǒng)及二次開發(fā)預(yù)留接口;共享性表現(xiàn)為能夠?qū)崿F(xiàn)與教育云等外部公共云服務(wù)系統(tǒng)對接;兼容性要求能夠支持自建系統(tǒng)、開源系統(tǒng)和商業(yè)系統(tǒng)等多種形式。針對學(xué)校中信息技術(shù)力量薄弱、分工明確、教學(xué)為主的特點,為了使廣大教師致力于教學(xué)工作,在學(xué)校中構(gòu)建云服務(wù)平臺時,打破IaaS和PaaS間的界限,提出寬泛的基礎(chǔ)設(shè)施概念,將硬件資源(CPU、存儲、網(wǎng)絡(luò))和軟件資源(操作系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫)通過虛擬化和云計算技術(shù)打造成基礎(chǔ)設(shè)施云服務(wù)平臺,其基本架構(gòu)如圖1所示。
基礎(chǔ)設(shè)施層是基礎(chǔ)設(shè)施云服務(wù)平臺的最底層,在該層通過運用虛擬化技術(shù)將CPU、存儲、網(wǎng)絡(luò)等硬件和操作系統(tǒng)等軟件抽象為一個資源池,為上層架構(gòu)提供服務(wù)。中間層作為承上啟下的一層,基于基礎(chǔ)設(shè)施層提供的資源為上層及用戶提供服務(wù)。同時,作為三層架構(gòu)中的樞紐,負責(zé)提供訪問控制、工作流的管理、API接口及負載均衡和服務(wù)的高可用性。應(yīng)用層作為架構(gòu)的頂層直接面向用戶,為用戶提供自助服務(wù),便于用戶申請云服務(wù)、管理應(yīng)用系統(tǒng);同時,向用戶展示云服務(wù)平臺的各種應(yīng)用,供用戶訪問。管理層在架構(gòu)中提供針對架構(gòu)及服務(wù)的管理功能,涵蓋用戶管理、配置管理、計費管理、安全管理、流程管理及運行維護管理等。
四、結(jié)束語
當(dāng)前,數(shù)字校園已成為助力教育信息化的基礎(chǔ)平臺,信息技術(shù)得到了廣泛應(yīng)用,同時,伴隨著信息技術(shù)的發(fā)展、教育教學(xué)理念及教學(xué)技術(shù)的不斷創(chuàng)新,云計算、云服務(wù)的需求日益迫切,因而建設(shè)云服務(wù)體系已成為大勢所趨。但不應(yīng)盲目照搬商業(yè)模式,應(yīng)根據(jù)自身條件、特點,建設(shè)適合學(xué)校自身的云服務(wù)體系,并遵從立足自身,放眼長遠,且要秉持開放、共享、兼容的原則建設(shè)云服務(wù)體系。
參考文獻:
[1]蔣東興,付小龍.基于云服務(wù)的高校數(shù)字校園[J].科研信息化技術(shù)與應(yīng)用,2012,(6).
中圖分類號:TP315
21世紀(jì)以來互聯(lián)網(wǎng)技術(shù)的發(fā)展十分迅速,隨著時間的增長,一些陳舊的網(wǎng)絡(luò)設(shè)施不斷的被淘汰,開始進行更新?lián)Q代,換代的同時計算機技術(shù)的應(yīng)用也不斷的被廣大的人們所熟知,互聯(lián)網(wǎng)技術(shù)中有一個重要的環(huán)節(jié)對網(wǎng)絡(luò)的發(fā)展起到承上啟下的作用,那就是數(shù)據(jù)的存儲,如今隨著計算機技術(shù)的不斷發(fā)展這種設(shè)備的成本也隨之降低,這也促使互聯(lián)網(wǎng)的用戶不斷的提高。人們慢慢的都進入了互聯(lián)網(wǎng)的時代,使得當(dāng)今社會也變的越來越信息化,同時也有很多的數(shù)據(jù)要進行處理,使得傳統(tǒng)的一些數(shù)據(jù)的計算方法不再適合當(dāng)今互聯(lián)網(wǎng)的發(fā)展速度,因此傳統(tǒng)的一些數(shù)據(jù)中心也滿足不了當(dāng)今的需求。本文主要結(jié)合當(dāng)今云計算的發(fā)展?fàn)顩r,研究了云計算的基本理論和概念以后,深入分析了云計算的基本架構(gòu)。
1 云計算數(shù)據(jù)中心的概述
1.1 云計算的概念。云計算的定義比較多,與之關(guān)聯(lián)的理論也比較多,但是總體來講主要有以下3個方面:第一分布式計算;第二信息海量計算;第三,并行數(shù)據(jù)計算。這些概念基本上都是美國標(biāo)準(zhǔn)語技術(shù)研究中心提出的,是國際上通用的概念。云計算并不是無償?shù)姆?wù),它是需要收取一定費用的,收取費用的計算主要是客戶使用網(wǎng)絡(luò)流量的費用。目前移動網(wǎng)絡(luò)也不斷的發(fā)展已經(jīng)從2G發(fā)展到了4G網(wǎng)絡(luò),互聯(lián)網(wǎng)時代開始更新?lián)Q代。這也使得云計算技術(shù)運用越來越廣泛,用戶可以隨時隨地的通過訪問面來獲取自己想要的數(shù)據(jù)服務(wù),或者計算的結(jié)果,并且獲取的過程是簡單而輕松的。與此同時工業(yè)的生產(chǎn)也不斷的運用云計算技術(shù)開展生產(chǎn)活動,隨著時間的推移,云計算在工業(yè)生產(chǎn)中的運用不斷的擴大和普及,也越來越成熟,涉及的工業(yè)領(lǐng)域也越來越多。
1.2 云計算的原理。云計算的原理和云計算涉及理論領(lǐng)域有著密切的關(guān)系。從這些領(lǐng)域我們可以看出云計算技術(shù)的主要目的是將需要處理的數(shù)據(jù)在網(wǎng)絡(luò)上的其他計算機上進行處理和計算。而對于企業(yè)的一些數(shù)據(jù)中心來講,云計算的運行原理和和網(wǎng)絡(luò)上的一些原理是相似的。唯一不同的就是企業(yè)的數(shù)據(jù)是根據(jù)需求來定的,隨著網(wǎng)絡(luò)的普及以及網(wǎng)絡(luò)速度的加快,移動客戶端數(shù)據(jù)也不斷的發(fā)展,云計算的服務(wù)也越來越廣泛,比如利用手機進行購物等都是云計算衍生的產(chǎn)品。這些技術(shù)與以往傳統(tǒng)的網(wǎng)絡(luò)相比變的越來越開放,不像以往使用單機進行數(shù)據(jù)處理,如今隨時隨地都可以操作,這樣也使得互聯(lián)網(wǎng)在一定的程度上越來越普及。
2 ITIL架構(gòu)
目前應(yīng)用最為廣泛的架構(gòu)就是ITIL架構(gòu),這種架構(gòu)主要分為6個不同的模塊這些模塊在一定的程度上有很大的聯(lián)系,它們并不是孤立的,在實際的工作中要相互作用的,這樣才能完成各自的任務(wù),下面分開介紹這6個不同的模塊:
2.1 服務(wù)支持。該部分主要是對執(zhí)行某項任務(wù)時,都由哪些人員參與,他們分別扮演何種角色,以及整個任務(wù)執(zhí)行的具體細節(jié)進行描述,將聯(lián)系用戶以及細節(jié)的“服務(wù)臺”功能進行明確的定義。服務(wù)支持在整個云過程中所關(guān)注的重點是,IT組織是如何按照SLA標(biāo)準(zhǔn)向具體客戶提供IT服務(wù)的。
2.2 服務(wù)交付。該部分主要是用來對客戶開展某項業(yè)務(wù)所需要的服務(wù),主要的服務(wù)內(nèi)容就是對客戶的要求進行任務(wù)分工以及IT組織在提供這項服務(wù)時所需要具備的資源進行描述。在服務(wù)的過程中一些不同的人員要執(zhí)行不同的工作內(nèi)容,服務(wù)交付在整個云過程中所關(guān)注的重點是,IT組織如何與客戶簽訂具體的SLA等級協(xié)定,并在具體工作開展的過程中對SLA目標(biāo)實施監(jiān)控。
2.3 安全管理。安全就是保證用戶信息的安全,此模塊記錄很多用戶的數(shù)據(jù),這些數(shù)據(jù)的主要內(nèi)容是記錄一些具體的規(guī)劃和管理信息及IT服務(wù)所達到的安全流程水平,用以評估和控制所存在的風(fēng)險,同時根據(jù)評估結(jié)果給予相應(yīng)的解決。進行安全管理的目標(biāo)就是要保證整個服務(wù)過程的保密性、完整性以及可用性。
2.4 IT基礎(chǔ)設(shè)施管理。IT基礎(chǔ)設(shè)施的管理十分重要,其關(guān)系到業(yè)務(wù)成本的問題,只有合理的對基礎(chǔ)設(shè)施進行管理才能保證最大的業(yè)務(wù)需求,創(chuàng)造更大的利潤,這個模塊最主要的任務(wù)就是保證IT架構(gòu)的運行效率,以最小的運行成本保證最大的運行效率是其最主要的任務(wù),可以有效的保證IT基礎(chǔ)設(shè)施的穩(wěn)定建設(shè)。
2.5 應(yīng)用管理。應(yīng)用管理就是對客戶端上的應(yīng)用進行管理,這個模塊的主要任務(wù)就是對各個應(yīng)用的生命周期進行管理,并且對客戶進行管理的指導(dǎo),以使他們能夠在最短的時間內(nèi)從服務(wù)管理的角度對整個應(yīng)用系統(tǒng)有著較為全面的了解。
2.6 服務(wù)管理規(guī)劃與實施。該部分主要是對服務(wù)的組織、實施以及改善服務(wù)管理流程,對整個過程中所出現(xiàn)的問題以及具體任務(wù)進行再規(guī)劃、設(shè)計,幫助客戶確立遠景目標(biāo),同時對服務(wù)改進方案進行全面的、持續(xù)的指導(dǎo)。
2.7 業(yè)務(wù)視角。所謂業(yè)務(wù)視角,是用來強調(diào)服務(wù)的開展應(yīng)該從業(yè)務(wù)的角度觸犯,而不是只關(guān)注服務(wù)的交付者,讓IT服務(wù)人員明白其主要工作是為了實現(xiàn)具體的商業(yè)目標(biāo),是為了給用戶創(chuàng)造最大的價值,做出最大的貢獻。
3 ITIL的云計算數(shù)據(jù)中心管理理念
對于目前面向服務(wù)的數(shù)據(jù)中心架構(gòu)來講,如果要是這些架構(gòu)能夠穩(wěn)定的、可靠的運行就必須有一些合理的管理模式,通過強大的管理模式把服務(wù)層的每個架構(gòu)進行聯(lián)系起來,才能夠使得系統(tǒng)的運算結(jié)構(gòu)有效的運行,也能使得網(wǎng)絡(luò)的基本結(jié)構(gòu)得到很好的改善,目前面向服務(wù)的數(shù)據(jù)中心架構(gòu)能夠最大的優(yōu)化系統(tǒng)資源的配置。上一章詳細的講了ITIL的數(shù)據(jù)架構(gòu),這些架構(gòu)在理論上是比較成熟的,也能夠經(jīng)得住長期的實踐考驗,在具體的實際應(yīng)用中還要根據(jù)客戶的需求進行設(shè)計,設(shè)計的標(biāo)準(zhǔn)很多,其中最主要的有;結(jié)果要能實施、對總體的需求能夠準(zhǔn)確的表達,既然主要是面向客戶的架構(gòu),那么所有的設(shè)計都要根據(jù)客戶的需求來定,這樣才能滿足客戶需要的功能。
4 云計算資源的管理
4.1 云計算管理模型。主要分為兩個部分,一個是被動式部件一個是主動式的部件,這兩種系統(tǒng)的結(jié)構(gòu)都具有層級的結(jié)構(gòu),其中主動式的部件就是系統(tǒng)的各種資源,就是對系統(tǒng)的數(shù)據(jù)進行反復(fù)的利用,作用的內(nèi)容就是系統(tǒng)結(jié)構(gòu)的內(nèi)容,通俗的說就是執(zhí)行傳統(tǒng)以及非傳統(tǒng)計算過程。而作業(yè)是整個層次結(jié)構(gòu)的實體,調(diào)度的主要內(nèi)容就是吧任務(wù)映像到資源,而不是將作業(yè)映像到資源。
4.2 云計算的資源調(diào)度。云計算中關(guān)鍵的系統(tǒng)就是云計算的資源調(diào)度系統(tǒng),它直接影響著資源管理的有效性和可操作性,然而云計算的動態(tài)性能以及云計算的結(jié)構(gòu)性能又直接影響著云計算資源的調(diào)度,直接影響云計算的系統(tǒng)復(fù)雜性。云計算資源的調(diào)度系統(tǒng)設(shè)計可分為3類,主要有集中式、分布式以及層次式等,在這3中調(diào)度的類型中,集中調(diào)度最為常見,它主要是通過一個中央的調(diào)度中心進行數(shù)據(jù)的交換,這種調(diào)度方式主要是通過一個程序進行的,其中所有能夠使用的信息都能夠在數(shù)據(jù)的中心體現(xiàn)。分布調(diào)度的原理主要是進行交互式的作業(yè),主要把數(shù)據(jù)傳送到遠程的存儲器中,用戶可以通過網(wǎng)絡(luò)訪問這個服務(wù)器從而獲得相關(guān)的數(shù)據(jù),這種操作并沒有中心的系統(tǒng)進行操作。
5 結(jié)束語
云計算技術(shù)越來越流行,都歸功于計算機技術(shù)的發(fā)展,人們對網(wǎng)絡(luò)的需求與日俱增,如今這種需求涉及到很多的方面和領(lǐng)域,不僅在企業(yè)中有所體現(xiàn),在日常生活中都與人們息息相關(guān),本文全面的接受了云計算的一些基本架構(gòu),分析了云計算的一些概念和原理,初步了解云計算技術(shù)有一定的作用,作者水平有限,沒能在云計算的硬件和軟件上深入分析,希望這以后的生活中繼續(xù)研究。
參考文獻:
[1]羅軍舟,金嘉暉,宋愛波.云計算:體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報,2011(07):3-21.
[2]張亞娟.云計算數(shù)據(jù)中心資源管理軟件設(shè)計[J].無線互聯(lián)科技,2014(04):90+94.
中圖分類號: TN911?34; TP37 文獻標(biāo)識碼: A 文章編號: 1004?373X(2013)14?0010?03
Cloud computing technology and modeling of mass VOD system
CHEN Xu?wen, HUANG Ying?ming
(Department of Information Engineering, Jieyang Vocational & Technical College, Jieyang 522000, China)
Abstract: With the promotion of the triple?net fusion, the mass VOD emerges out some characteristics such as complicating data, multiple platforms and huge business, which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation, the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies, such as redundancy backup of data, heartbeat detection, replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.
Keywords: cloud computation; mass VOD; Hadoop system; modeling
隨著互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的迅猛發(fā)展,基于網(wǎng)絡(luò)的視頻點播(Video On Demand,VOD)業(yè)務(wù)成為了網(wǎng)絡(luò)應(yīng)用的一大熱點。人們通過手機、掌上電腦等簡易的終端設(shè)備隨意欣賞視頻的新型模式極大地顛覆了傳統(tǒng)的電視觀看模式,逐步成為視頻點播的主流。雖然流媒體及P2P技術(shù)[1]的應(yīng)用在一定程度上減輕了中央服務(wù)器和骨干網(wǎng)絡(luò)的負擔(dān),優(yōu)化了節(jié)目流的播放質(zhì)量,但當(dāng)面對熱點視頻時,海量視頻的處理傳播極大地考驗著視頻運營商的實力。另外,隨著電信網(wǎng)、計算機網(wǎng)和有線電視網(wǎng)三網(wǎng)融合步伐的快速推進,對于視頻點播業(yè)務(wù)的需求也將呈現(xiàn)出數(shù)據(jù)量劇增和多平臺共存的局面,光靠原有的硬件基礎(chǔ)絕對無法滿足形勢的發(fā)展,而增加投入勢必會增加企業(yè)的運營成本,租用第三方運營平臺將成為一種發(fā)展趨勢。
作為一種新型的商業(yè)計算模型,云計算提供了強大靈活的計算能力和高效快捷的海量數(shù)據(jù)處理方法,其高可靠性也是普通的第三租賃方所無法比擬的。本文以云計算為平臺,研究了基于云平臺的視頻點播模式,為解決海量視頻的高效傳輸提供了新方法。
1 云計算技術(shù)及海量視頻點播的技術(shù)特點
1.1 云計算的概念
自云計算(Cloud Computing)概念提出以來,至今仍沒有統(tǒng)一、公認的定義,比較獲得業(yè)界認可的是2011年由美國國家標(biāo)準(zhǔn)和技術(shù)研究院(NIST)提出的[2]:云計算是一種通過網(wǎng)絡(luò)以便利的、按需付費的模式獲取計算資源(包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù))并提高其可用性的模式,這些資源來自一個共享的、可配置的資源池,并能夠以最省力和無人干預(yù)的方式獲取和釋放。
云計算是網(wǎng)格計算、并行計算、分布式計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化、負載均衡等傳統(tǒng)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物,它以虛擬化為核心,通過網(wǎng)絡(luò)把多個成本較低的計算實體整合成一個具有強大計算能力的資源系統(tǒng),以按需、易擴展的方式為用戶提供所需的各種資源和服務(wù)。云是一個包含大量可用虛擬資源的資源池,云中的資源在使用者看來是可以無限擴展、隨時獲取、按需使用、按量付費的[3]。云模式[4]也即電廠模式,利用電廠的規(guī)模效應(yīng)來降低電力價格,用戶根據(jù)用電量付費,便可源源不斷獲取電力資源,而無需維護和購買任何發(fā)電設(shè)備。
云計算具有低成本、高性能、超大規(guī)模、虛擬化、高可靠性、通用性、高可擴展性、按需服務(wù)等特點[5]。目前比較成熟的云計算業(yè)務(wù)和應(yīng)用有:Google的AppEngine、Amazon的彈性計算云EC2、微軟的Azure云平臺和IBM的藍云等。
1.2 云計算的架構(gòu)[5]
(1)軟件即服務(wù)(Software as a Service,SaaS):SaaS服務(wù)供應(yīng)商將各類應(yīng)用軟件統(tǒng)一部署在服務(wù)器上,用戶通過簡易的互聯(lián)網(wǎng)接入終端就能直接使用,并按需按量付費。云中的軟硬件設(shè)施由供應(yīng)商負責(zé)維護和管理,用戶不需顧慮類似安裝、升級和防毒等瑣事,且免去初期高昂的硬件投入、人員配置、軟件許可證等費用的支出,經(jīng)濟便捷。
(2)平臺即服務(wù)(Platform as a Service,PaaS):PaaS主要面向開發(fā)人員提供一個應(yīng)用的開發(fā)和部署平臺,包括SDK、文檔、測試環(huán)境和部署環(huán)境等。平臺的部署和運維均由供應(yīng)商負責(zé),用戶可一心一意致力于研發(fā)工作。
(3)基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service,IaaS):IaaS由底層硬件或虛擬機資源構(gòu)建而成,用戶從供應(yīng)商那里獲取所需的計算或存儲資源來裝載相關(guān)應(yīng)用,且僅需為所租借的那部分資源付費。
1.3 海量視頻點播的技術(shù)特點
(1)文件龐大,數(shù)據(jù)量多。單個視頻文件非常大,視頻資源繁多,數(shù)據(jù)海量化。
(2)編碼多樣,業(yè)務(wù)復(fù)雜。隨著三網(wǎng)融合的推進及視頻播放技術(shù)的改革,必將出現(xiàn)多編碼、多平臺共存及多業(yè)務(wù)共享的局面。
(3)質(zhì)量至上,要求嚴格。龐大的數(shù)據(jù)量對服務(wù)器性能及網(wǎng)絡(luò)帶寬要求甚高,而隨著點播量的快速增長,對于計算能力及處理強度的要求也相應(yīng)劇增。
2 海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)
2.1 系統(tǒng)架構(gòu)
根據(jù)視頻點播業(yè)務(wù)的技術(shù)特征及云計算技術(shù)的特點,本文提出了基于云計算的海量視頻點播平臺的基本架構(gòu),其拓撲圖如圖1所示。用戶通過Web交互服務(wù)器向視頻點播系統(tǒng)發(fā)出業(yè)務(wù)請求,經(jīng)Web交互服務(wù)器受理后將具體的業(yè)務(wù)要求提交給云核心服務(wù)器,由核心服務(wù)器對整個云文件系統(tǒng)進行控制處理,完成視頻文件的調(diào)用并反饋回客戶端。
圖1 系統(tǒng)架構(gòu)圖
2.2 系統(tǒng)工作原理
系統(tǒng)采用Hadoop系統(tǒng)實現(xiàn)云點播平臺SaaS層的構(gòu)建[6]。根據(jù)點播系統(tǒng)的功能要求及Hadoop系統(tǒng)的基本構(gòu)成,包括以下幾個功能組件,闡述如下:
2.2.1 Web交互服務(wù)器
在整個點播系統(tǒng)中,Web交互服務(wù)器作為系統(tǒng)前端窗口,負責(zé)受理用戶的點播、注冊、用戶管理等常規(guī)業(yè)務(wù),當(dāng)涉及視頻文件調(diào)用時,則將業(yè)務(wù)請求轉(zhuǎn)交給后臺的云核心服務(wù)器處理,Web交互服務(wù)器僅負責(zé)點播信息的傳遞工作,沒有涉及具體視頻文件的傳輸內(nèi)容。
2.2.2 云核心服務(wù)器
云核心服務(wù)器位于云計算的最上層,負責(zé)整個云系統(tǒng)的資源管理及任務(wù)控制。
(1)資源管理。作為Hadoop系統(tǒng)的主控節(jié)點,云核心服務(wù)器負責(zé)記錄文件的數(shù)據(jù)塊分割規(guī)則及這些數(shù)據(jù)塊的具體存儲位置,對內(nèi)存及I/O進行集中管理。為加快維護效率,同時減輕本身負擔(dān),云核心服務(wù)器通過與各集群主控服務(wù)器進行交互控制,對集群中的所有節(jié)點和所有虛擬機進行實時控制,維護系統(tǒng)的資源狀態(tài)信息表。為提高系統(tǒng)的運作性能,云核心服務(wù)器僅管理文件系統(tǒng)的元數(shù)據(jù),具體的數(shù)據(jù)訪問則交由下層服務(wù)器負責(zé)[7]。
(2)任務(wù)控制。響應(yīng)Web交互服務(wù)器的點播請求,檢索資源狀態(tài)信息表,獲取資源的具置,然后通過集群主控服務(wù)器匯總節(jié)點信息,建立客戶端與各虛擬機實例的通信,實現(xiàn)數(shù)據(jù)傳輸。
2.2.3 集群主控服務(wù)器
為提高云系統(tǒng)的運作效率,減輕核心服務(wù)器的負擔(dān),將云系統(tǒng)的資源劃分成多個集群,由集群主控服務(wù)器負責(zé)管理該集群中的所有資源。集群主控服務(wù)器主要有以下作用:
(1)集群主控服務(wù)器管理其集群中的所有節(jié)點控制器和虛擬機,對系統(tǒng)資源進行實時監(jiān)控,形成子資源狀態(tài)信息表,并將結(jié)果反饋給云核心服務(wù)器,更新整個云系統(tǒng)的資源狀態(tài)信息表。
(2)響應(yīng)云核心服務(wù)器的任務(wù)要求,快速調(diào)用集群中的虛擬機實例,建立與客戶端機器的連接,傳輸數(shù)據(jù)。
(3)擔(dān)任Hadoop系統(tǒng)的主節(jié)點,控制集群中的所有從節(jié)點,對集群中所有虛擬機實例及系統(tǒng)資源進行統(tǒng)籌管理,提高系統(tǒng)的響應(yīng)效率。
2.2.4 節(jié)點控制器
節(jié)點控制器是整個云系統(tǒng)的前沿陣地,在節(jié)點控制器上真正運行著虛擬機實例,并通過虛擬機管理器進行管理,虛擬機實例的數(shù)量由節(jié)點控制器的資源及計算任務(wù)的類型決定,一般為3~5臺。節(jié)點控制器的功能包括以下三方面[8]:
(1)節(jié)點控制器負責(zé)監(jiān)控節(jié)點上運行的所有虛擬機實例的運行狀態(tài)及資源的使用情況,并將監(jiān)控狀況實時返回給上層的集群主控服務(wù)器。
(2)響應(yīng)集群主控服務(wù)器的需求,啟動虛擬機實例實現(xiàn)數(shù)據(jù)通信。當(dāng)任務(wù)完成后或在規(guī)定時間內(nèi)客戶端無響應(yīng)(如客戶異常退出)時,則停止虛擬機實例運作,釋放網(wǎng)絡(luò)帶寬及點播資源。
(3)監(jiān)控和管理虛擬機實例。包括虛擬機資源的存儲備份、虛擬機宕機的應(yīng)急處理等。
2.3 系統(tǒng)設(shè)計的關(guān)鍵技術(shù)
2.3.1 數(shù)據(jù)的冗余備份
云系統(tǒng)的文件傳輸采用流媒體技術(shù)實現(xiàn),即將多媒體文件壓縮后分解成若干大小相等的數(shù)據(jù)塊(數(shù)據(jù)塊的大小可根據(jù)實際情況進行配置),并統(tǒng)一編號,再由服務(wù)器對客戶端進行實時傳送。為了容錯,文件的所有數(shù)據(jù)塊都會有副本,即冗余備份。系統(tǒng)運行時,節(jié)點控制器利用虛擬機管理器對虛擬機上的文件系統(tǒng)進行監(jiān)控,產(chǎn)生一份數(shù)據(jù)塊與本地文件對應(yīng)關(guān)系的列表,形成塊報告返回給節(jié)點控制器,節(jié)點控制器根據(jù)塊報告進行完善(如增加數(shù)據(jù)塊具體路徑等)后反饋給集群主控服務(wù)器更新資源狀態(tài)信息表。
云系統(tǒng)的集群一般運行在多個機架上,不同機架上的數(shù)據(jù)通信必須通過交換機,通常機架內(nèi)節(jié)點之間的帶寬比跨機架節(jié)點之間的帶寬要大,這有可能影響云系統(tǒng)的可靠性和性能。采用機架感知(Rack?aware)策略[9],將數(shù)據(jù)塊以多個副本形式部署在本地機架和不同機架上,改進數(shù)據(jù)的可靠性、可用性和網(wǎng)絡(luò)帶寬的利用率。此策略可防止機架失效時的數(shù)據(jù)丟失,也可保證系統(tǒng)的性能。
2.3.2 心跳檢測技術(shù)
在任何系統(tǒng)設(shè)計中,硬件異常檢測總是極其重要的。云系統(tǒng)采用心跳檢測[10]技術(shù)來控制系統(tǒng)硬件的異常情況。集群主控服務(wù)器周期性地通過節(jié)點控制器接受虛擬機的心跳包和塊報告,以此判斷虛擬機的存活狀態(tài):收到心跳包說明工作正常;若在特定時間t內(nèi)沒有收到心跳包信息,則認為宕機,系統(tǒng)將不會發(fā)給它們?nèi)魏涡碌腎/O請求。對于宕機的虛擬機,系統(tǒng)將不斷進行檢測并通過虛擬機管理器進行故障修復(fù),若在特定時間內(nèi)仍無法恢復(fù),則將重新復(fù)制該數(shù)據(jù)塊,避免該數(shù)據(jù)塊副本數(shù)減少所造成的影響。
2.3.3 智能節(jié)點替換技術(shù)
智能節(jié)點替換技術(shù)與心跳檢測技術(shù)聯(lián)合應(yīng)用,當(dāng)系統(tǒng)在特定時間內(nèi)仍無法檢測到某數(shù)據(jù)塊的心跳包時,則將該數(shù)據(jù)包重新復(fù)制,此時,節(jié)點控制器將更新數(shù)據(jù)包的新位置,并使用新節(jié)點替換原來的故障節(jié)點,保證數(shù)據(jù)傳輸?shù)倪B貫性。
2.3.4 負載均衡技術(shù)
負載均衡是很多系統(tǒng)中需要解決的重要問題。在云系統(tǒng)中,云核心服務(wù)器根據(jù)節(jié)點控制器發(fā)送的心跳信息和存儲的數(shù)據(jù)塊情況,掌握各節(jié)點的當(dāng)前狀態(tài),通過平衡資源狀態(tài)信息表中的資源分配情況,將數(shù)據(jù)塊分配給負載較輕、寫入速度較快的節(jié)點控制器。具體包括:在新數(shù)據(jù)加入時,為新數(shù)據(jù)尋找優(yōu)越的存儲位置;若現(xiàn)有的資源過于集中,可采用數(shù)據(jù)塊遷移方法,重新分配合適的存儲位置,平衡整個文件存儲系統(tǒng)。
3 結(jié) 語
隨著三網(wǎng)融合進程的不斷推進,視頻點播業(yè)務(wù)將面對內(nèi)容繁雜、平臺多樣、業(yè)務(wù)量激增等局面,這對傳統(tǒng)的視頻點播模式提出了巨大的挑戰(zhàn)。
本文在分析云計算的基本架構(gòu)和技術(shù)特點的基礎(chǔ)上,結(jié)合視頻點播業(yè)務(wù)的特點,論述了云計算在視頻點播系統(tǒng)中的應(yīng)用,對其系統(tǒng)架構(gòu)、工作原理和關(guān)鍵技術(shù)進行了詳細的闡述,為解決海量視頻的流暢傳播提出了一個全新的思路。
參考文獻
[1] 陳旭文,林若波.基于P2P的多原VOD系統(tǒng)的設(shè)計[J].測控技術(shù),2012,31(8):27?30.
[2] MELL P,GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg,MD: NIST Special Publication,2011.
[3] 吳朱華.云計算核心技術(shù)剖析[M].北京:人民郵電出版社,2011.
[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society,IT Professional, 2009(11):23?27.
[5] 周洪波.云計算技術(shù)、應(yīng)用、標(biāo)準(zhǔn)和商業(yè)模式[M].北京:電子工業(yè)出版社,2011.
[6] HADOOP W T. 權(quán)威指南[M].曾大聃,譯.北京:清華大學(xué)出版社,2010.
[7] 劉鵬,黃宜華,陳衛(wèi)衛(wèi).實戰(zhàn)Hadoop:開啟通向云計算的捷徑[M].北京:電子工業(yè)出版社,2011.
引言:傳統(tǒng)空管系統(tǒng)數(shù)據(jù)存儲能力有限,在大量數(shù)據(jù)訪問進入時,系統(tǒng)難以保持穩(wěn)定的性能,這對空管的安全性帶來了不良影響??萍嫉倪M步要求空管系統(tǒng)必須進行發(fā)展。隨著云計算的產(chǎn)生和發(fā)展以及應(yīng)用,空管系統(tǒng)引入云計算將是空管系統(tǒng)發(fā)展的關(guān)鍵。
一、云計算概念特點
云計算以互聯(lián)網(wǎng)技術(shù)作為基礎(chǔ),是互聯(lián)網(wǎng)相關(guān)服務(wù)的增加,對于云計算的定義解釋多達上百種,廣為普遍的解釋認為,云計算是一種按照使用量付費的模式,在這一模式下提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問,進入計算資源共享池中可以可以快速獲得這些資源,只要投入很少的管理工作或與服務(wù)供應(yīng)商通過很少的互動將這些資源快速提供給使用者。云計算的基本架構(gòu)分為基礎(chǔ)架構(gòu)即服務(wù)、平臺即服務(wù)、軟件即服務(wù)的三層基本架構(gòu),云計算是分布式計算、并行計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。
二、數(shù)據(jù)分析
在空管系統(tǒng)中,飛行數(shù)據(jù)分為飛行計劃數(shù)據(jù)和飛行電報數(shù)據(jù),計劃數(shù)據(jù)和雷達的數(shù)據(jù)有著密切關(guān)系,而航班狀態(tài)修改需要用到電報數(shù)據(jù),飛行數(shù)據(jù)操作系統(tǒng)也要用飛行電報數(shù)據(jù)進行查詢和統(tǒng)計,因此在一架飛機中會有多條飛行電報數(shù)據(jù)。日志文件伴隨自動化系統(tǒng)工作而產(chǎn)生,通過對日志進行查詢能夠?qū)收线M行分析,方便排除故障。自動化系統(tǒng)運行的過程中,監(jiān)視信息要時刻呈現(xiàn),這樣才能使空管人員實時掌握空域內(nèi)的情況,了解航空器的飛行狀態(tài)[1]。監(jiān)視數(shù)據(jù)由雷達進行覆蓋掃描獲得,各種雷達測量值方便空管人員進行監(jiān)管。在監(jiān)視中,為了獲得全面的數(shù)據(jù)并做到24小時監(jiān)控,需多個雷達進行掃描。多個雷達通過多個通道所發(fā)來的原始數(shù)據(jù)會被送至雷達質(zhì)量監(jiān)視系統(tǒng),從而進行實時分析統(tǒng)計。系統(tǒng)會將分析統(tǒng)計的數(shù)據(jù)存儲下來,方便日后進行數(shù)據(jù)查詢和演示。記錄儀數(shù)據(jù)是對24小時中所獲得的數(shù)據(jù)進行記錄重演,這些數(shù)據(jù)包括管制員操作、監(jiān)視數(shù)據(jù)、飛行計劃數(shù)據(jù)等,相應(yīng)的還有記錄在語音記錄儀中的語音記錄數(shù)據(jù),對語音記錄數(shù)據(jù)進行重演,可以作為事故調(diào)查分析的依據(jù)。
三、數(shù)據(jù)流程
飛行數(shù)據(jù)、日志文件、監(jiān)視數(shù)據(jù)和記錄儀數(shù)據(jù)共同構(gòu)成了空管數(shù)據(jù)。當(dāng)前空管數(shù)據(jù)的運轉(zhuǎn)周期分為兩個階段,分別是數(shù)據(jù)記錄階段和數(shù)據(jù)查詢與回放階段,數(shù)據(jù)記錄階段是指數(shù)據(jù)生成到存儲的階段,在記錄階段中,主要進行的是對實時數(shù)據(jù)進行記錄。數(shù)據(jù)查詢與回放階段是為了進行查詢和排除故障,記錄的數(shù)據(jù)被重新取出,并對其進行分析統(tǒng)計,這一過程是通過數(shù)據(jù)來發(fā)現(xiàn)問題,進行總結(jié)增強空管的安全性。
空管系統(tǒng)數(shù)據(jù)不但會被送到記錄重演服務(wù)器中進行存儲,還會被送到雷達質(zhì)量監(jiān)視系統(tǒng)和飛行數(shù)據(jù)操作席中。物理存儲設(shè)備將對記錄的數(shù)據(jù)進行存儲,但是物理設(shè)備容量有限,通常只能對最近一段時間內(nèi)的數(shù)據(jù)進行存儲,到達存儲周期后,會將數(shù)據(jù)丟棄。在數(shù)據(jù)存儲第二階段中,物理存儲內(nèi)的數(shù)據(jù)會被取出,對整個空管的操作過程進行回放,要對某個時間段的處理情況進行分析,將會調(diào)去各個服務(wù)器中的日志文件、雷達監(jiān)控數(shù)據(jù)和飛行數(shù)據(jù)操作席中的數(shù)據(jù)來進行全面詳細的分析調(diào)查[2]。在實際的空管系統(tǒng)數(shù)據(jù)流程中可以發(fā)現(xiàn)空管控制系統(tǒng)對數(shù)據(jù)的處理能力較強,能夠?qū)展芄ぷ髌鸬骄薮蟮膸椭?。但是?shù)據(jù)流程中仍然存在一定的不足,在物理存儲中,所有的數(shù)據(jù)都存儲在同一個位置,這樣一來當(dāng)面對突發(fā)事故時,數(shù)據(jù)存儲會受到威脅。由于數(shù)據(jù)量龐大,特別是物理存儲的容量有限,數(shù)據(jù)清理頻繁,當(dāng)需要查看時間稍久一點的數(shù)據(jù)時可能已被清理掉了。另外數(shù)據(jù)產(chǎn)生速度又很快,不等系統(tǒng)清理存儲介質(zhì)就已經(jīng)存滿,這樣一來就使得新數(shù)據(jù)無法被保存。在數(shù)據(jù)存儲的過程中,容易發(fā)生重復(fù)存儲的情況,監(jiān)視和飛行數(shù)據(jù)存儲在不同的設(shè)備中,內(nèi)容上雖然略有不同,但是這樣一來還是占據(jù)了大量的重復(fù)空間。
四、系統(tǒng)的再完善
空管系統(tǒng)的再發(fā)展、再完善可以由云計算來實現(xiàn)。將云計算應(yīng)用在空管數(shù)據(jù)存儲管理和分析中,解決空管數(shù)據(jù)的問題,減輕空管技術(shù)部門的工作壓力。
應(yīng)用云計算后,空管數(shù)據(jù)將會直接被存儲到云平臺中,避免了數(shù)據(jù)重復(fù)存儲的問題,憑借云平臺強大的存儲能力,使服務(wù)器不必再進行存儲,而專心進行演算工作。由于云平臺巨大的容量,不必為數(shù)據(jù)清理問題而擔(dān)心。另外,數(shù)據(jù)回放階段可以直接從云計算中獲得數(shù)據(jù)的分析結(jié)果,在云平臺中將分析工作直接完成,脫離了物理存儲的步驟,保護了數(shù)據(jù)安全提高了工作效率[3]。在以前的系統(tǒng)中,雷達監(jiān)視系統(tǒng)只能進行簡單的分析統(tǒng)計,在云計算的支持下,技術(shù)人員可以進行更為復(fù)雜的分析統(tǒng)計,而且可以解決以往計算能力不足和面對大量數(shù)據(jù)訪問效率低的問題。云計算平臺可以提供數(shù)據(jù)備份恢復(fù)機制,空管人員就不必擔(dān)心這備份恢復(fù)問題,在遭遇突發(fā)事故或自然災(zāi)害,云平臺的數(shù)據(jù)不會受到任何影響,云計算能夠為空管數(shù)據(jù)管理解決問題,使空管系統(tǒng)更加安全可靠。
結(jié)論:空管數(shù)據(jù)流程管理存在不足,通過云計算的應(yīng)用可以對存在的問題進行解決,并推進空管數(shù)據(jù)流程系統(tǒng)進一步發(fā)展。隨著云計算的成熟,將會應(yīng)用在更多的空管工作的更多領(lǐng)域,將服務(wù)器中大量的雷達數(shù)據(jù)設(shè)立在云平臺中,提高自動化系統(tǒng)的計算能力。云計算的加入使得空管系統(tǒng)邁上一個新臺階,可靠性得到更好的保障。
參考文獻
1 融合媒體環(huán)境下云平臺的規(guī)劃問題研究
在建立相應(yīng)的融合媒體云平臺之前,應(yīng)率先明確如下問題,即:自建自有云平臺抑或租賃現(xiàn)成公用云平臺。在選取時,應(yīng)將自身實際和未來產(chǎn)業(yè)發(fā)展形式緊密結(jié)合,我們應(yīng)該明確的是,日后的媒體業(yè)務(wù)均將建立在云平臺基礎(chǔ)之上,但這只是一個結(jié)果,其實現(xiàn)需要經(jīng)歷較長時間,其發(fā)展程度主要取決于以下二個方面:第一,播放終端的IT、IP及智能化改進,之前的通過數(shù)字信號傳輸?shù)脑O(shè)備將被IT設(shè)備取代;第二,隨著IT產(chǎn)業(yè)的不斷完善,尤其是以光纖寬帶和計算能力為主的快速發(fā)展,導(dǎo)致電視視頻制播業(yè)務(wù)面臨高碼率、高存儲、高計算能力的需求。綜上,在很長時間里,融合媒體技術(shù)的發(fā)展將呈現(xiàn)多種云平臺并存的局面。即:
(1)媒體自建云平臺。該平臺主要指衛(wèi)視自行建立的基于虛擬云計算技術(shù)上的云系統(tǒng)。該平臺主要用于解決目前制播系統(tǒng)向云體系過渡的問題。
(2)媒體專用云平臺。該平臺主要是在硬件上租賃公有平臺上的各種設(shè)備及相應(yīng)服務(wù),選用云計算技術(shù)進行管理。媒體專用云平臺主要針對于互聯(lián)網(wǎng)業(yè)務(wù)。
(3)公有云平臺。所謂的公有云平臺主要是阿里云、亞馬遜等公司提供的公共計算資源服務(wù)。使用者可以自由地在公有云平臺上上傳和下載需要的各類資源,對于一些高級資源,公有云平臺提供付費服務(wù)。在融合媒體云平臺系統(tǒng)中,公有云平臺主要是滿足社會服務(wù)功能[1]。
2 融合媒體環(huán)境下云平臺的設(shè)計實現(xiàn)問題研究
在涉及到融合媒體云平臺的設(shè)計實現(xiàn)方面,其中ONAIR云平臺是融合媒體平臺的代表作之一。作為媒體性質(zhì)較強的云平臺,ONAIR將專業(yè)化音視頻處理技術(shù)同世界領(lǐng)先的云計算平臺以及遍布全國的CDN網(wǎng)絡(luò)二者深度融合,從而提高了云平臺對視頻端播放的控制作用,拓展了其內(nèi)容制作、內(nèi)容播控及網(wǎng)絡(luò)新媒體等功能。該平臺在設(shè)計時,嚴格遵循專業(yè)化導(dǎo)向,通過云平臺基礎(chǔ)服務(wù)提供商解決設(shè)施問題。
2.1 融合媒體環(huán)境下云平臺的基本架構(gòu)形式
通過分析ONAIR云平臺可知,IaaS平臺能夠支撐各種最基本的云計算服務(wù)和功能,比如前文所述的阿里云、亞馬遜云等公共平臺。中間分布的PaaS層可以細化為6層,具體為:中間層(OM)和搜索引擎層(OCSE),這兩層的主要目的為配合不同云技術(shù)服務(wù)商的不同接口,實現(xiàn)對不同服務(wù)商的統(tǒng)一封裝;接口層(ESB)該層的目的是為實現(xiàn)其他復(fù)雜流程提供基礎(chǔ),并實現(xiàn)與老舊系統(tǒng)的實時交互;基礎(chǔ)服務(wù)層(OBSP)基礎(chǔ)服務(wù)層主要為各種音視頻文件提供各類服務(wù),比如:后期編輯、播放等功能;運營服務(wù)層(OBSS)為整個云平臺的正常運營提供服務(wù),實現(xiàn)對服務(wù)的管理、收費及日志記錄等功能,確保平臺的盈利能力;位于拓撲圖最上一層的API層,將平臺所有的服務(wù)以API的方式封裝成接口給軟件開發(fā)人員及其他合作單位。對于融合媒體環(huán)境下的云平臺而言,其基本架構(gòu)ONAIR的SaaS服務(wù)功能主要是為了滿足融合媒體環(huán)境下的各類服務(wù),比如網(wǎng)絡(luò)電臺、微電臺、新聞云更新及自媒體云更新等。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,促使人類社會的認識發(fā)生了巨大的變革,日后的互聯(lián)網(wǎng)技術(shù)將朝著合作、開放的方向發(fā)展,因此,ONAIR的架構(gòu)設(shè)計就充分體現(xiàn)了這一觀點[2]。
2.2 IaaS服務(wù)的功能介紹
為了提高融合媒體環(huán)境下的云平臺ONAIR的基礎(chǔ)服務(wù)能力,日前,ONAIR系統(tǒng)已經(jīng)成功和阿里云服務(wù)實現(xiàn)對接。就對接的成果而言,所獲得的價值非常豐碩。從資源和硬件支持角度看,阿里云在國內(nèi)已經(jīng)初步建立了5個核心計算服務(wù)中心,計算服務(wù)器數(shù)量已經(jīng)突破20萬臺次,這種計算規(guī)模完全可以支持目前的融合媒體環(huán)境下的云平臺計算服務(wù)水平,并且還可以支持其一定程度的擴張。其中,華通云數(shù)據(jù)擁有骨干網(wǎng)及遍布全國各地的CDN節(jié)點,借助這一顯著優(yōu)勢,確保了ONAIR云平臺系統(tǒng)能夠?qū)⒏黝愐粢曨l實時發(fā)送到全國的任何一個角落。
2.3 PaaS服務(wù)的功能介紹
(1)云平臺轉(zhuǎn)碼服務(wù)功能:云平臺的轉(zhuǎn)碼一般選用較為常用的集群轉(zhuǎn)碼方式,集群轉(zhuǎn)碼能很好地解決大內(nèi)存的視頻轉(zhuǎn)碼效率。因為轉(zhuǎn)碼系統(tǒng)設(shè)置在云平臺上,其云計算方式可以無線放大,從而實現(xiàn)對視頻的高效轉(zhuǎn)碼。在具體的視頻轉(zhuǎn)碼操作中,高清視頻的轉(zhuǎn)碼能力可以達到10倍率左右。因此,對于操作用戶而言,僅需要給出輸入輸出的文件格式、碼率和需要達到的轉(zhuǎn)碼速度即可,其具體的轉(zhuǎn)碼操作均可由ONAIR云平臺系統(tǒng)自動完成[2]。(2)視頻快速編譯功能:選用BS架構(gòu)形式,BS架構(gòu)的界面部分采用低碼率視頻用于打點、瀏覽等交互操作。交互式操作完畢后,可將其上交到云平臺系統(tǒng),進而實現(xiàn)視頻源代碼的快速編譯,從而確保視頻傳輸和共享的清晰度。(3)視頻采集服務(wù):目前已有的SDI信號經(jīng)制定編碼器切換為IP形式后,可以將其實時傳輸至云平臺端,并及時保存,當(dāng)文件播放時,可將文件轉(zhuǎn)移到特定系統(tǒng)下或者直接下載至客戶端。(4)視頻播放功能:IP播放系統(tǒng)傳輸至云平臺后,可經(jīng)過視頻服務(wù)器實現(xiàn)與CDN的交匯對接,將播放內(nèi)容實時推送至客戶端口,其中包含PC端、手機移動端及互聯(lián)網(wǎng)電視等。其中視頻直播服務(wù)支持各種碼率和互聯(lián)網(wǎng)流協(xié)議。
2.4 SaaS服務(wù)功能
(1)網(wǎng)絡(luò)電視播放:網(wǎng)絡(luò)電視播放功能集成了視頻資源集中管理和服務(wù)(VMS)及相應(yīng)的網(wǎng)站發(fā)送模式。通過云傳輸形式,在發(fā)送前確定好需要溝通和交換的資源,便可快速在云端開通虛擬機,實現(xiàn)虛擬機與原有系統(tǒng)的對接。以前傳統(tǒng)的電臺建立形式需要提前購置必要的電子設(shè)備,而現(xiàn)在使用云端傳送的形式,只要每月上繳固定的費用,便可實現(xiàn)資源實時獲取,在計費方式上,不同于以往的以時間為單位的繳納形式,云端傳送采用按量計費,計費方式更加人性化。(2)云端媒體資源整合:以往的媒體資源整合方式主要采用本地數(shù)據(jù)流磁帶庫從而實現(xiàn)對海量數(shù)據(jù)和文件的存儲和管理,由于該設(shè)備很容易出現(xiàn)故障,因此o后續(xù)的正常使用和維修保養(yǎng)造成了巨大的困難?;诖鎯υO(shè)備生產(chǎn)技術(shù)的不斷發(fā)展和完善,受到市場供求關(guān)系的影響,存儲設(shè)備的價格逐步下滑,通過云端處理的方式實現(xiàn)對海量數(shù)據(jù)和文件的存儲,同之前方法相比,顯示出極高的性價比和穩(wěn)定性,數(shù)據(jù)傳送和訪問更加穩(wěn)定可靠[1]。(3)云端新聞更新:采用云端實時更新的方式布置新聞媒體系統(tǒng),提高了新聞的推送效率,可以快速將互聯(lián)網(wǎng)上上傳的新聞推送至指定新聞系統(tǒng)。新聞和相關(guān)文章被推送至云端上,新聞工作者可以直接取閱并修改,提高了以往新聞文稿的更新效率。(4)體育賽事的云端播放:之前的體育比賽前實況直播系統(tǒng)都集成在IBC中心,節(jié)目制作者必須在比賽實地才能實現(xiàn)對比賽的實況轉(zhuǎn)播。而云端賽事直播系統(tǒng),是將IBC系統(tǒng)集成在云端,經(jīng)過云平臺將視頻資料傳輸至相關(guān)媒體機構(gòu)做進一步的編輯并第一時間,這樣一來,極大地提高了賽事的制作和播放效率,壓縮了工作時間,降低了相關(guān)成本,方便了節(jié)目部門的使用。比如在2014年的青奧會中,IBC系統(tǒng)建立了12條子系統(tǒng),借助50M寬帶,實現(xiàn)了在短時間內(nèi)將實況節(jié)目傳輸至云平臺供客戶端實時收看[2]。
3 結(jié)束語
綜上所示,云計算相關(guān)技術(shù)是保證融合媒體下云平臺建立的基礎(chǔ),隨著互聯(lián)網(wǎng)及云計算技術(shù)的不斷完善,云計算及配套的云平臺系統(tǒng)必將成為新聞媒體中的生力軍,必將引領(lǐng)新一代的技術(shù)潮流。
摘 要 鑒于傳統(tǒng)構(gòu)架的協(xié)同決策(CDM)系統(tǒng)不能適應(yīng)民航事業(yè)快速發(fā)展,提出建立基于云計算平臺的CDM系統(tǒng)。
首先概述了云計算的基本概念和主要特征,并總結(jié)了云計算的關(guān)鍵技術(shù)和基本架構(gòu)。之后,研究了對云計算拓撲設(shè)計算法,在樹形拓撲結(jié)構(gòu)的基礎(chǔ)上對三種算法進行了比較和選擇,確定方案為merge-MST。最后,完成云計算平臺的初步總體設(shè)計,并搭建仿真測試平臺,測試結(jié)果證明所設(shè)計的云計算CDM系統(tǒng)具有較好的性能。
關(guān)鍵詞 民航,協(xié)同決策系統(tǒng),云計算
中圖分類號:TP392 文獻標(biāo)識碼:A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金項目:上海市2013 年“ 科技創(chuàng)新行動計劃”信息技術(shù)領(lǐng)域項目(13511504700) 。
作者簡介:葉云斐,1984 年生,本科,助理工程師,主要從事及研究領(lǐng)域:航空計算機信息管理,Email :leaves616@126.com ;
陳曉建,研究生,高級工程師;
陳偉青,本科,工程師;
谷葉,研究生,助理工程師。
0 引言
近年來我國民航事業(yè)快速發(fā)展,航班延誤現(xiàn)象愈發(fā)嚴重。中國民用航空局的《2013年民航行業(yè)發(fā)展統(tǒng)計公報》顯示: 2013年不正常航班占比27.66%,旅客投訴率較2012年增長13.66%。華東區(qū)域經(jīng)濟發(fā)展迅速,人口密度大,以全國1/9的空域面積承載著1/3的航班流量,問題尤為顯著。以發(fā)展的眼光看問題,有必要依靠各方可靠、全面、實時的信息,采用高效合理的航班排序、放飛算法,充分利用空域時隙資源,協(xié)同決策(CDM)的概念應(yīng)運而生。
民航華東空管局CDM系統(tǒng)于2012年12月上線運行,系統(tǒng)基礎(chǔ)數(shù)據(jù)多,計算量大,對軟硬件資源要求高。以上海虹橋、浦東兩個機場為例,每天就有5 000多架航班起落,涉及空域航路點300~400個,各航路點又分3~4個高度層;在此基礎(chǔ)上,CDM系統(tǒng)必須結(jié)合實時的流量控制、氣象預(yù)報等信息反復(fù)計算調(diào)整,且任何時刻的航班重新規(guī)劃都會影響到一整條航路上與之相關(guān)的所有航班,使計算量成倍增加。隨著航空流量的逐年增加,CDM系統(tǒng)計算量也以指數(shù)方式快速增長。
現(xiàn)有系統(tǒng)采用傳統(tǒng)架構(gòu)設(shè)計,不能滿足前瞻性設(shè)計要求。理想的CDM系統(tǒng)架構(gòu)應(yīng)具有虛擬化、易擴展、按需部署、高靈活性、高可靠性、高性價比的特點。本文提出一種基于云計算的CDM系統(tǒng)構(gòu)架,利用自動拓撲設(shè)計算法(merge-MST)設(shè)計網(wǎng)絡(luò)拓撲,采用Hadoop開源管理軟件實現(xiàn)任務(wù)調(diào)度,最后通過仿真手段驗證了該方案的可行性和適用性。
1 現(xiàn)有民航CDM系統(tǒng)的不足
協(xié)同決策是一種技術(shù)手段,更是一種基于資源共性和信息交互的多主體(空管、機場、航空公司等)聯(lián)合協(xié)作運行模式。華東空管局CDM系統(tǒng)從各個參與單位引接實時航班數(shù)據(jù),建立塔臺電子進程單系統(tǒng)、A-CDM系統(tǒng)、飛行計劃處理系統(tǒng)等,并形成三大客戶端——流量管理客戶端、塔臺客戶端和公司機場客戶端,系統(tǒng)構(gòu)成如圖1所示。
`該系統(tǒng)基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,以塔臺電子進程單為例,架構(gòu)示意圖如圖2所示。盡管其成熟度高、可靠性好,但隨著數(shù)據(jù)量逐漸增大,數(shù)據(jù)范圍逐漸拓寬,其存儲和查詢效率已不能滿足需求。
2 云計算平臺及其架構(gòu)設(shè)計
2.1 定義和特點
云計算是一種新的計算模式,由分布式計算、并行計算和網(wǎng)格計算的發(fā)展而來。其后臺大量采用虛擬機,并通過互聯(lián)網(wǎng)形成資源池。這些虛擬資源可以根據(jù)不同的負載動態(tài)重新配置,快速并以最小的管理代價提供服務(wù)[1]。從用戶角度看,云計算具有可靠的存儲技術(shù)和嚴格的權(quán)限策略,可為客戶提供安全可靠的數(shù)據(jù)存儲中心;對用戶端的設(shè)備要求低,支持手機、平板電腦等無線通信設(shè)備;可實現(xiàn)不同設(shè)備間的數(shù)據(jù)、應(yīng)用共享。
從硬件的角度看,云計算高度靈活,可按需投入或釋放硬件資源,從而提高整體利用率。2.2 類型
云計算按其服務(wù)層次分為三類[2],如圖3所示:
1)基礎(chǔ)設(shè)施即服務(wù)(IaaS,infrastructure as a service)
在虛擬化技術(shù)的支持下,利用廉價計算機實現(xiàn)大規(guī)模集群運算能力,同時按需配置,為用戶提供個性化的基礎(chǔ)設(shè)施服務(wù)。此類型的典型代表有亞馬遜云計算AWS(Amazon Web Services)、IBM藍云等。
2) 平臺即服務(wù)(PaaS,platform as a service)
提供的服務(wù)是開發(fā)環(huán)境,允許用戶使用中間商提供的設(shè)備開發(fā)自己的程序。此類型的典型代表有GoogleApp Engine(GAE)等。
3) 軟件即服務(wù)(SaaS,software as a service)
通過Internet直接提供運行在云計算設(shè)備上的應(yīng)用程序。用戶無需考慮基礎(chǔ)設(shè)施及軟件授權(quán)等內(nèi)容。此類型的典型代表有Salesforce公司的CRM服務(wù)、ZohoOffi ce、Webex等。
2.3 關(guān)鍵技術(shù)
云計算作為一種集群計算和服務(wù)模式,運用了多種計算機技術(shù),以編程模型、數(shù)據(jù)存儲管理、虛擬化最為關(guān)鍵。
1) 編程模型
Google提出的Map-Reduce[3]是一種流行的云計算編程模式,Map(映射)程序?qū)?shù)據(jù)分割成不相關(guān)的數(shù)據(jù)塊,Reduce(化簡)程序則將將數(shù)據(jù)處理的中間結(jié)果進行歸并,如圖4所示。Map-Reduce可將海量異構(gòu)數(shù)據(jù)的分析處理工作分解成任意粒度的子任務(wù),并允許在多個計算節(jié)點之間進行靈活的數(shù)據(jù)調(diào)度,此外,程序員無需關(guān)心數(shù)據(jù)塊的分配和調(diào)度,該部分工作由平臺自動完成。
2) 數(shù)據(jù)存儲管理
云計算采用分布式的方法存儲和管理數(shù)據(jù),并利用冗余存儲保證數(shù)據(jù)的可靠性,常用技術(shù)有Google的GFS及Hadoop團隊的HDFS[4],其中后者是前者的開源實現(xiàn)。
GFS系統(tǒng)架構(gòu)如圖5所示,整個系統(tǒng)節(jié)點分三類:Client(客戶端)是GFS提供給應(yīng)用程序的訪問接口、Master(主服務(wù)器)是管理節(jié)點, Chunk Server(數(shù)據(jù)塊服務(wù)器)則負責(zé)具體工作。Chunk Server可有多個,每個Chunk對應(yīng)一個索引號(Index)。作為對比,HDFS體系結(jié)構(gòu)如圖6所示。
云計算的數(shù)據(jù)管理需滿足大規(guī)模海量數(shù)據(jù)的計算和分析,大多采用列存儲的數(shù)據(jù)管理模式?,F(xiàn)有技術(shù)中最主流的是Google的BigTable,Google對BigTable給出了如下定義:BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的分布式存儲系統(tǒng),這些數(shù)據(jù)可以擴展到非常大的規(guī)模。此外,Hadoop團隊也開發(fā)了類似BigTable的開源產(chǎn)品HBase和Hive。
3) 虛擬化技術(shù)
虛擬化技術(shù)是云計算區(qū)別于一般并行計算的根本性特點,其實質(zhì)是實現(xiàn)軟件應(yīng)用與底層硬件相隔離,把物理資源變成邏輯可管理資源。目前云計算中虛擬化技術(shù)主要包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。根據(jù)對象又可分為存儲虛擬化、計算虛擬化、應(yīng)用級虛擬化等等。
將虛擬化的技術(shù)應(yīng)用到云計算平臺,使得云計算具有靈活的進程遷移方式,更有效的使用主機資源,在部署上也更加靈活。
2.4 架構(gòu)設(shè)計
云計算體系結(jié)構(gòu)的特點包括:設(shè)備眾多、規(guī)模大、采用虛擬機技術(shù)、任意地點、多種設(shè)備匯集,并可以定制服務(wù)質(zhì)量等等。文獻[5]提出了一種面向市場應(yīng)用的云計算體系結(jié)構(gòu),如圖7所示:
1) 用戶:用戶可以在任意地點提交服務(wù)請求;
2) SLA資源分配器:充當(dāng)云后端和用戶之間的接口,包括服務(wù)請求檢測和接納控制模塊、計價模塊、會計模塊、VM監(jiān)視器模塊、分發(fā)器模塊和服務(wù)請求監(jiān)視器模塊;
3) 虛擬機(VMs):為實現(xiàn)在一臺物理機上的多個服務(wù)提供最大彈性的資源分配;
4) 物理設(shè)備:包括服務(wù)器、存儲設(shè)備及路由器等。
基于云計算平臺的華東CDM系統(tǒng)還處于初步研究階段,采用本架構(gòu)進行初步設(shè)計及仿真驗證。
3 云計算網(wǎng)絡(luò)拓撲設(shè)計
云計算系統(tǒng)后端的網(wǎng)絡(luò)由大量服務(wù)器組成,分布廣泛,復(fù)雜度高。要保證數(shù)據(jù)的暢通傳輸,需要設(shè)計一個合理高效的網(wǎng)絡(luò)拓撲結(jié)構(gòu)。
首先,為保證管理擴展和維護的方便,將云計算系統(tǒng)分成多個子網(wǎng),各子網(wǎng)采用樹形拓撲結(jié)構(gòu),如圖8所示。在此基礎(chǔ)上,把每個子網(wǎng)看成一個節(jié)點,各個節(jié)點具備流量、交換能力、地理位置等屬性,將云計算網(wǎng)絡(luò)拓撲抽象成圖論數(shù)學(xué)模型。如何連接各個節(jié)點,才能即滿足冗余度要求,又盡可能降低網(wǎng)絡(luò)架設(shè)花銷已被證明為NP-hard[6][7],故只能求解近似最優(yōu)解。此類問題的解法有兩種,一種是在限定網(wǎng)絡(luò)花銷的情況下最大化網(wǎng)絡(luò)的抗毀能力[8],另一種是在保證網(wǎng)絡(luò)一定抗毀能力的條件下盡可能減小花銷[7],本文按照后者進行設(shè)計。
在圖論領(lǐng)域,該問題可簡化為求解特定連通度k時最小生成子圖的問題,本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發(fā)式算法TEA[7]。通過理論推導(dǎo),三種算法的時間復(fù)雜度如表1所示,其中TMST=O(m?logm)或O(n2),m代表圖邊數(shù),n代表點數(shù)。
本文
參考文獻[11]的仿真手段對三種算法進行比較,考慮7、10、15、25個節(jié)點的場景,得到平均邊數(shù)和平均花銷的比較示意圖如圖9、10所示。
通過比較可看出,在節(jié)點數(shù)目較少時TEA算法表現(xiàn)最佳,但隨著節(jié)點數(shù)目增多性能迅速下降;在節(jié)點數(shù)多于20個時,則是merge-MST算法更優(yōu)。
考慮到CDM系統(tǒng)規(guī)模龐大,僅華東區(qū)域就需要計算機點80~100個,故選取merge-MST進行網(wǎng)絡(luò)架構(gòu)的設(shè)計。
4 總方案設(shè)計
基于云計算架構(gòu)的CDM系統(tǒng),依托中心節(jié)點、區(qū)域節(jié)點和業(yè)務(wù)集中節(jié)點,整合分布的物理資源,形成統(tǒng)一的可調(diào)配的邏輯資源??偡桨附Y(jié)構(gòu)如圖11所示。包括基礎(chǔ)設(shè)施、虛擬資源層、信息共享云平臺層,應(yīng)用層以及貫穿始終的安全層和管理層。
1) 基礎(chǔ)設(shè)施層:既包括支持民航CDM系統(tǒng)運行所必需的基礎(chǔ)設(shè)施,也包括行業(yè)內(nèi)可整合入CDM系統(tǒng)的其他設(shè)施。
2) 虛擬資源層:采用云計算技術(shù),整合分布的硬件資源,形成資源池,靈活調(diào)配提供服務(wù)。
3) 云平臺層:涵蓋管理底層資源、支撐上層應(yīng)用的各個軟件和模塊,包括平臺管理、負載均衡、中間件、業(yè)務(wù)流程管理軟件等等。
4) 應(yīng)用層:將CDM系統(tǒng)功能進行最后一步封裝后提供給用戶。
5) 安全層:負責(zé)整個CDM系統(tǒng)的安全。
6) 管理層:管理整個CDM系統(tǒng)運行配置,包括資源管理、網(wǎng)絡(luò)監(jiān)控、部署管理、內(nèi)容管理以及用戶管理等,監(jiān)控硬件、軟件等多個層次,提高整體運行效率。
5 系統(tǒng)測試與應(yīng)用
為驗證所設(shè)計方案的可行性,并測試方案性能,本文搭建了測試環(huán)境,針對CDM系統(tǒng)多項業(yè)務(wù)進行了測試。
CDM系統(tǒng)主要業(yè)務(wù)涵蓋協(xié)同決策系統(tǒng)、流量管理系統(tǒng)、統(tǒng)一飛行計劃處理系統(tǒng)和塔臺電子進程單系統(tǒng)。其中協(xié)同決策系統(tǒng)為頂層系統(tǒng);流量管理系統(tǒng)幫助最大限度利用空中交通服務(wù)的容量;統(tǒng)一飛行計劃處理系統(tǒng)負責(zé)接收、處理和飛行計劃;塔臺電子進程單系統(tǒng)則協(xié)助塔臺管制員管制飛機的起降。
5.1 硬件環(huán)境
云計算集群設(shè)有3個master節(jié)點,18個slave節(jié)點,各節(jié)點均是基于X86架構(gòu)的PC機。PC機配置如表2所示。
所有測試主機均連接在千兆網(wǎng)絡(luò)中,網(wǎng)絡(luò)環(huán)境中不存在其他設(shè)備,干擾因素可忽略不計。
5.2 軟件環(huán)境
測試采用Hadoop團隊開發(fā)的開源軟件,版本如表3所示。
5.3 測試結(jié)果
通過編寫程序,在測試環(huán)境中進行電報處理、雷達軌跡處理、氣象與情報處理、橋位信息處理、航班信息、數(shù)據(jù)查詢以及協(xié)同航班處理等壓力測試,平均日最大處理條目數(shù)量如表4所示。
測試結(jié)果表明:云計算平臺計算能力強,能夠彌補現(xiàn)有民航CDM系統(tǒng)的不足,可滿足華東地區(qū)CDM系統(tǒng)前瞻性設(shè)計要求。
6 結(jié)束語
本文針對華東地區(qū)巨大的航班吞吐量,提出了一套基于云計算平臺的CDM系統(tǒng)設(shè)計方案。通過測試驗證,該系統(tǒng)架構(gòu)具備良好的計算能力和業(yè)務(wù)處理能力,使用靈活,更滿足系統(tǒng)安全可靠、成本低、易拓展的需求。
基于云計算的華東空管CDM系統(tǒng)是現(xiàn)有CDM系統(tǒng)的發(fā)展方向,將在2015年開始詳細設(shè)計。
參考文獻
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自適應(yīng)分布式系統(tǒng)實驗室, 姚宏宇譯. 云端之上——Berkeley對云計算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
中圖分類號:TP311 文獻標(biāo)識碼:A文章編號:1009-3044(2017)02-0232-02
Design and Implementation of Energy Saving Potential Analysis System for Waste Heat Boiler
MA Yao, DAI Yi-ru, WANG Jian
(CIMS Research Center,Tongji University,Shanghai 201804,China)
Abstract: To improve the energy saving potential of waste heat boiler, this paper puts forward the application of ontology modeling technology to the analysis of energy saving potential, and develops the energy saving potential analysis system based on B/S using . In this paper, the application of the system in a factory waste heat boiler is analyzed, which provides the basis for decision-making.
Key words: energy saving potential; ontology modeling technology;
近年砉家能源緊缺,政府大力倡導(dǎo)企業(yè)開展生產(chǎn)過程的節(jié)能減排工作,并對高能耗企業(yè)節(jié)能指標(biāo)提出了較高的要求。隨著余熱回收技術(shù)快速發(fā)展,工業(yè)的余熱回收項目成本大幅度降低,同時余熱回收效率不斷提高,為企業(yè)余熱回收工作提供了良好的條件。在這樣的形勢和技術(shù)條件下,許多企業(yè)開始針對余熱回收開展研究工作,不但能完成企業(yè)的節(jié)能減排任務(wù),同時也能為企業(yè)本身創(chuàng)造可觀的經(jīng)濟效益。
本文通過分析企業(yè)采集的余熱鍋爐海量工況運行數(shù)據(jù),利用本體建模技術(shù),發(fā)掘數(shù)據(jù)之間的內(nèi)在聯(lián)系,并構(gòu)建工藝參數(shù)模型,進而分析并優(yōu)化余熱鍋爐的工況運行參數(shù),為節(jié)能改造提供決策依據(jù)。
1 系統(tǒng)設(shè)計
1.1 系統(tǒng)基本架構(gòu)
系統(tǒng)設(shè)計遵守高內(nèi)聚低耦合的設(shè)計模式,把系統(tǒng)分為數(shù)據(jù)層、業(yè)務(wù)層和表示層,如圖1所示,具體描述如下:
1)數(shù)據(jù)層。主要實現(xiàn)余熱鍋爐數(shù)據(jù)的快速接入、一致性存儲和數(shù)據(jù)預(yù)處理,數(shù)據(jù)包括靜態(tài)的余熱鍋爐信息描述和動態(tài)的余熱鍋爐運行過程中產(chǎn)生海量工況運行數(shù)據(jù),為業(yè)務(wù)層提供基礎(chǔ)數(shù)據(jù);
2)業(yè)務(wù)層。主要根據(jù)需求實現(xiàn)系統(tǒng)的業(yè)務(wù)功能,包括本體建模、工藝模型構(gòu)建、工藝模型管理、工藝參數(shù)配置和工藝優(yōu)化;
3)表示層。主要實現(xiàn)系統(tǒng)與用戶的交互。
1.2 系統(tǒng)業(yè)務(wù)流程
根據(jù)系統(tǒng)的基本架構(gòu)對系統(tǒng)業(yè)務(wù)流程進行設(shè)計,主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、本體模型構(gòu)建、本體查詢、工藝參數(shù)模型構(gòu)建、工藝優(yōu)化,如圖2所示。
首先,對余熱鍋爐采集數(shù)據(jù)進行預(yù)處理,采集數(shù)據(jù)主要分為動態(tài)數(shù)據(jù)和靜態(tài)數(shù)據(jù)。動態(tài)數(shù)據(jù)是指設(shè)備運行過程中產(chǎn)生的海量工況數(shù)據(jù),比如給水流量、蒸汽流量等;靜態(tài)數(shù)據(jù)是指設(shè)備本身具有屬性數(shù)據(jù),比如設(shè)備型號、設(shè)備功率的等。用戶對這些基本數(shù)據(jù)進行預(yù)處理,主要是對數(shù)據(jù)進行清洗和轉(zhuǎn)換,去除噪聲和無關(guān)數(shù)據(jù),把采集數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)分析的形式。
其次,根據(jù)對余熱鍋爐的研究將余熱鍋爐本體模型分為四大類,分別為余熱鍋爐結(jié)構(gòu)信息、余熱鍋爐基本參數(shù)、余熱鍋爐系統(tǒng)信息、余熱鍋爐產(chǎn)品信息。其中,余熱鍋爐結(jié)構(gòu)信息和余熱鍋爐基本參數(shù)包含余熱鍋爐設(shè)備描述相關(guān)信息,余熱鍋爐系統(tǒng)信息和余熱鍋爐產(chǎn)品信息包含設(shè)備運行過程中采集數(shù)據(jù)的存儲信息。本體模型構(gòu)建完成后即可進行本體查詢,查詢得到動態(tài)數(shù)據(jù)顯示存儲位置,靜態(tài)數(shù)據(jù)顯示實例數(shù)據(jù)。
然后,從本體模型中提取相關(guān)數(shù)據(jù)構(gòu)建工藝參數(shù)模型,本文以分析主蒸汽流量為例,將主蒸汽流量作為模型輸出量,主蒸汽溫度、主蒸汽壓力、汽包水位、給水流量、給水溫度、入口煙氣溫度和出口煙氣溫度為輸入量,選擇神經(jīng)網(wǎng)絡(luò)構(gòu)建工藝參數(shù)模型。
最后,為模型設(shè)置約束條件,以得到最大主蒸汽流量為目標(biāo)(回收蒸汽1萬t,相當(dāng)于節(jié)約標(biāo)煤0.1032萬t;減排CO2 0.2579萬t),選擇遺傳算法對工藝參數(shù)模型進行尋優(yōu),得到最優(yōu)工況參數(shù)。分析余熱鍋爐節(jié)能率具體公式如下:
T=0.103[×]S
[η=Tj-TiTi×100%]
其中,[T]為年節(jié)約噸標(biāo)煤,[S]為年產(chǎn)蒸汽量,[η]為節(jié)能率,[Ti]為優(yōu)化前的年節(jié)約噸標(biāo)煤,[Tj]為優(yōu)化后的年節(jié)約噸標(biāo)煤。
2系統(tǒng)功能設(shè)計與實現(xiàn)
面向余熱鍋爐的大數(shù)據(jù)節(jié)能潛力分析系統(tǒng)由五個模塊組成,具體功能描述如下:
1)本體模型。該模塊實現(xiàn)本體模型導(dǎo)入與查看,如圖3所示,其中本體模型涵蓋余熱鍋爐的結(jié)構(gòu)、參數(shù)、產(chǎn)品等類的各項屬性,本體模型與數(shù)據(jù)庫數(shù)據(jù)實現(xiàn)映射,用戶可以根據(jù)需求選擇本體查看實例數(shù)據(jù),為節(jié)能潛力分析提供數(shù)據(jù)基礎(chǔ)。
2)工藝模型構(gòu)建。該模型為用戶構(gòu)建模型提供接口,用戶可按需求選擇工藝模型的輸入量、輸出量和算法。本文以余熱鍋爐主蒸汽流量作為輸出量為例,根據(jù)本體模型獲得影響主蒸汽流量的工況參數(shù)作為輸入量,選擇神經(jīng)網(wǎng)絡(luò)模型算法,構(gòu)建工藝參數(shù)模型。
3)工藝模型管理。該模塊實現(xiàn)對構(gòu)建出的工藝參數(shù)模型的查看與刪除,用戶可查看不同模型的具體信息。
4)工藝參數(shù)配置。該模塊實現(xiàn)對工況參數(shù)閾值的設(shè)定,為工藝優(yōu)化模塊尋找最優(yōu)主蒸汽流量設(shè)定約束條件。
5)工藝優(yōu)化。該模塊通過遺傳算法實現(xiàn)工藝優(yōu)化,本文以發(fā)掘余熱鍋爐節(jié)能潛力為目的,提高鍋爐主蒸汽流量,由遺傳算法可獲得主蒸汽流量最大時的工況參數(shù),并為不同模型優(yōu)化得到結(jié)果提供對比功能,為企業(yè)優(yōu)化工況參數(shù)提供科學(xué)的支撐。由圖4得工藝參數(shù)優(yōu)化后余熱鍋爐年產(chǎn)蒸汽量可升到5.47萬噸,相當(dāng)于節(jié)約標(biāo)煤0.56萬噸,節(jié)能率提升了9.8%,可以大大提升企業(yè)效益。
3 結(jié)束語
本文通過研究余熱爐,提出將本體建模技術(shù)應(yīng)用到余熱鍋爐節(jié)能潛力分析中,并完成基本架構(gòu)設(shè)計,業(yè)務(wù)流程設(shè)計和系統(tǒng)功能設(shè)計與實現(xiàn)。通過分析余熱鍋爐結(jié)構(gòu)信息、余熱鍋爐基本參數(shù)、余熱鍋爐系統(tǒng)信息、余熱鍋爐產(chǎn)品信息,構(gòu)建余熱鍋爐本體模型,實現(xiàn)動態(tài)數(shù)據(jù)和靜態(tài)數(shù)據(jù)的本體查詢,并以分析主蒸汽流量為例,構(gòu)建工藝參數(shù)模型,利用遺傳算法獲得最優(yōu)工況參數(shù),大大提高余熱鍋爐節(jié)能潛力,為企業(yè)節(jié)能減排工作提供決策依據(jù)。
參考文獻:
[1] 伍英,周茂軍,馬洛文, 等. 寶鋼燒結(jié)余熱鍋爐生產(chǎn)實踐[J]. 燒結(jié)球團,2011(3):44-46,53.
[2] Rules-based object-relational databases ontology construction[J]. Journal of Systems Engineering and Electronics,2009(1):211-215.
中圖分類號:TP311.52 文獻標(biāo)識碼:A 文章編號:1674-120X(2016)35-0113-02 收稿日期:2016-10-13
作者簡介:朱 林(1981―),男,講師,碩士,研究方向:軟件工程、電子商務(wù)。
一、研究背景
現(xiàn)階段,各大高校的教育資源共享方式比較單一,效率也較低下,教育資源共享的方式通常有FTP共享、教師下發(fā)資料、通過打印實現(xiàn)共享或通過 U 盤進行傳輸,隨著時代的發(fā)展,這些資源共享的方式存在的弊端越來越明顯。
二、基于云計算的教育資源共享平臺設(shè)計
使用云計算構(gòu)建教育資源共享平臺可以解決以上弊端,該平臺主要實現(xiàn)對教育資源的高效共享和安全存儲。用戶包括管理員、教師和學(xué)生,用戶都可以上傳和下載教育資源,管理員主要可以添加教師和學(xué)生信息,并對上傳的資源進行審核通過;教師可以錄入試題,批閱試卷;學(xué)生則可以在線測試,并在教師批閱試卷后進行查看。主要從以下幾個方面考慮平臺的設(shè)計:
1.云平臺系統(tǒng)架構(gòu)的設(shè)計
系統(tǒng)可以采用Apache VCL云平臺進行基本架構(gòu)的設(shè)計,軟件架構(gòu)使用目前軟件開發(fā)常見的N層結(jié)構(gòu)模型:表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層以及數(shù)據(jù)存儲層。其中,表示層與用戶息息相關(guān),用于顯示平臺輸出的數(shù)據(jù)以及系統(tǒng)接收用戶輸入的信息,為用戶提供一個可以進行人機交互操作的平臺;業(yè)務(wù)邏輯層是整個系統(tǒng)中的核心部分,主要功能在于系統(tǒng)業(yè)務(wù)規(guī)則的制訂、業(yè)務(wù)流程的實現(xiàn)等與業(yè)務(wù)需求密切相關(guān)的系統(tǒng)功能,它應(yīng)對的是系統(tǒng)的領(lǐng)域邏輯,其處于數(shù)據(jù)訪問層與表示層之間,以弱耦合的結(jié)構(gòu)在數(shù)據(jù)交換中起著橋接作用,在整體架構(gòu)中的關(guān)鍵性不可忽視;數(shù)據(jù)訪問層和數(shù)據(jù)存儲層的功能比較純粹,前者主要負責(zé)對數(shù)據(jù)庫的訪問,后者主要功能是進行文件的存取。
2.數(shù)據(jù)庫的設(shè)計
任何一個軟件系統(tǒng)都離不開數(shù)據(jù)庫的支持,云平臺也不例外。系統(tǒng)在當(dāng)前的狀況下運行,對于數(shù)據(jù)的儲存,數(shù)據(jù)庫基本上可以滿足用戶的需求,但考慮到業(yè)務(wù)系統(tǒng)的不斷更新以及數(shù)據(jù)量的快速增加,平臺在未來一段時間里在性能和易擴展性上的要求也會與日俱增。為此,根據(jù)云教育資源共享平臺的現(xiàn)狀和未來的發(fā)展,需要采用合理的、適應(yīng)發(fā)展的存儲架構(gòu),對數(shù)據(jù)存儲與處理、擴展性、訪問接口、調(diào)度策略等做相應(yīng)的優(yōu)化與改善,從而加強對各種數(shù)據(jù)資源的存儲維護等行為操作。
3.角色及流程設(shè)計
在基于云計算的教育資源共享平臺中,主要有三種用戶角色,分別是系統(tǒng)管理員用戶、教師用戶以及學(xué)生用戶。
(1)系統(tǒng)管理員是該系統(tǒng)的主要角色,在該系統(tǒng)中,系統(tǒng)管理員需要管理教師以及學(xué)生用戶,可以創(chuàng)建教師與學(xué)生用戶,還可以上傳下載教育資源,對教育資源進行審核或刪除,并添加課程信息,錄入題庫,添加題目。
(2)教師業(yè)務(wù)流程。
在該系統(tǒng)中,教師用戶由管理員用戶創(chuàng)建,需要從管理員處獲取登錄賬號及密碼,教師可以上傳和下載教育資源,可以添加課程信息,錄入題庫,添加題目,新增試卷,錄入試卷,并且在學(xué)生測試后,對學(xué)生的測試進行閱卷評分,注銷退出。
(3)學(xué)生業(yè)務(wù)流程。
在該系統(tǒng)中,學(xué)生是主要使用者,學(xué)生用戶也由系統(tǒng)管理員創(chuàng)建,因此也需要從管理員處獲取登錄賬號和密碼,登錄后,學(xué)生可以上傳和下載教育資源,并且在線測試課程,測試后提交試卷,由教師閱卷評分后公布成績,學(xué)生可以查看課程測試的成績。
三、云計算服務(wù)類型及開發(fā)框架選擇
1.云計算服務(wù)類型
隨著云計算技術(shù)越來越成熟,云計算的服務(wù)領(lǐng)域也越來越廣泛,在廣大領(lǐng)域中云計算的服務(wù)類型主要有以下三種:
(1)基礎(chǔ)設(shè)施即服務(wù)。
消費者從一些完善的基礎(chǔ)設(shè)施中獲得相應(yīng)的服務(wù),其主要面向硬件需求的客戶,用戶只需要提供需要計算的數(shù)據(jù)。
(2)平臺即服務(wù)。
將云平臺作為服務(wù)模式,本系統(tǒng)的云計算即是云平臺服務(wù),需要用戶自己寫服務(wù)器,然后將所寫的服務(wù)器部署到云平臺上即可。用戶也可以自己寫云平臺,在這里為了方便,直接將服務(wù)器部署到開源的云平臺上。而本系統(tǒng)所選擇的云平臺為新浪云。
(3)軟件即服務(wù)。
軟件即服務(wù),從字面意思理解,即通過軟件的形式提供服務(wù),在這種云計算服務(wù)中,用戶并不需要購買軟件,只需要向擁有軟件的商家租用即可,通過租用的基于Web的軟件管理經(jīng)營的活動。
2.主流云平臺
當(dāng)前主流的云平臺主要有阿里云、新浪云等。其中可以使用新浪提供的云平臺開發(fā)本系統(tǒng)。在新浪云注冊賬號,然后進入新浪云服務(wù),創(chuàng)建應(yīng)用,在代碼管理中上傳自己的項目war包,下載新浪云的架包,然后將代碼的war包上傳到新浪云,并啟動新浪云上的MySQL服務(wù),配置相應(yīng)的JDBC連接。
3.開發(fā)框架
本系統(tǒng)可以選擇SSH框架進行開發(fā),SSH框架由Spring,Struts,HibernateM成,其中Spring可以說是一個管理層,用來管理Struts和Hibernate之間的工作,Spring框架是一個輕量級的框架,主要有IOC和AOP兩大機制。Struts是一個基于MVC模型的整合框架,即Model層、View層、Control層。因此Struts是用來做應(yīng)用層,負責(zé)調(diào)用service層。Hibernate是系統(tǒng)的持久層,也可以說是數(shù)據(jù)訪問層,它對JDBC調(diào)用數(shù)據(jù)庫作了輕量級的封裝,省去了大量的SQL語句。SSH框架是當(dāng)前比較主流的Java Web框架。
四、系統(tǒng)構(gòu)建關(guān)鍵點分析
(1)數(shù)據(jù)庫設(shè)計是系統(tǒng)構(gòu)建的重要組成部分。教育資源共享平臺從總體上來說是屬于教學(xué)管理類系統(tǒng)平臺,在設(shè)計時,可以使用SQL Server數(shù)據(jù)庫系統(tǒng)進行數(shù)據(jù)的存儲管理。先要對系統(tǒng)的各個功能要有明確的定義,在此基礎(chǔ)上設(shè)計出功能表,創(chuàng)建數(shù)據(jù)庫。另外,必須明確表的有效屬性,在建表初期,難免會有無用的屬性,需經(jīng)過反復(fù)的測試,只保留必要的屬性,減少數(shù)據(jù)庫的規(guī)模。
(2)對于需求的理解程度是系統(tǒng)的重點,需要分析平臺設(shè)計背后所反映出來的供求關(guān)系,對資源的廣度和效度進行深度挖掘,在基本要求和功能之上,創(chuàng)造盡可能多的創(chuàng)新點,并努力提高平臺的安全性和效率。