摘 要: 為解決行業(yè)資源共享" title="資源共享">資源共享問題,提出了行業(yè)資源共享的網(wǎng)格系統(tǒng)的體系結構以及資源管理模式。實現(xiàn)了行業(yè)資源共享并闡述了行業(yè)資源管理系統(tǒng)的應用流程及其特點。
關鍵詞: 網(wǎng)格技術" title="網(wǎng)格技術">網(wǎng)格技術 資源共享 網(wǎng)格體系結構 資源管理
隨著更多的計算機技術滲透到因特網(wǎng),網(wǎng)格繼Internet和Web之后在20世紀90年代末又成為研究熱點。
網(wǎng)格是構筑在因特網(wǎng)上的一組新興技術,它將高速互聯(lián)網(wǎng)、高性能計算" title="高性能計算">高性能計算機、大型數(shù)據(jù)庫、傳感器、遠程設備等融為一體,為科技人員和普通百姓提供了更多的資源、功能和交互性。網(wǎng)格是從電力網(wǎng)的概念借鑒過來的,其最終目的是希望用戶在使用網(wǎng)格時就像使用電力那樣,方便地使用分布在網(wǎng)絡上強大而豐富的各種資源,如計算資源、存儲資源、數(shù)據(jù)資源、信息資源、軟件資源、通信資源、知識資源和專家資源等。網(wǎng)格具有高性能、一體化、資源共享、協(xié)同工作、知識生產等特點,是目前關系科研、經(jīng)濟、社會、國防的重要國家基礎設施,在國內外己引起廣泛的關注。隨著網(wǎng)格體系和技術標準的日趨成熟和完善,網(wǎng)格將會在更廣泛的領域得到推廣和應用[1]。
在美國,網(wǎng)格研究人員著重于計算網(wǎng)格和數(shù)據(jù)網(wǎng)格,即TeraGrid和GIG(全球信息網(wǎng)格)。在歐洲則著重于網(wǎng)格應用,其網(wǎng)格工程包括數(shù)據(jù)網(wǎng)格、e-learning和e-culture[4]。而在其他國家,如日本、新加坡、印度則側重于構建網(wǎng)格程序。
中國也很重視網(wǎng)格研究,目前已有一些重點項目得到政府的支持,如863工程支持的國家網(wǎng)格,教育部支持的中國網(wǎng)格工程,上海市政支持的上海網(wǎng)格等[5]。
1 網(wǎng)格技術
1.1 網(wǎng)格技術的概念及其特點
網(wǎng)格通過高速共享網(wǎng)絡連接地理上廣泛分布的異構資源(包括超級計算系統(tǒng)、存儲器、數(shù)據(jù)庫、軟件、科學儀器和分布式文件系統(tǒng)等),并在同一時間利用這些資源來協(xié)同解決那些通常需要許多CPU或存儲器處理和訪問的單個問題。在形成網(wǎng)格狀的高性能計算網(wǎng)中,各個資源就是網(wǎng)格的節(jié)點[2]。
網(wǎng)格的特點是可以根據(jù)問題對資源的需求,動態(tài)地組織網(wǎng)絡上的資源,實現(xiàn)計算資源共享。這種資源的共享不僅僅是文件的交換共享,還可以是直接對計算機硬件資源、軟件資源、網(wǎng)絡和數(shù)據(jù)資源等直接訪問,并且這種共享是動態(tài)的且高度可控的,資源的提供者和消費者、共享內容、共享發(fā)生的條件都是嚴格定義的。所有遵守這些共享規(guī)則的企業(yè)可以構成一個虛擬組織,從而實現(xiàn)虛擬組織內部的資源共享。
1.2 網(wǎng)格的體系結構
網(wǎng)格體系結構的構建是關于如何建造網(wǎng)格的技術,包括對網(wǎng)格基本組成部分和各部分功能的定義和描述,對網(wǎng)格各部分相互關系與集成方法的規(guī)定,以及對網(wǎng)格有效運行機制的刻畫。顯然,網(wǎng)格體系結構是網(wǎng)格最核心的部分。只有建立合理的網(wǎng)格體系結構,才能夠設計和建造出好的網(wǎng)格,才能使網(wǎng)格有效地發(fā)揮作用。
迄今為止,比較重要且有影響的網(wǎng)格體系結構是五層沙漏結構。該結構是基于美國國家實驗室的網(wǎng)格研發(fā)項目Globus提出來的,是一種以協(xié)議為中心的“協(xié)議結構”[3]。該結構強調協(xié)議在網(wǎng)格的資源共享和互操作中的地位,通過協(xié)議實現(xiàn)一種機制,使虛擬組織的用戶與資源之間可以協(xié)商資源的使用,建立共享關系,并且還可以進一步地管理和開發(fā)新的共享關系。這一標準化的開放結構對網(wǎng)格的擴展性、互操作性、一致性以及代碼共享都很有好處。圖1所示為五層沙漏結構的形狀圖。
這五層結構由下而上分別是構造層、連接層、資源層、匯聚層和應用層,各層涵義如下:
(1)構造層(Fabric)是物理實體或邏輯實體,實現(xiàn)局部資源的控制,并向上提供共享訪問資源,如高性能計算資源、大型數(shù)據(jù)庫存儲資源、高速網(wǎng)絡資源、傳感器和遠程設備等。本層提供的功能為更上層的使用提供了基礎,所提供的功能越豐富,更上層就越能構造更復雜的應用。
(2)連接層(Connectivity)定義網(wǎng)格中網(wǎng)絡事務的核心通信協(xié)議和安全協(xié)議。通信協(xié)議包括傳輸、路由、命名等;安全協(xié)議提供通信服務上的安全加密機制,用于識別用戶和資源,安全協(xié)議為建立用戶和資源之間的信任關系提供了技術支持。構造層中提交的各種資源間的數(shù)據(jù)交換都在這一層的控制下實現(xiàn),各資源間的認證、安全控制也在這里實現(xiàn)。
(3)資源層(Resource)在一個單獨的資源上定義提供共享操作的協(xié)議,該協(xié)議實現(xiàn)調用構造層的功能以訪問和控制本地資源。它包含信息協(xié)議和管理協(xié)議兩個協(xié)議族。在資源層只關心單個的資源,不關心全局的狀態(tài)和跨域的交互行為。
(4)匯聚層(Collective)將資源層提交的受控資源匯聚在一起,供虛擬組織的應用程序共享和調用。匯聚層不關心單個資源的管理,關心的是全局的狀態(tài)和跨域的交互行為。因此,該層提供的協(xié)議服務是很廣泛的,開發(fā)者可以根據(jù)自己的需要,在使用下層提供的服務的基礎上進行再開發(fā)。匯聚層也提出了一些通用的協(xié)議和服務,如目錄服務、協(xié)同分配調度、經(jīng)紀人服務、數(shù)據(jù)復制服務、軟件發(fā)現(xiàn)服務、團體授權服務、團體記賬和支付服務等。
(5)應用層(Application)是用戶利用下層提供的API 或SDK實現(xiàn)一些特定功能。
2 行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結構與應用
當今的經(jīng)濟發(fā)展趨于國際化,我國各行各業(yè)的企業(yè)所面臨的競爭壓力越來越大,而且這些競爭壓力主要由各個企業(yè)單獨承擔,而有些發(fā)達國家卻出現(xiàn)了企業(yè)聯(lián)合競標、設計與制造的趨勢。以一個企業(yè)的能力來與一個行業(yè)的企業(yè)進行競爭,必定處于弱勢。為了在激烈的國際市場競爭中立于不敗之地,需要充分利用行業(yè)內的資源,組建行業(yè)性的企業(yè)聯(lián)盟,以提高國際競爭力。這需要一個支持行業(yè)性的開放資源服務的平臺。 而網(wǎng)格技術的發(fā)展正好為行業(yè)資源共享提供一個很好的集成化的平臺環(huán)境。
2.1 行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結構
行業(yè)資源共享系統(tǒng)的網(wǎng)格體系結構如圖2所示。此系統(tǒng)從下而上分別是網(wǎng)格資源域、網(wǎng)格中間件、開發(fā)規(guī)范和管理控制平臺和應用層。

(1)網(wǎng)格資源域包括地理上分布的可以通過 Internet訪問到的所有分布式異構資源,其中有運行不同操作系統(tǒng)的計算機、工作站、存儲設備、各種數(shù)據(jù)庫、儀器設備和應用系統(tǒng)" title="應用系統(tǒng)">應用系統(tǒng)等。它構成整個網(wǎng)格系統(tǒng)的硬件基礎。
(2)網(wǎng)格中間件能真正實現(xiàn)物理上連接、邏輯上孤立的網(wǎng)格資源的有效共享,屏蔽下層結構的分布性和異構性,向上層提供統(tǒng)一、透明的使用接口。網(wǎng)格中間件從下到上由資源網(wǎng)格、信息資源網(wǎng)格、服務網(wǎng)格組成。
①資源網(wǎng)格是行業(yè)資源共享系統(tǒng)基礎組成部分,負責本節(jié)點域的創(chuàng)建和屬性的收集,動態(tài)監(jiān)測和調度本地資源,及時地將本地網(wǎng)格資源的信息傳送給上層的信息服務" title="信息服務">信息服務模塊。此外,它還負責接收由網(wǎng)格請求代理提交的任務并負責運行相應的資源,為行業(yè)資源應用提供基本框架。相當于網(wǎng)格的構造層和連接層。
?、谛畔①Y源網(wǎng)格基于資源網(wǎng)格創(chuàng)建,是行業(yè)資源共享系統(tǒng)的重要組成部分。為了能為整個行業(yè)聯(lián)盟中的企業(yè)提供有用的信息服務,就需要對資源網(wǎng)格提供的數(shù)據(jù)信息加以分析整理,并且通過信息網(wǎng)格,將企業(yè)所需的信息提供給服務網(wǎng)格。主要功能有信息服務、貿易服務等。信息服務動態(tài)收集各個資源節(jié)點的信息,并進行分析整理;貿易服務提供網(wǎng)格請求代理和資源域內節(jié)點協(xié)商價格的功能,相當于網(wǎng)格的資源層。
?、鄯站W(wǎng)格是行業(yè)資源共享系統(tǒng)的核心組成部分,對全局資源進行統(tǒng)一的管理和分配。服務網(wǎng)格提供資源共享系統(tǒng)所支持的各種服務,同時對各應用系統(tǒng)提供服務支持,這種服務支持包括信息服務、計算服務和信息處理服務等。服務網(wǎng)格提供的服務包括建立虛擬企業(yè)聯(lián)盟、使不同企業(yè)的人和系統(tǒng)可以協(xié)同和交互等,即實現(xiàn)整個行業(yè)的資源共享。它既提供通用性的服務接口,也可以根據(jù)虛擬組織或應用領域的需要提供特定服務接口。
(3)開發(fā)規(guī)范與管理控制平臺是整個系統(tǒng)的中央控制單元,通過該平臺的集中統(tǒng)一控制,使得服務網(wǎng)格、信息資源網(wǎng)格、資源網(wǎng)格的各個子系統(tǒng)符合統(tǒng)一的規(guī)范,利于實現(xiàn)各子系統(tǒng)間的互通、互聯(lián)和互操作,進而在管理控制平臺的統(tǒng)一控制、協(xié)調下發(fā)揮出系統(tǒng)的最大效用。
(4)應用層通過調用網(wǎng)格中間件,共享網(wǎng)格上的資源完成任務。它應該根據(jù)不同企業(yè)的具體要求,建立相應的應用系統(tǒng)來滿足各企業(yè)的不同要求。
2.2 行業(yè)資源共享系統(tǒng)的資源管理模式
行業(yè)資源共享系統(tǒng)采用圖3所示的網(wǎng)絡拓撲圖。企業(yè)內部通過局域網(wǎng)實現(xiàn)資源的互聯(lián)、互通,其資源信息通過其所在的局域網(wǎng)內的服務器統(tǒng)一管理。行業(yè)中各個企業(yè)通過接入廣域網(wǎng)集合海量網(wǎng)格計算所需的網(wǎng)格資源。通常,這些企業(yè)在地域上廣泛分布,難以集中管理。因此采用分布式的資源管理方法較為實際,即對于分布于不同局域網(wǎng)中的網(wǎng)格資源,各服務器通過分布式數(shù)據(jù)庫建立自己的資源信息庫,服務器之間通過分布式數(shù)據(jù)庫交互信息為資源分配和作業(yè)調度服務;對于一個具體的任務可以通過各個局域網(wǎng)服務器獲得各自的局域網(wǎng)資源信息,從而形成動態(tài)企業(yè)聯(lián)盟。
在這個網(wǎng)格系統(tǒng)中,不存在全局控制的調度系統(tǒng),每個企業(yè)的地位都是平等的。這樣的網(wǎng)格具有很強的可擴展性和容錯能力,系統(tǒng)內任何一個節(jié)點發(fā)生故障都不會對整個系統(tǒng)造成太大的影響。
2.3 行業(yè)資源共享系統(tǒng)的應用流程
系統(tǒng)應用的基本流程:①用戶通過應用系統(tǒng)從網(wǎng)格節(jié)點登錄,在用戶通過登錄中間件的身份認證后,用戶向系統(tǒng)提交任務;②服務網(wǎng)格對任務進行分割,通過信息資源網(wǎng)格查找可利用資源及節(jié)點并進行貿易協(xié)商,然后下達任務到指定資源;③任務被分配給資源網(wǎng)格上的不同節(jié)點來共同完成,然后將任務結果連同任務完成報告返回,再由服務網(wǎng)格將結果合并后通過用戶應用系統(tǒng)提交給用戶。
為了說明行業(yè)資源共享系統(tǒng)的特點,現(xiàn)舉一個具體的例子。在發(fā)電行業(yè)中,企業(yè)A想分析整個發(fā)電行業(yè)的發(fā)展現(xiàn)狀和未來趨勢,需要用到行業(yè)內各個發(fā)電企業(yè)的相關數(shù)據(jù),同時需要進行大量的數(shù)據(jù)處理和數(shù)據(jù)挖掘。但是企業(yè)A并沒有處理大量數(shù)據(jù)和數(shù)據(jù)挖掘的能力,而企業(yè)B有一高性能計算機群,企業(yè)C有一套數(shù)據(jù)挖掘軟件。只要企業(yè) A、B、C都在網(wǎng)格系統(tǒng)中,便可以很容易地通過網(wǎng)格技術將各發(fā)電企業(yè)的數(shù)據(jù)資源、企業(yè)B的高性能計算機群和企業(yè)C的數(shù)據(jù)挖掘系統(tǒng)組織成一個虛擬企業(yè)聯(lián)盟,完成企業(yè)A的應用請求,而不需要購買任何新的軟、硬件系統(tǒng)。一旦任務結束,虛擬企業(yè)聯(lián)盟自動解散。
不難看出,網(wǎng)格技術的虛擬企業(yè)成員不是單個的實際企業(yè)或企業(yè)的某個部門,而是一個個具體的計算機、存儲器之類的資源節(jié)點。通過行業(yè)資源共享系統(tǒng),可以最大限度地整合整個行業(yè)的現(xiàn)有資源,實現(xiàn)資源共享與重用。
網(wǎng)格技術是新一代互聯(lián)網(wǎng)技術。將網(wǎng)格技術應用于行業(yè)資源共享,可以增強行業(yè)內企業(yè)間資源的互操作性,即可以與遠程的資源進行協(xié)同工作,打破現(xiàn)有的壁壘。本文提出的行業(yè)資源共享的網(wǎng)格體系結構和資源管理模式對實現(xiàn)行業(yè)資源重用具有重要指導作用。
參考文獻
1 Foster I,Kesselman C,Tuecke S.The anatomy of the grid:Enableing scalable virtual organizations.International J.Super-computer Applications,2001;15(3):200~222
2 羅作民,張 景,李軍懷.網(wǎng)格計算及其關鍵技術綜述[J].計算機工程與應用,2003;30:18~22
3 胡 敏,顧君忠.Globus網(wǎng)格體系結構及其服務的實現(xiàn)[J].計算機工程,2003;29(15):5~7


