GRID technologijos Paruošė Informatikos inžinerijos doktorantas Vitalijus Martusevičius

GRID technologijos Paruošė Informatikos inžinerijos doktorantas Vitalijus Martusevičius

GRID apibrėžimai • Globus autoriai GRID apibrėžia kaip infrastruktūrą, kuri apima kompiuterių, jų tinklų, duomenų bazių bei mokslinių prietaisų integrinį ir jungtinį panaudojimą, kai infrastruktūros komponentus turi ir valdo daug organizacijų. • Gridbus projekto autoriai teigia, kad GRID yra lygiagrečios ir paskirstytos sistemos tipas, kuris leidžia dalintis, pasirinkti ir sujungti geografiškai išskaidytus autonomiškus resursus dinamiškai veikimo metu, priklausomai nuo jų tinkamumo, galimybių, savybių, kaštų bei vartotojo reiklalavimų paslaugos kokybei.

e. Science programos Tyrimų organizacijos pradėjo vykdyti ambicingas programas, kurios skirtos spręsti plataus masto mokslines problemas. Bendrai tokios programos pavadintos e. Science, kai • nurodomas skaičiavimų infrastruktūros atliekamas vaidmuo įgyvendinant bendradarbiavimo tyrimus • numatyta mokslinių prietaisų prieiga ir pasidalinimas • duomenys sugeneruoti ir išanalizuoti e. Science programose yra masyvūs ir natūraliai paskirstyti • tokiose terpėse iššūkiai yra susiję su duomenų valdymu, prieiga, paskirstymu, apdorojimu ir saugojimu

Tipinis e. Science scenarijus

GRID pradžia • Duomenų valdymo, prieigos, paskirstymo, apdorojimo ir saugojimo iššūkiai nulėmė skaičiavimų infrastruktūros kūrimą, apjungiant plataus masto paskirstytus resursus, tokius kaip • duomenų bazės • saugojimo serveriai • spartūs tinklai • superkompiuteriai • klasteriai • Šių problemų sprendimas lėmė GRID skaičiavimų atsiradimą. Tai labai panašu į energetikos sistemą, kuri tiekia pastovią, plintančią, patikimą bei aiškią prieigą prie elektros energijos, nepriklausomai nuo jos šaltinio.

GRID problemos Programinės ir techninės GRID infrastruktūros vystymas tapo didelės tyrinėtojų ir kūrėjų bendruomenės dėmesio centru. GRID kūrimo metu sprendžiamos socialinės problemos: • gerinti paskirstytą valdymą išlaikant pilną lokaliai valdomų resursų kontrolę • gerinti duomenų prieinamumą bei surasti duomenų prieigos šablonų problemas ir sprendimus • pateikti vieningą ir vartotojams patrauklią aplinką, kuri suteiktų prieigą prie plataus masto fiziškai paskirstytų paslaugų

GRID terpė (1) Apibendrinta vientisa ir keičiamo dydžio GRID terpė bei joje vykstantys srautai

GRID terpė (2) • GRID resursai yra užregistruoti vienoje ar keliose informacijos tarnybose • Vartotojai pateikia savo programų reikalavimus GRID resursų brokeriui, kuris • suranda tinkamus resursus pateikdamas užklausą informacijos tarnyboms • nustato programos uždavinius vykdymui • seka uždavinių apdorojimą iki kol jie pasibaigia • Sudėtingesnis scenarijus apima daugiau reikalavimų, todėl į GRID terpes yra įtrauktos tokios paslaugos: • saugumas, informacija, žinynas, resursų paskirstymas, programų kūrimas, vykdymo valdymas, resursų rinkimas ir planavimas

GRID tarpinė programinė įranga Programinės priemonės ir paslaugos, suteikiančios galimybę susieti skaičiavimų pajėgumus su duomenų šaltiniais, siekiant palaikyti paskirstytą analizę ir bendradarbiavimą, vadinamos GRID tarpine programine įranga (angl. middleware). Siekiant pateikti vartotojams vientisą skaičiavimų terpę, GRID tarpinės programinės įrangos sistemos turi susidoroti su kai kuriais sunkumais: • heterogeniškumas, kurį lemia didelis programinių ir aparatūrinių technologijų, įtrauktų į GRID, kiekis • resursų valdymas, nes jie yra išsklaidyti po skirtingus politinius bei geografinius regionus, o administraciniu pagrindu yra kontroliuojami skirtingų organizacijų • dinamiška GRID terpės prigimtis, nes užklausos administracinio domeno viduje gali gauti didesnį prioritetą nei užklausos iš išorės

Virtualios organizacijos Tam, kad išspręsti minėtas problemas, GRID architektūra sudaroma remiantis virtualių organizacijų (VO) kūrimu, kai • skirtingos fizinės organizacijos drauge dalinasi resursais ir bendradarbiauja siekdamos bendro tikslo • virtuali organizacija nustato dalyviams prieinamus resusrus, jų prieigos ir naudojimo taisykles • virtualios organizacijos viduje dalyviai, kurie priklauso narių organizacijoms, pagal VO tikslus yra paskyrę resursų dalį remiantis užklausos skubumu ir prioritetu

Ekonominiai principai Kita sėkminga GRID architektūra remiasi ekonominiais principais, kai resursų tiekėjai varžosi siekdami pateikti geriausią paslaugą vartotojui, kuris pasirenka tinkamus resursus pagal savo specifinius reikalavimus, t. y. resursų kainą ir paslaugos kokybės (angl. Quality -of Service) lūkesčius. Dvi pagrindinės paslaugų kokybės sąlygos yra: • skirtingos fizinės organizacijos drauge dalinasi resursais ir bendradarbiauja siekdamos bendro tikslo • virtuali organizacija nustato dalyviams prieinamus resusrus, jų prieigos ir naudojimo taisykles

Infrastruktūros reikalavimai • Nuotolinės saugyklos bei duomenų grupių kopijavimas • Duomenų grupių publikavimas kataloguose panaudojant globalius loginius vardus ir atributus • Saugumas – prieigos autorizavimas ir vieningas autentifikavimas • Vieninga prieiga prie nutolusių duomenų ir skaičiavimo resursų • Paslaugų ir prieigos kaštų pateikimas • Paskirstytų programų sudarymas naudojant įvairius programinius komponentus • Tinkamų duomenų grupių radimas panaudojant globalius loginius jų vardus ar atributus • Tinkamų skaičiavimo resursų radimas • Uždavinių žymėjimas ir planavimas (paskirstytų paslaugų surinkimas) • Uždavinių vykdymo pateikimas, stebėjimas, valdymas • Kodo bei duomenų judėjimas tarp vartotojo kompiuterio ir paskirstytų resursų • Paslaugos kokybės reikalavimų vykdymas • Resursų panaudojimo matavimas ir apskaičiavimas

GRID architektūra (1) GRID architektūros techninės ir programinės įrangos stekas

GRID architektūra (2)

GRID architektūra (3) • GRID sisteminis lygmuo sudarytas iš paskirstytų resursų, kai resursai reiškia sudėtines architektūras, tokias kaip klasteriai, superkompiuteriai, serveriai ir paprasti asmeniniai kompiuteriai, kurie palaiko daugybę operacinių sistemų. • Pagrindinė tarpinė programinė įranga pateikia paslaugas, kurios abstrahuoja sisteminio lygmens sudėtingumą ir heterogeniškumą, pateikiant pastovų metodą paskirstytų resursų prieigai. • Vartotojo lygmens GRID tarpinė programinė įranga panaudoja žemo lygmens tarpinės programinės įrangos sąsajas tam, kad pateiktų aukštesnio lygmens abstrakcijas ir paslaugas. • GRID portalai teikia internetinių programų paslaugas, kai vartotojai gali pateikti ir rinkti rezultatus savo uždaviniams panaudojant nutolusius resursus per internetą.

GRID veikimo principai GRID terpės veikimo principai su komponentais organizuotais pagal jų išdėstymą ir funkcionalumą

GRID veikimo principai (2) • Kad visi resursai būtų GRID sudedamosios dalys, jie turi būti prieinami iš skirtingų valdymo domenų. Tai galima realizuoti įdiegus GRID pagrindinę tarpinę programinę įrangą Globus į UNIX ar Linux terpę ir Alchemi į Windows terpę. • Daugelio mazgų resursai, tokie kaip klasteriai, GRID terpėje turi būti vaizduojami kaip vienas resursas. Tai gali būti pasiekta klasteriuose įdiegus uždavinių valdymo sistemas, tokias kaip Condor, PBS ar Sun GRID Engine. • GRID terpėje, kurioje duomenys turi būti sujungti dalinimuisi tarp įvairių suinteresuotų šalių, turi būti įdiegtos duomenų GRID technologijos, tokios kaip SRB, Globus RLS ar EU Data Grid. • Vartotojo lygmens tarpinė programinė įranga turi būti įdiegta terpėse, kurios atsakingos už resursų paskirsymo tiekimą ir programų išdėstymo paslaugas.

Standartizavimas GRID tarpinė programinė įranga yra kuriama ir tobulinama visame pasaulyje, todėl standartizavimas yra labai svarbus, siekiant užtikrinti skirtingų produktų ir realizacijų tarpusavio sąveiką. • GRID standartizavimui vadovavaujanti GGF (angl. Global Grid Forum) bendruomenė pateikė beveik visų GRID technologijos aspektų standartus: • OGSI (angl. Open Grid Service Infrastructure) specifikacija • WSRF (angl. Web Services Resource Framework), kuri lėmė web servisų integraciją GRID architektūroje • Kitos standartizavimo organizacijos, tokios kaip W 3 C (angl. World Wide Web Consortium), OASIS (angl. Organization for Advancement of Structured Information Standarts) ir IETF (angl. Internet Engineering Task Force) taip pateikia GRID skaičiavimų aspektams svarbius standartus.

GRID projektai (1) Šiuo metu egzistuojantys GRID projektai bendrai skirstomi į dvi grupes: • GRID infrastruktūros kūrimas apima techninės bei programinės įrangos ir administracinių mechanizmų surinkimą taip, kad įvairių sričių mokslininkai galėtų panaudoti šias priemones savo tyrimams. • GRID tarpinės programinės įrangos tyrimas, kuris orientuojasi į programinės įrangos kūrimą ir veiklos mechanizmus, kurie padeda realizuoti pilną GRID skaičiavimų potencialą.

GRID projektai (2) Analizuojami du populiarūs GRID tarpinės programinės įrangos projektai: • Globus • pagrindinis tikslas yra pateikti esmines GRID paslaugas • teikia pagrindinius GRID tarpinės programinės įrangos funkcionalumus • Gridbus • susitelkia ties vartotojo lygmens paslaugų tiekimu ir pagalbiniu skaičiavimų modeliu, skirtu GRID resursų valdymui • praplečia GRID tarpinės programinės įrangos steką, tačiau labiau orientuojasi į vartotojo lygmens tarpinę programinę įrangą, ypač pabrėžiant ekonominiu pagrindu veikiantį GRID resursų valdymą, kuris kontroliuojamas per vartotojo apibrėžtus paslaugos kokybės atributus

Globus projektas: • pateikia atviro kodo programinių priemonių komplektą, kuris gali būti naudojamas kuriant GRID skaičiavimo terpes ir GRID pagrindu veikiančias programas. • leidžia saugiai dalintis skaičiavimų pajėgumais, duomenų bazėmis ir kitais resursais korporacijos, įstaigos ir geografinėse ribose neaukojant vietinio savarankiškumo. • priemonių komplekto pagrindinės paslaugos, sąsajos ir protokolai leidžia vartotojams vientisai prieiti prie nuotolinių resursų, kai tuo pat metu išlaikoma vietinė kontrolė nusakanti, kas ir kada gali naudotis resursais

Globus architektūra turi tris pagrindines paslaugų grupes, kurios prieinamos per saugumo lygmenį.

GSI saugumo lygmuo (1) GRID saugumo infrastruktūra GSI pateikia vartotojų autentifikavimo ir saugios komunikacijos metodus. Ji remiasi SSL (angl. Secure Sockets Layer), PKI (angl. Public Key Infrastructure) ir X. 509 sertifikatų architektūra. GSI teikia paslaugas, protokolus ir bibliotekas, kad pasiekti tokius GRID saugumo tikslus: • vienas prisijungimas naudojant GRID paslaugas per vartotojo sertifikatus • resursų autentifikavimas per serverio sertifikatus • duomenų kodavimas • prieigos teisės • leidimų ir kontrolės nukreipimas per proxy serverius bei patikimų sertifikatų grandinės delegavimas sertifikatų įstaigoms

GSI saugumo lygmuo (2) • Vartotojai gauna prieigą prie resursų turėdami savo GRID sertifikato subjektus susietus su paskyra nutolusiame kompiuteryje, kai nutolusių kompiuterių sistemų administratoriai susieja GRID sertifikatų subjektus su paskyromis tuose kompiuteriuose ir tokiu būdu suteikia prieigą prie resursų. • CA (angl. Certificate Authorities), kuri patvirtina vartotojo sertifikatą, turi būti patikima iš nutolusios sistemos. • Prieigos teisės uždedamos tradiciniu UNIX būdu per nuotolinės vartotojo paskyros apribojimus. • Vartotojas, kuris turi virtualios organizacijos sertifikatų įstaigos patvirtintą sertifikatą, gauna prieigą prie resursų, kurių autentiškumą nustato ta pati CA. • Vartotojai gali gauti prieigą prie resursų automatiškai arba jiems gali reikėti individualiai susisiekti su sistemų administratoriais dėl prieigos suteikimo.

GSI trūkumai Esama GSI priemonių būsena leidžia daryti prielaidą, kad • kai kurie vartotojai gali naudotis vienu sertifikatu prieigai prie didesnio resursų kiekio • keli vartotojai gali būti susieti su ta pačia paskyra nutolusiame kompiuteryje Tai sukelia rimtus klausimus susijusius su vartotojų autentiškumo nustatymu ir duomenų konfidencialumu nutolusiame kompiuteryje. Produkcinės platformos turi atitinkamas taisykes, skirtas tokios elgsenos apribojimams, tačiau egzistuoja tam tikras būdas apeiti šiuos apribojimus tarpinės programinės įrangos lygmenyje.

Gridbus projektas užsiima į paslaugą orientuotų klasterių ir GRID tarpinės programinės įrangos technologijų projektavimu bei vystymu, kai pagrindinis tikslas yra e. Science ir e. Business programų palaikymas. • pateikia abstrakcijos lygmenį, skirtą paslėpti heterogeninių resursų išskirtinius bruožus ir žemo lygmens tarpinės programinės įrangos technologijas nuo programų kūrėjų • didelė reikšmė teikiama universalių skaičiavimų modelio realizacijai pradedant klasteriais ir baigiant GRID terpėmis bei lygiavertėmis P 2 P (angl. peer-to-peer) skaičiavimo sistemomis • naudoja ekonominius modelius dalinamų resursų efektyviam valdymui ir skatina jų paslaugų vartojimą.

Gridbus architektūra Sluoksniuota architektūra, vaizduojanti Gridbus komponentus kartu su kitomis tarpinės programinės įrangos technologijomis:

Gridbus technologijos Gridbus teikia programines technologijas, kurios naudojamos tokiose kategorijose: • įmonių GRID tarpinė programinė įranga (Alchemi) • paslaugų teikimo sutartimis paremtas klasterio resursų paskirstymas (Libra) • ekonomika ir virtuali įmonė (GMD, CPM) • prekybos ir apskaitos paslaugos (Grid. Bank) • resursų paskirstymas ir planavimas (Gridbus Broker) • darbų sekų valdymas (Gridbus Workflow Engine) • programų kūrimo sąsaja (Visual Parametric Modeller) • portalai (Gmonitor, Gridscape) • modeliavimas ir imitavimas (Grid. Sim)

Išvados • GRID skaičiavimai tampa vis populiaresni atliekant sudėtingus eksperimentus, kuriems reikalingas didelių paskirstytų duomenų valdymas. • Aptarėme kelias žinomas GRID realizacijas ir GRID programinės įrangos steką su dviem populiariomis technologijomis Globus ir Gridbus. • Nors ir dedama daug pastangų kuriant GRID technologijas, vis dar reikia nemažai padirbėti tobulinant GRID teikiamas skaičiavimo priemones.

Pabaiga Ačiū už dėmesį Jūsų klausimai