Hardi Teder, projektijuht
Tänase seisuga võib kasutaja enese huvides tööle panna 25 protsessorit, mis on kättesaadavad Eesti Gridis. Lähimas tulevikus see number mitmekordistub. Kuid kes meil siin Eestis sellist protsessorite „hunnikut“ üldse kasutab ja milleks? Ja milleks meile on vaja sellist keerulist süsteemi nagu grid? Kas ei piisaks tavalisest arvutuskeskusest? Osadele nendest küsimustest vastas 4/04 AM'is ilmunud artikkel gridist, kus tutvustati põgusalt gridisüsteemide eesmärke ja tehnoloogiat. Selles artiklis tahaks tutvustada Eesti Gridi projekti ja selle eesmärke.
Eestis Gridi algatusgrupp kogunes esimest korda juba rohkem kui poolteist aastat tagasi. Toona tulid kokku inimesed, kes tundsid tõsist puudust suurema arvutusressursi järele. Tänaseks on Eesti Gridi projekti arendamisele õla alla pannud Eesti suuremad ülikoolid (Tartu Ülikool, Tallinna Tehnikaülikool), mitmed arvutusmahuka teadusega tegelevad instituudid (Keemilise ja Bioloogilise Füüsika Instituut, Tartu Ülikooli Tehnoloogia Instituut, Füüsika Instituut, Eesti Biokeskus, Tartu Observatoorium, Küberneetika Instituut), riigiasutused (EENet, Haridus- ja Teadusministeerium) ja ka ettevõtted (MicroLink, EGeen, BioData).
Grid
Grid on termin, mida kasutatakse geograafiliselt eri kohtades paiknevate arvutite kaasamisel ühtseks ressursiks nii, et kasutaja jaoks tekib üks võimas superarvuti. Kasutaja ei pea mõtlema, kus tema ülesandeid lahendatakse, vaid selle töö teeb ära gridi vahetarkvara (grid middleware). Omavahel on võimalik ühendada erinevaid arvuteid ja arvutuskeskusi, mis saab panna paralleelselt sama ülesande lahendamisega tegelema. Lisaks massiivse paralleelsuse saavutamisele lubab selline arhitektuur vähendada ka arvutite kasutamata seismist ja võimaldab lahendada ülesandeid, mida muidu ei saakski lahendada või mille lahendamine võtaks liiga kaua aega. Ei ole ju mõtet ennustada eilset ilma.
Samuti on gridi võimalik ühendada kalleid spetsiaalseadmeid (teleskoobid) või keeruliste eksperimentide tulemusena saadud andmekogud, et neid saaks lihtsamini kasutada erinevad uurimisrühmad. See peaks vähendama seadme hinda ühe instituudi kohta ja soodustama ka teadusrühmade vahelist koostööd.
Grid võiks tulevikus olla infrastruktuuri osa, nagu tänapäeval on vee- ja elektrivõrk, mis võimaldaks inimestel ligipääsu arvutusressursile kas või koduseks videotöötluseks.
Eesti Grid
Eesti Grid on pikaajaline projekt Eestis asuvate suuremate arvutusvõimsuste sidumiseks ühtsesse süsteemi ning tulemi integreerimiseks sarnaste rahvusvaheliste projektidega, et tagada Eesti teadusele juurdepääs jagatud probleemilahendusele ja globaalsetele andmebaasidele. Suurte arvutusvõimsuste arendamine on tänapäeva teadus- ja arendustegevuse üks nurgakive, mis loob eeldused ka teadusmahuka väiketootmise (ilma ennustamine, disainimine, simulatsioonid) arendamiseks.
Gridi vajajad Eestis
Terviklikku ülevaadet sellest, kellel tulevikus gridi vaja võiks minna, ei ole võimalik esitada, sest paljud potentsiaalsed tarbijad ei ole endale veel gridi võimalusi teadvustanud. Seetõttu on järgnev loetelu paratamatult vaid osaline valik kõigist, kes Eestis tulevikus gridi teenuseid tarbima hakkavad.
Kõrge energia füüsika on juhtivaks teadusharuks griditehnoloogiate rakendamisel, kus eksperimendid on nende suuruse ja maksumuse tõttu rahvusvahelised ja asuvad suurtes rahvusvahelistes teaduslaborites. Suurim neist on Euroopa Elementaarosakestefüüsika Keskus, algse nimega Euroopa Tuumauuringute Keskus (CERN), asukohaga Genfis. Juurdepääs andmetele ning nende analüüs toimub gridi abil.
Eestis tegeleb uuringutega Keemilise ja Bioloogilise Füüsika Instituut (KBFI), kus vajalike arvutuste tegemiseks on mitu suuremat täieliku paralleeltööga arvutit, aga nende jõudlusest kõigi vajalike arvutuste tegemiseks ei piisa.
Materjaliteaduse ja kvantkeemia vajadus gridi järele on seotud ennekõike kõrgetasemelise molekulaardünaamika ja kvantmehaaniliste arvutustega. Uuritakse superhappeid ja -aluseid, polümeerseid akusid, kütuse elemente, tseoliitkatalüsaatoreid ning biopolümeere tööstuslikult tähtsate rakenduste jaoks.
Uurimisega tegelevad grupid on Tartu Ülikoolis, Tallinna Tehnikaülikoolis, KBFI-s ja Füüsika Instituudis.
Bioinformaatikat loetakse lisaks senisele kõrgete energiate füüsikale üheks gridi edasise arengu mootoriks ja käimashoidvaks jõuks. DNA sekveneerimisega tegeldakse mitmete raskete haiguste ennetamis- ja ravimeetodite väljatöötamiseks. Eestis on andmete kogumiseks loodud Eesti Geenivaramu, aga lisaks info kogumisele on oluline ka andmete analüüs (DNA, RNA, valgujärjestused, molekulide struktuurid, funktsioon, võrgustikud, elusorganismide mudeldamine, haiguste põhjuste väljaselgitamine jne) arvuti abil.
Uurimisega on Eestis seotud peale Tartu Ülikooli ja Eesti Biokeskuse veel mitmed teisedki organisatsioonid ja väikefirmad.
Arvutusmeetodite ja tarkvara arendus, kus uuritakse paralleelarvutuste tõrkekindlust ja vigade kõrvaldamist, mis võivad lähemal ajal kasutust leida kaasaegsetes kõrgtehnoloogilistes interneti- ja gridirakendustes. Valminud Eesti esimesed prototüüp-programmid.
Uuringutega tegeldakse Tartu Ülikoolis.
Mõned mehaanika tänapäevased probleemid on pideva keskkonna mittelineaarne dünaamika, mikrostruktuursete ainete ja iseorganiseeruvalt kriitiliste süsteemide omadused, bioloogiliste objektide integreeritud biokeemilis-mehaanikaline kirjeldamine.
Nimetatud küsimusi on uuritud TTÜ Küberneetika Instituudis juba aastaid ning minimaalselt aktsepteeritavate numbriliste tulemuste saavutamiseks on koostatud kobararvuti, mis kahjuks ei võimalda mitmeid suuremahulisi probleeme lahendada.
Nagu kõrge energia füüsikas, nii eeldab ka astronoomia vajalike andmete saamiseks äärmiselt kallist aparatuuri, mida ka rikkamad riigid ainult enda otstarbeks ei soeta. Saadud andmeid hangitakse ja vahendatakse griditehnoloogia kaasabil.
Mitmetesse projektidesse on Eestis haaratud Tartu Observatoorium, kelle oma arvutipark ja andmesideühendus ei ole praegu vajalike arvutuste tegemiseks piisavad. Tööde teostamiseks renditakse arvutiaega Saksamaal asuvates suurtes kobararvutites.
Osalemine rahvusvahelistes projektides.
Nii Euroopas kui mujal maailmas on juba aastaid käimas sadu erinevaid gridi projekte. Et siinsed teadusrühmad saaksid nendes osaleda võrdväärsete partneritena, on vaja ka omalt poolt midagi välja pakkuda.
Arvutusressursi vajadus
Kokkuvõtliku hinnangu kohaselt kasutavad erinevad Eesti teadus grupid praegu umbes 300 tuhat protsessortundi arvutusvõimsust kuus. Paljusid arvutusi lihtsalt ei tehta võimaluse puudumise tõttu või tehakse lihtsustatult. Keerukusastme lisamine suurendaks vajadust arvutivõimsusele mitmeid kordi. Ebamäärane hinnang võiks olla, et aastal 2006 võiks vajadus olla suurusjärgus miljon protsessortundi kuus.
Kuna meie teadlastel pole käesoleva ajani olnud arvestatavat arvutusvõimsuse kasutamise võimalust Eestis, siis selle asemel kasutatakse omi kontakte ja tutvusi ning tehakse tööd Eestist väljaspool asuvate arvutitega, valdavalt teiste määratletud projektides. Grid on üks võimalus olemasoleva ja loodava arvutusressursi efektiivsemaks ärakasutamiseks. Mainitud süsteem peaks võimaldama tasapisi ka suuremaid arvutusi, mis omakorda võiks vähendada „ajude väljavoolu“ Eestist.
Võrguressursi vajadus
Kuna gridis tehtavad arvutused võivad eeldada suure koguse lähteandmete töötlemist, siis ei tohiks jätta kahe silma vahele ka arvutuskeskuste vahelist ühendust. Eesti haridus- ja teadusvõrk on enamvähem samal tasemel nagu oli Põhjamaades paari aasta eest. Põhjamaade gridis 2001. aastal tehtud uurimuses1 selgus, et andmesidevõrgu taustakoormusel on väga suur mõju faili ülekande kiirusele. Kitsaskohtadeks ei ole ainult linnadevahelised magistraalid, vaid ka 100Mbit/s LAN ühendus, samas kui laivõrgu kanalid võimaldasid varsti rohkem kui 100Mbit andmesidekiiruseid (EENeti Tallinn-Tartu vaheline magistraal peaks sügisel 2Gbit/s kiiruse saavutama). Millest võib järeldada, et suurt tähelepanu tuleb pöörata kõikidele arvutuskeskuste vahelistele võrgu osadele.
Tänaseks tehtust
Tänaseks päevaks on Eestisse tekkinud arvestatav hulk tõsised gridihuvilisi. Asjalike (gridi)tehniliste teadmistega inimesed on olemas nii KBFIs, EENetis kui ka Tartu Ülikoolis.
Lisaks on Tartu Ülikooli Tehnoloogia Instituudi juurde loodud gridilabor, kus korraldatakse iganädalasi gridiseminare ja kus saavad üliõpilased teha oma katsetusi.
Eesti Gridi on hetkel ühendatud 4 masinat (25 CPUd):
- Tartu Ülikooli Molekulaar- ja Rakubioloogia Instituudi arvutiklassist ehitatud kobararvuti (16 x (P4 2.6GHz, 1 GB mälu, Gigabit eth))
- EENeti kobararvuti (3 x ( 2xAMD 2.6GHz MP, 512 MB mälu, SCI kiire võrk))
- Tartu Ülikooli Tehnoloog Instituudi kobararvuti (2 CPU)
- Keemilise ja Bioloogilise Füüsika Instituudi testimasin (1 CPU)
See ei ole küll kogus, millega teha suuri teadusarvutusi, kuid täiesti piisav pilootprojektideks ja arendustegevuseks. Samas käivad ettevalmistused veel mitme Tartu Ülikooli arvutiklassi gridi lisamiseks ja räägitud on veel mõne instituudiga nende kobararvutite gridi ühendamisest.
Gridi vahetarkvara
Gridi vahetarkvarana kasutatakse Eesti Gridis Põhjamaade gridsüsteemide ehitamiseks arendatavat NorduGridi tarkvara. NorduGrid tarkvara on tehtud Globuse pakettide peale, nagu väga paljud teised gridi vahetarkvaradki.
Gridi turvalisusest.
Gridis turvalise kasutamise peaks tagama rakendatav PKI (Public Key Infrastructure). See tähendab, et kõigil gridi tegelastel (kasutajatel, masinatel ja teenustel) on enese autentimiseks oma avaliku ja salajase võtme paar. Avalike võtmete autoriseerimiseks sai EENeti juurde tehtud Eesti Gridi Sertifitseerimiskeskus. Praeguseks hetkeks on välja antud 16 kasutaja sertifikaati. Käib ka arendustegevus Eesti ID-kaardil asuva võtmepaari kasutamiseks Eesti Gridis kasutaja autentimiseks.
Osalemine rahvusvahelistes projektides
On alustatud protsess, et Eesti Gridi Sertifitseerimiskeskus saaks usaldatud Euroopa teiste gridiprojektide (EGEE - Enabling Grids for E-science in Europe) sertifitseerimiskeskuste poolt.
Jõudumööda tegeletakse ka NorduGridi tarkvara testimise ja arendamisega (ID-kaarti smartcardi toetus).
KBFIs tegeletakse CERNi teadustarkvara pakettide kohandamisega gridile.
Kokkuvõtteks
Eestis on gridi „ehitamine“ üsna edukalt käima läinud ja kriitiline gridihuviliste hulk on ilmselt ületatud. Samas on jäänud pikk tee minna, et tekitada süsteemi ka mõned „päris“ teadusarvutusteks mõeldud kobararvutid. Palju tööd on teha ka gridi vahetarkvara arendamisega ning teadustarkvara kohandamisega gridile.
Viited:
[1] - B.Kónya, O.Smirnova „Performance evaluation of the GridFTP within the NorduGrid project“ http://www.nordugrid.org/documents/gridftp_report.pdf
Lingid:
http://grid.eenet.ee
? Eesti Gridi projekti veeb
http://giis.eenet.ee/monitor/loadmon.php
? Eesti Gridi monitor
http://www.nicpb.ee/centre
? KBFI gridi rakenduse veeb
http://www.nordugrid.org
? NorduGridi tarkvara veeb
http://www.globus.com
? Globuse pakettide veeb
