Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni

Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej PL-Grid Virtual Laboratory Maciej Malawski, Eryk Ciepiela Katedra Informatyki ACK Cyfronet AGH CMUJ Kraków, 16 czerwiec 2010

Plan prezentacji Co to jest grid? u Czym jest projekt PL-Grid u idea i struktura PL-Grid t dostępne i planowane zasoby t dostępne oprogramowanie t Jak zostać użytkownikiem u System pomocy „Helpdesk PL-Grid” u Wirtualne Laboratorium u 2

Czym jest grid? Definicja – Vaidy Sunderam infrastruktura umożliwiająca współdzielenie, wybór czy gromadzenie geograficznie rozproszonych zasobów (komputerów, oprogramowania, (baz) danych czy ludzi) u czyli uwspólnionymi (wirtualnie) zasobami u zależnymi od ich dostępności, pojemności czy kosztów t przeznaczonymi do rozwiązywania skomplikowanych problemów t zgrupowanymi w ramach wirtualnych organizacji, jednoznacznie determinujących zasoby dostępne dla użytkownika t 3

EGEE Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … EGEE >250 sites 48 countries >150, 000 CPUs >50 Peta. Bytes >15, 000 users >150 VOs >200, 000 jobs/day Mariusz Sterzel CGW'08 Kraków, 13 October 2008 44

Idea PL-Grid u Otwarta ogólnopolska infrastruktura gridowa wspierająca uprawianie nauki w sposób umożliwiający integrację danych doświadczalnych i wyników zaawansowanych symulacji komputerowych u Dostarczanie polskiej społeczności naukowej usług informatycznych opartych na gridowych klastrach komputerowych, służących e-Nauce w różnych dziedzinach u System skalowalny, pozwalający na dołączenie lokalnych klastrów komputerowych uczelni, instytutów badawczych czy „platform technologicznych” kompatybilny z gridem europejskim i światowym 5

Skład konsorcjum u u u Akademickie Centrum Komputerowe CYFRONET AGH – koordynator Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS) Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej (TASK) Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM) 6

Europejska Inicjatywa Gridowa EGI 7

Oferta PL-Grid Docelowy wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOPs (5000 procesorów 4 -rdzeniowych) oraz pamięci dyskowej o ok. 2500 TB u Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb u Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych u Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid u 8

Obecne zasoby Ponad 8000 rdzeni. . . u Ponad 300 TB pamięci dyskowych. . . u Możliwość integracji zasobów, aplikacji itp. w ramach Wirtualnego Laboratorium PL-Grid u Szkolenia dla początkujących i zaawansowanych użytkowników platformy PL-Grid obejmujące również jej efektywne wykorzystywanie u Obecnie upgrade: u dodatkowe 5000 rdzeni u kolejne zasoby dyskowe 9

Oprogramowaie Każda aplikacja środowiska Unix/Linux może być dostosowana do infrastruktury PL-Grid Oferujemy: u Pakiety QM u t u Pakiety MD, MM t u Auto. Dock Zestaw typowych narzędzi t u NAMD, Amber (wkrótce) Pakiety do dokowania t u ADF, Gaussian, Turbomole, GAMESS, Molcas, kompilatory, biblioteki numeryczne, MPI Czekamy na propozycje Państwa programów 10

Jak zostać użytkownikiem PL-Grid u u u Osoba prowadza ca działalnos c naukowa , zwia zana z jednostka naukowa w rozumieniu ustawy z dnia 8 paz dziernika 2004 r. o zasadach finansowania nauki. Współpracownicy osoby prowadza cej działalnos c naukowa (doktoranci, studenci, współpracownicy zagraniczni) Jak sie zarejestrowac ? t t Procedura w pełni on-line System rejestracji i zarza dzania kontem uz ytkownika PL-Grid https: //konto. plgrid. pl/ Wymagany aktualny, własny wpis w bazie „Ludzie Nauki” OPI ba dz wpis opiekuna naukowego Weryfikacja zgłoszenia przez strone internetowa jednostki ba dz telefonicznie Podziękowania: T. Szepieniec, M. Radecki 11

Co uzyskam dzięki rejestracji w PL-Grid u u Konto na maszynie doste powej User Interface w CYFRONECIE Doste p do zasobów PL-Grid t t t u u g. Lite – doste p poprzez vo. plgrid. pl UNICORE (wkrótce) system kolejkowy • • obecnie klaster „Zeus” w CYFRONECIE kolejne klastry w najbliz szym czasie Pełny doste p do systemu pomocy „Helpdesk PL-Grid” Wnioskowanie o osobisty certyfikat X. 509 i uzyskanie on-line (wkrótce) t certyfikat honorowany w obre bie Polski t Moz liwos c rejestracji innego certyfikatu Dane o wykorzystaniu zasobów (wkrótce) Jedno konto, jedno hasło wsze dzie Podziękowania: T. Szepieniec, M. Radecki 12

System pomocy „Helpdesk” PL-Grid u u u Jeden punkt kontaktu do ekspertów od wszystkich aspektów działania infrastruktury PL-Grid Procedury zapewniaja ce przekazywanie spraw (np. w czasie urlopowym) Zgłoszenia nie gina i nie sa zapominane: t t u Zgłoszenia tworzone sa poprzez: t t u u uz ytkownik moz e zgłaszac i s ledzic proces rozwia zywania problemu monitorowanie czasu rozwia zywania sprawy interfejs graficzny https: //helpdesk. plgrid. pl (dla zarejestrowanych uz ytkowników) e-mail helpdesk@plgrid. pl Uz ytkownik otrzymuje identyfikator zgłoszenia umoz liwiaja cy póz niejsze s ledzenie statusu sprawy Istotne powiadomienia o stanie problemu wysyłane sa e-mailem Zgłaszaja cemu Podziękowania: T. Szepieniec, M. Radecki 13

www. plgrid. pl 14

Zapraszamy do rejestracji na: https: //konto. plgrid. pl/ 15

Grid. Space Virtual Laboratory (Version 1, Viro. Lab project) Grid. Space virtual laboratory integrates computational resources and relevant data to provide users with convenient, high-level tools for collaborative experiment planning and execution Users Interfaces Runtime Services Infrastructure Experiment developer Experiment Planning Environment Experiment scenario Scientist Portal End User Application Specific Portlet Virtual Laboratory runtime components (Required to select resources and execute experiment scenarios) Computational services (WS, WTS, WS-RF), components (MOCCA), jobs (EGEE, AHE)) Data services (DAS data sources, standalone databases) Grids, Clusters, Computers, Network

Application Lifecycle

User Interfaces of Virtual Laboratory u Experiment Management Interface Portal t GWT, AJAX t u Experiment Planning Environment t Eclipse RPC

Prediction of Ligand Binding Sites in Viro. Lab Many services are publicly available, but only via WWW or email interface u Automated in Virtual Laboratory using: u t t HTTP communications wrapping Task queuing system for handling time-consuming service invocations Conversion to a common format Generating Jmol visualization scripts Services available as gems in the Virtual Laboratory u Rich interface: u u u Dynamically uploaded JMol-based viewer t Automatic update of application using Experiment Repository t u Metasite under development

Outline u u u Motivation – complex scientific applications on modern computing infrastructures In-silico experiments and Virtual Laboratory Grid. Space 2 as a solution t Architecture t Working with Grid. Space Examples of applications t Computational chemistry t Bioinformatics Conclusions 20

Motivation u Complex scientific applications on modern computing infrastructures t u Diverse software packages t t t u Files, databases, URLs Exploratory programming t u Chemists, biologists Programmers End users Various data types t u Applications (Gaussian, NAMD, …) Web Services Scripts: Perl, Python, Ruby Different users t t t u Clusters, Grids, Clouds Unstructured, dynamic, prototyping Collaboration t Teams, communities 21

Experiment u Experiment (in-silico)- a process that combines together data with a set of activities (programs, services) that act on that data in order to produce experiment results t t u u u Experiment plan – a specific type of software Experiment run – a specific execution of the experiment Complex workflow going beyond manual simple and repeatable execution of installed programs Combines steps realized on a range of software environments, platforms, tools, languages etc. Developed, shared and reused collaboratively amongst ad-hoc researching teams Composed of collaboratively owned libraries and services used (called gems) and experiment parts (called snippets) Virtual Laboratory – environment for development, execution and sharing of experiments 22

Working with Grid. Space 2 u u Easy access using Web browser Experiment Workbench t t u Experiment Execution Environment t t u Constructing experiment plans from code snippets Interactively run experiments Multiple interpreters Access to libraries, programs and services (gems) Access to computing infrastructure t Cluster, grid, cloud 2 3

Experiment Workbench 2 4

Binding sites in proteins u Comparison of Services for Predicting Ligand Binding Sites t t u Multiple services available on the Web Conversions between data formats Visualization scripts (Jmol, Gnuplot) Single access based on experiments developed in Virtual Laboratory Calculation of hydrophobicity profiles Multiple scales, parameters, input data Computed using PL-Grid resources – easy access to Zeus cluster at Cyfronet t Management of experiment results: ~ 1 Million output files t Using semantic integration framework Collaboration with Department of Bioinformatics and Telemedicine, for metadata management t t Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula 2 5

Analysis of water solutions of aminoacids u Involving multiple steps realized with many tools, languages and libraries used for t t t Packmol – molecular dynamics simulations of packing molecules in a defined regions of space Jmol – visualization of solution Gaussian – computing a spectrum of the solution Python/CCLIB – extracting spectrum info jq. Plot – displaying plot Collaboration with computational chemists of ACC Cyfronet AGH and Department of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga 2 6

Conclusions Complex scientific applications need dedicated tools and approaches. u In-silico experiments are supported by Virtual Laboratory powered by Grid. Space 2 technology. u Applications: u Bioinformatics t Computational chemistry t More are welcome! t u Virtual laboratory is open for PL-Grid users. 2 7

References u http: //wl. plgrid. pl – open the Virtual Laboratory in your browser u http: //gs 2. cyfronet. pl – learn more about Grid. Space 2 technology u http: //virolab. cyfronet. pl – see our earlier achievements u http: //www. plgrid. pl – become a user of PL-Grid 2 8