Grid-computing bei CDF M Feindt U Kerzel Th

Grid-computing bei CDF M. Feindt, U. Kerzel, Th. Kuhr, M. Milnik, T. Müller, G. Quast Universität Karlsruhe März 2006 Michael Milnik - DPG 2006 - Dortmund

Warum Grid bei CDF l l l Wachsende Datensätze Simulation: offizielle und private (re-)Prozessieren der Daten ! Eine große, zentrale Farm reicht nicht mehr ! Signifikante Resourcen außerhalb vom Fermilab Aber: l Datennahme läuft schon lange l Design-, Entwicklungs- und Testphase gleichzeitig l Benutzer nicht an Grid-Entwicklung interessiert März 2006 Michael Milnik - DPG 2006 - Dortmund 2

CDF Resourcen site CAF (FNAL) CPU/GHz disk/TB 3200 300. 0 Italy 480 32 Korea 178 5. 1 Taiwan 134 3. 0 San Diego 380 4. 0 Rutgers 100 4. 0 Toronto 576 10. 0 Japan 152 5. 0 Spain 50 1. 5 322 3. 2 215(4270) 40. 0/80. 0 MIT Grid. Ka März 2006 Michael Milnik - DPG 2006 - Dortmund 3

Grid l Grundidee: l l Benutzer gibt vor: Programm, Datensatz, etc. Benutzer bekommt: ntuple, Plots, etc. ! Grid kümmert sich um den Rest: l l wo am besten gerechnet wird Datenbereitstellung etc. Analogie zum Stromnetz: “versteckte” Komplexität vor Benutzern März 2006 Michael Milnik - DPG 2006 - Dortmund 4

Weg zum Grid für CDF Ansatz: Starte mit funktionierendem Systemen und migriere zum Grid l Central Analysis Farm: CAF l ausserhalb FNAL: l l MC Production Klon der CAF falls 100% CDF Resourcen Migration: 1. SAM: zum Verwalten der Daten 2. Frontier: zur Entlastung der DB 3. Glide. CAF: CAF Interface, aber weltweit einsetzbar März 2006 Michael Milnik - DPG 2006 - Dortmund 5

Beispiel Grid. Ka: Deutsches Grid Kompetenzzentrum l 8 Experimente (LHC, Ba. Bar, Tevatron, Compass) l Tier 1 für LHC, Tier. A für Ba. Bar l 1 Vorrechner/Ex. , Farm für alle Vorteil: l Freie Resourcen können von anderen Experimenten genutzt werden (z. B. zwischen LHC datachallenges) Aber: nur bei gleichem Aufbau der Farm für alle möglich März 2006 Michael Milnik - DPG 2006 - Dortmund nominell Beispiel 6

SAM Sequential Access via Metadata = SAM l einzelner Datensatz enthält viele tausende Dateien ! automatisches System SAM: l Metadaten steuern Auswahl der Daten l transferiert Daten zum Job l Integriert in CDF Analyseumgebung AC++ (auch Python-, shell-, ROOT- und C++Interface) März 2006 Michael Milnik - DPG 2006 - Dortmund 7

[email protected] Ka : SAM verwaltet Datenzugriffe: l “langsame” Bänder via d. Cache l schnelle Zugriffe via Netzwerk auf Festplatten l automatisches Kopieren l automatisches Speichern importierte Datensätze auf Band l l unabhängiger vom FNAL komplette Analyse am Grid. Ka: Quanten Zahlen des X(3872) März 2006 Michael Milnik - DPG 2006 - Dortmund 8

[email protected] Ka : Frontier Jeder CDF Job kontaktiert zentrale DB (Kalibration, etc) ! Latenzzeiten, etc. verlangsamen Analysen ! Datenbank Proxy: Frontier l basierend auf Squid: Web Proxy Cache l lokaler Cache: keine Verbindung zum FNAL nötig l einfache Installation und Betrieb im userspace ! sehr gute Erfahrung bei CDF trotz späterer Integration ! Weiterentwicklung und Integration bei LHC März 2006 Michael Milnik - DPG 2006 - Dortmund 9

[email protected] Ka : Glide. CAF Letzter Schritt zum Grid: Glide. CAF genauso zu benutzen wie CAF Enduser bemerkt kaum einen Unterschied l CAF kein Cluster mehr, nur noch Portal l Globus Tools des lokalen Clusters werden genutzt l Job startet auf WN via Condor Glide-Ins ! keine spezielle Installation im Cluster nötig, nur ein Portal l März 2006 Michael Milnik - DPG 2006 - Dortmund 10

[email protected] Ka : Glide. CAF Glide-Ins: 1. 2. 3. 4. Job startet auf WN Condor deamon wird gestartet Deamon meldet sich zurueck ! WN wird Teil des Condor Pools Job wird geladen und ausgeführt März 2006 Michael Milnik - DPG 2006 - Dortmund 11

Zusammenfassung l l CDF Gruppe am Grid. Ka entwickelt sich mit dem Experiment ¼ 500 TB Daten analysiert l SAM seit über 2 Jahren im Produktionsbetrieb l Frontier seit über einem Jahr in Benutzung l Glide. CAF wird gerade aufgesetzt l CDF hat signifikante Resourcen ausserhalt FNAL: Grid. KA und Italien am aktivsten l CDF hat sich vom zentralen System zum Grid während es läuft entwickelt. l Physik Analysen sind nicht mehr ans FNAL gebunden März 2006 Michael Milnik - DPG 2006 - Dortmund 12