CMS Computing 2007 M Paganoni CSN 1 Trieste

CMS Computing 2007 M. Paganoni CSN 1, Trieste, 21/9/2006 21/9/06 M. Paganoni, Trieste, CSN 1 1

Modello di calcolo a Tier di CMS • Tier-0: § § § Accepts data from DAQ Prompt reconstruction Data archive and distribution to Tier-1’s 21/9/06 • Tier-1’s: • Tier-2’s: § § § § Real data archiving Re-processing Skimming and other dataintensive analysis tasks Calibration/alignment MC data archiving M. Paganoni, Trieste, CSN 1 § User data Analysis MC production Import skimmed datasets from Tier-1 and export MC data Calibration/alignment 2

Programma di integrazione Computing e Software (2006) Nuove componenti di CMS (secondo specifiche del CTDR): Event Data Model, Data Management system, Production Tools (Monte Carlo, re-processing e skimming ai Tier 1), CRAB per CMSSW Nuove release di middleware GRID: g. Lite 3. 0 e OSG 0. 4. 1 Definizioni dello stream di dati: La classificazione degli eventi a livello di Tier 0 permette di ottimizzare l’accesso, garantendo priorità agli stream di calibrazione e agli “hot stream” O(50) ‘primary datasets’ O(10) ‘online streams’ O(2 PB)/yr raw data divisi in O(50) dataset sulla base degli HLT Punti di partenza della produzione nel 2008: Distribuzione comune di RAW e RECO Formato compatto (AOD) da distribuire in molte repliche Programma di ricostruzione veloce, per ri-ricostruzione Bookkeeping e workflow efficienti 21/9/06 M. Paganoni, Trieste, CSN 1 3

Analisi di CMS (Italia) Physics Analyses of First data Software Algorithms Software tools & Middleware Identification of Physics channels Commissioning of detectors Calibration / Alignment Reconstruction software (RECO Data) Management Tools End User Support & Interfaces Analysis Job submission (CRAB), etc. Dataset definition & Location Dataset discovery (DBS), etc. Grid Integration Infrastructure 21/9/06 Analysis Object Data (AOD) Resources: Tier 1 & Tier 2 s (and M. Paganoni, Trieste, CSN 1 Tier 0) Performances tests Services: Tier 1 & Tier 2 s (and Tier 0) 4

L’analizzatore “vede” questo… (e non vorrebbe vederlo…) Ambiente CMS+Grid Quali Dataset ci sono? (CMS specific) CRAB: creazione, partizionamento e sottomissione (via BOSS) dei job Il risultato ritorna allo user! Dove mandare i job? Dove stanno i files del Dataset? (GRID) Il job trova i files via il local file system (GRID) Il job va sul CE scelto dal RB (GRID) (GRID node col sw CMS) I files vengono LETTI e SCRITTI 21/9/06 Il job esegue M. Paganoni, Trieste, CSN 1 (GRID) 5

Calcolo distribuito The CMS computing environment is a distributed system of computing services and resources that interact with each other as Grid services. The set of services and their behavior together provide the CMS computing system as part of the Worldwide LHC Computing Grid. q q q 30 centri regionali organizzati su due Grid (EGEE e OSG) Molti siti partecipano alle operazioni di CMS solo da 1 anno ! Molta attività di integrazione è dedicata a validare e mettere sotto stress siti, connessioni, strumenti del middleware WLCG Service Challenge 4 (SC 4) deve portare l’infrastruttura Grid al livello di produzione per LHC entro fine 2006 Computing Software Analysis 2006 (CSA 06) è un esercizio di CMS che coinvolge tutta la catena di processamento dei dati 2006 (anno di integrazione) 2007 (anno di produzione) (con un incremento delle risorse di un fattore 2 -3) 21/9/06 M. Paganoni, Trieste, CSN 1 6

SC 4: throughput Tier 0 -Tier 1 ai rate 2008 3. 8 PB di dati trasferiti dal CERN ai Tier-1 in 4 mesi (Mag-Lug 06) 500 MB/s dal CERN ai Tier-1 solo storage srm trasferimenti basati su FTS 21/9/06 M. Paganoni, Trieste, CSN 1 D. Bonacorsi 7

SC 4: test dei siti con CMSSW jobs Nell’ultimo mese più di 30 siti hanno partecipato ai test sottomettendo CMSSW con Job. Robot. 10 K 80 % Percentuale di successo (esclusi fallimenti dell’applicazione) 21/9/06 Numero medio di job/giorno inviati sul sito per la validazione M. Paganoni, Trieste, CSN 1 8

CMS Tier 0 q Workflow e Dataflow per Prompt Reconstruction e Prompt Calibration q Prototipo disponibile da luglio 2006 q Verificato il rate di lettura e scrittura dei dati e lo splitting degli HLT nei 50 primary dataset q 50 M eventi minimum bias processati a 100 Hz con un programma di ricostruzione semplificato (40 Hz è l’obbiettivo di CSA 06, 150 Hz è il rate nominale 2008) q Attualmente 1. 4 MSI 2 k e 235 TB 130 Hz q Per minimum bias prompt reconstruction 3 s/event 40 Hz 21/9/06 M. Paganoni, Trieste, CSN 1 9

CMS CAF q q 1 Tier-1 ‘nominale’ + 2 Tier-2 ‘nominali’ Struttura dedicata all’interno del Tier 0 – q q q DISK: 1. 5 PB; MSS: 1. 9 PB CPU: 4. 8 MSI 2 K; WAN >10 Gb/s Studi urgenti per la presa dati del rivelatore (trigger), ‘prompt calibration’, ‘hot channels’, (analisi utenti) Responsabilità CERN, ma accessibile da tutto CMS (come Tier -1) Condition database e Calibration database 21/9/06 M. Paganoni, Trieste, CSN 1 10

Computing Software Analysis 2006 q Test di workflow e dataflow (25% di quanto necessario nel 2008) q Preparazione di grandi dataset (alcuni con tag HLT) q Prompt reconstruction al Tier 0: • • Ricostruzione a 40 Hz con CMSSW Applicazione delle costanti di calibrazione dal database offline Generazione di RECO, Al. Ca. RECO, AOD Splitting del campione con tag HLT in 10 streams – Calibration jobs on Al. Ca. Reco (&Reco) datasets at some Tier-1 s and proto-CAF (CERN) – Skim jobs at some Tier-1 s with data propagated to Tier-2 s – Physics jobs at Tier-2 s and Tier-1 s on AOD and Reco q q q Invio di parte di RECO e Al. Ca. RECO e di tutti gli AOD ai Tier 1 Calibrazione, Ri-ricostruzione ai Tier 1 e al CAF Skim jobs e propagazione dei dati ai Tier-2 Job di Fisica a Tier 1 e Tier 2 E’ l’ultimo test di integrazione software-computing prima dell’inizio della presa dati ! 21/9/06 M. Paganoni, Trieste, CSN 1 11

Calibration/alignement exercise (CSA 06) • Calibration/alignment constants application – All events to have calibration constants applied from DB during prompt reconstruction at Tier-0 – Miscalibration and misalignment applied as special case – DB deployed to Tier-1 centres • Calibration/alignment tasks – Specialized tasks to align/calibrate subsystems using dedicated datasets, e. g. • Align a portion of Tracker (à la Physics TDR Vol. 1) using a prototype of the CAF for prompt calibration/alignment • Intercalibrate ECAL crystals by isolated electrons from Ws and phi symmetry in minbias events – Specialized Al. Ca. Reco data format to be produced at Tier-0 for calibration/alignment streams – Full workflow of writing derived constants back into DB and performing re-reconstruction at Tier-1 applied for some exercises 21/9/06 M. Paganoni, Trieste, CSN 1 12

Physics Analysis exercise (CSA 06) • HLT Tagging/Data Streaming – HLT filters based on “MCtruth” developed and 12 trigger paths created from PTDR Vol. 2 trigger menu • Reconstruction-based HLT not available on CSA timescale – HLT “soup” simulated and tagged by HLT filters – Split into separate datasets based on HLT bits for Tier-0 input • Analysis demonstrations – Under coordination by PRS groups, with many activities clustered around particular Tier-2 centres – Includes signal extraction (J/ , W, Z, Z’, Higgs, SUSY), reconstruction efficiency determination, mass peak reconstruction, etc. – Will involve running skim jobs to select events for analysis at Tier-2 (by design in the preparation of some physics 21/9/06 samples) M. Paganoni, Trieste, CSN 1 13

Risorse necessarie per CSA 06 • Tier-0 (CERN): – 1. 4 M SI 2 K (~700 boxes at CERN) – 180 TB • Tier-1 (7 sites): – 2500 CPUs in total – 40– 700 TB disk + tape at participating Tier 1 • Expected 70 TB to participate • Tier-2 (25 sites): – 2400 CPUs in total – Average 10 TB disk at participating Tier-2 • 5 TB minimum to participate, but many with much more then that to run exercise at realistic scale 21/9/06 M. Paganoni, Trieste, CSN 1 14

Produzione MC per CSA 06 q Inziata a metà luglio con lo scopo di produrre 50 M di eventi da utilizzare per la ‘prompt reconstruction’ q L’obbiettivo è stato superato in meno di 2 mesi da 4 team (1 con OSF e 3 con LCG) che hanno operato il Production Agent in parallelo, producendo: Min. Bias: 44 Seconds/Event on Xeon 3. 6 GHz) In total 5 M events/day Total: ~ 66 M events Total FEVT: O(150) TB Total Reco: O(15) TB Total AOD: O(2) TB minimum bias 40 M ttbar 6 M Z 2 M W e 4 M EWK Soup 5 M Soft 2 M HLT Soup 5 M Jet calibration soup 1 M q Le difficoltà sono state incontrate con la gestione dei siti (storage, worker node, trasferimenti, …) e non con il software di CMS 21/9/06 M. Paganoni, Trieste, CSN 1 15

CSA 06 - produzione eventi simulati (Minimum Bias) N. De Filippis 21/9/06 M. Paganoni, Trieste, CSN 1 16

CSA 06: produzione MC LCG(3) ttbar Minimum Bias Jets 21/9/06 Electroweak soup M. Paganoni, Trieste, CSN 1 17

CSA 06: produzione MC LCG(3) Confronto tra le attivita’ di produzione eventi Minimum Bias per CSA 06 per i Tier 2 italiani (normalizzati alla potenza di calcolo) 21/9/06 M. Paganoni, Trieste, CSN 1 18

Distribuzione dati CSA 06 ai Tier 1 Generally planned to distribute Reco and AOD To this add Hep. MC information to AOD and Reco Propose to also keep digis to emulate “raw” data for FEVT (raw+reco) Event sizes: u u u 21/9/06 AOD: 60 k. B (bb events) Reco: 400 k. B (bb events) FEVT: ~1. 9 MB M. Paganoni, Trieste, CSN 1 19

CSA 06: profilo temporale • 15 Sept. – CMSSW_1_0_0 Release – Deadline for list of fixes needed in reconstruction, calibration, and alignment software based on T 0 tests and software validation • 2 Oct. – CSA exercise officially launched – Prompt reconstruction (PR) begins at T 0 on minbias stream – Output shipped to T 1 s • 9 Oct. – T 1 Skim jobs started – T 1 skim jobs launched to transfer data to T 2 s – PR begins on calibration sample events: Z µµ, W e , Jets • 16 Oct. – Prompt Calibration jobs started, T 2 analysis jobs started – Prompt calibration jobs start at T 0 – T 2 analysis jobs started – PR begins on remaining physics samples: tt, EWK, Soft. Muon • 23 Oct. – Calibration, Alignment jobs started – Calibration/Alignment jobs started based on Al. Ca. Reco streams – T 2 user skim and analysis jobs fully ramped up – PR begins on HLT streams Trieste, CSN 1 21/9/06 M. Paganoni, 20

Job di Fisica ai Tier 2 italiani q q q LNL: massa trasversa W da W --> Roma: calibrazione da Z --> ee e W --> e Pisa: selezione di eventi (jet calibration soup) Bari: allineamento tracciatore (Z --> ) + altre attivita’ in corso di definizione 21/9/06 M. Paganoni, Trieste, CSN 1 21

Uso della GRID da parte di CMS = jobs completed/day 18 K average over last month 22 K average over last week Goal = 25 Kjobs/day Nel plot solo i job inviati dal Job. Robot da CMS ovunque Nel plot i job inviati da CMS in Italia 21/9/06 M. Paganoni, Trieste, CSN 1 22

Utilizzo CNAF All VO CMS 21/9/06 M. Paganoni, Trieste, CSN 1 23

Validation packages (ECAL Sim. Hits & Digis) ADC count distributions. One plot for each time ordered sample from ADC OSCAR vs CMSSW Longitudial shower shape for photons Validation/Ecal. Hits, Ratio of energy deposited in matrices of Validation/Ecal. Digis Available 21/9/06 M. Paganoni, crystals centered on the maximum deposit Trieste, CSN 1 24 F. Cossutti

Visualizzazione: IGUANA Tracker geometry 3 D Muon simulation Muon through tracker 21/9/06 M. Paganoni, Trieste, CSN 1 Muon through tracker 25

Stato della ricostruzione in CMSSW T. Boccali Local. Reco Tracker Muons Strips Pixels G. Bruno V. Chiochia DT ECAL P. Meridiani HCAL J. Mans CSC RPC N. Amapane T. Cox M. Maggi Global. Reco Tracks Muons N. Amapane T. Cox Electrons S. Rahatlou D. Futyan Jets R. Harris MET R. Cavanaugh Vertices BTagging Tau. Tagging P. Vanlaer • Reco. Local*: >30000 linee di codice (5000 a CHEP 06) • Reco*: ~100000 linee di codice (5000 at CHEP 06) 21/9/06 M. Paganoni, Trieste, CSN 1 26

Local Reconstruction – Muon DT • Several levels of refinement – 1 D hits in a layer – 2 D segments in a superlayer – 4 D segments in a chamber • Including calibration • Well tested; stable since several releases • Extensively used for MTCC data analysis 21/9/06 N. Paganoni, Trieste, CSN 1 Amapane M. 27

Local Reconstruction – Muon DT N. Amapane Chamber extrapolation: MB 1 MB 2 21/9/06 M. Paganoni, Trieste, CSN 1 28

Local Reconstruction – ECAL q Local Reco complete for EB + EE + ES q Supporting special reconstruction for H 4/H 2 test beams (phase measurement needed) q Rec. Hit reconstruction in laser monitoring runs used in special DQM for laser runs q Offline DB has been populated with all conditions for the H 4 test beam for different running periods P. Meridiani q Automatic official production of Rec. Hits q for H 4 test beam has been put in place 21/9/06 M. Paganoni, Trieste, CSN 1 29

Stato del software di calibrazione ECAL 4 SM di ECAL (4 x 1700 cristalli) calibrati sul fascio calibrated vs uncalibrated energy 21/9/06 Map of calibration constants M. Paganoni, Trieste, CSN 1 P. Govoni 30

Studi di performance del tracciamento Single muons Kalman Filter KF KF Tracking efficiency Seeding efficiency 21/9/06 G. Cerati, B. Mangano… M. Paganoni, Trieste, CSN 1 31

MTCC data (Standalone. Muon. Producer) Extrapolation to tracker 21/9/06 M. Paganoni, Trieste, CSN 1 STA-muon 32

Global. Reco: Electron Seeding without Pixels • Brand new electron algorithm – Of great interest for CMS startup (possibly w/o pixel detector) and high level trigger (fast electron identification) • From super clusters to Si strips – inner hits point to super cluster – outer hits point to cluster w/o brem recovery – Background rejection based on number of hits along the path S. Rahatlou Preliminary Performance: Good separation between electrons and minimum bias Still large feed through from L 1 accepted minimum bias Super. Cluster Df = 10 mrad 21/9/06 M. Paganoni, Trieste, CSN 1 # Si strip hits 33

Definizione formato RECO / AOD Rec. Hits for all detectors Tracks Primary vertices Ecal basic/super clusters Calo. Towers Jets Iterative cone (two collections) Kt Mid point (two collections) MET electrons, photons, muons b/tau tagging bb events RECO: 490 k. B/ev AOD: 67 k. B/ev H-->ZZ-->4 events RECO: 125 k. B/ev AOD: 20 k. B/ev Check what we can afford given our data size goals (CTDR) L. Lista 21/9/06 M. Paganoni, Trieste, CSN 1 34

Stima costi • • • 1 TB = 1. 5 k. Euro 1 box = 8 k. SI = 3 k. Euro Le richieste totali (inclusi SJ) porterebbero sul totale dei 4 centri di calcolo ad avere un fattore 2 sotto il piano iniziale, per tenere conto della rimodulazione di LHC (248 TB contro 530 TB e 1014 k. SI 2 K contro 1600 k. SI 2 K) 21/9/06 M. Paganoni, Trieste, CSN 1 35

Richieste finanziarie -Tier 2 E’ fondamentale per la comunità di riferimento l’upgrade Tier 2 -SJ Tier 2 per Pisa. Il progetto degli impianti e’ pronto e i costi infrastrutturali sono ridotti per sinergie con Dip. Fisica e SNS 21/9/06 M. Paganoni, Trieste, CSN 1 36

Milestones 2006 • 1) June 2006. LCG Service Challenge 4 (SC 4) start, being the software and computing support for the Cosmic Challenge ready: includes Tier 1 -CNAF+ at least 1/2 of CMS-Italy Tier 2 s. (100 %) • 2) October-November 2006. Computing, Software and Analysis. Challenge (CSA-2006): includes Tier 1 CNAF, all CMS-Italy Tier 2 s and some CMS-Italy Tier 3 s. (on track) • 3) December 2006. Integration of Computing systems at. Tier 1 s and Tier 2 s ready for testing: includes all Italian. Tiers for CMS. (in progress) 21/9/06 M. Paganoni, Trieste, CSN 1 37

Milestones 2007 • 1) Struttura di data serving con affidabilita' ~70% integrata sui siti INFN (Tier 1 e Tier 2) sia per i dati di calibrazione sia per i dati del pilot run (12/07) • 2) Risorse disponibili e garantite attraverso i tools di WLCG secondo quanto dichiarato nei Mo. Us nei siti INFN (Tier 1 e Tier 2) (6/07) • 3) Coordinamento nazionale delle attivita' integrate in CMS per la simulazione, la ricostruzione e l'analisi (9/07) • 4) Accesso ai siti INFN (Tier 1 e Tier 2) garantita a tutti i membri di CMS Italia per le attivita' di calcolo legate al commissioning dei rivelatori (9/07) 21/9/06 M. Paganoni, Trieste, CSN 1 38

Richieste M. E. per resposabilita’ ufficiali Persona Sezione M. E. Responsabilita’ L. Silvestris Bari 5 m. u. software CMS M. Paganoni Milano Bicocca 4 m. u. computing Italia L. Lista Napoli 2 m. u. Analysis Data Object M. Biasotto U. Gasparini S. Lacaprara Padova 6 m. u. T 2 -Legnaro, PRS-muoni, Computing Technical Integration T. Boccali F. Palla Pisa 6 m. u. Programma di Ricostruzione e PRS-b/tau L. Barone Roma 2 m. u. T 2 Roma e Operations S. Belforte Trieste 10 m. u. coordinamento computing CMS D. Bonacorsi, A. Fanfani, D. Spiga, N. De Filippis, G. Donvito, Bologna, Perugia, Bari 6 m. u. tasca comune Ruoli chiave nello sviluppo e nella produzione 21/9/06 M. Paganoni, Trieste, CSN 1 39

Altre richieste • M. I. : 8 k. Euro per coordinatore computing Italia • Consumi: frazione italiana degli M&O Cat A del Computing: 174. 7 k. Euro = 15. 6 % di 1680 k. CHF (anche contributo in kind) 21/9/06 M. Paganoni, Trieste, CSN 1 40

Conclusioni • Molti processi concorrenti di sviluppo stanno convergendo nello stesso tempo: EDM, Framework, Software, DM, Produzione MC, CRAB, Job Management tools, integrazione con EGEE (fase di integrazione, come per i rivelatori) • Dobbiamo passare rapidamente dai “Data and Service Challenges” ad una fase di produzione (infrastrutture, scalabilita’ e sostenibilita’, chiara definizione degli obiettivi e feedback costante, migliore collegamento con CERN) • Dobbiamo fare pesare il contributo INFN nelle decisioni importanti (distribuzione dati ai Tier 1, livello di integrazione con GRID, DBS/DLS, PA, …. ) • Dobbiamo trovare risorse aggiuntive e permettere a chi sta gia’ lavorando di farlo con la tranquillita’ necessaria ad ottenere buoni risultati 21/9/06 M. Paganoni, Trieste, CSN 1 41

BACKUP SLIDES 21/9/06 M. Paganoni, Trieste, CSN 1 42

Conclusioni di L. Tuura (CMS week) • Major progress from busy four months – Much of the infrastructure we use has changed – Substantial sustained performance under our belt now • Future remains unpredictable, the tamagotchi is still with us – Significant progress in central and world-wide operations • Now better equipped to support multiple concurrent activities • Integration remains the top relevant issue – Operating multiple concurrent activities – Hiding boundaries of the computing components from users – Operation and support of a complex stack • From database server to middleware to networks to storage systems 21/9/06 M. Paganoni, Trieste, CSN 1 43

Tier 2 Legnaro • Iniziare l’acquisto delle risorse per “early physics run” del 2008 • Il processamento di 107 eventi (20 s/ev su singola CPU) richiederebbe sulla farm attuale 20 giorni e dovrebbe essere ridotto di un fattore 4 per il 2008 • Lo storage nel 2008 totale dovrebbe superiore a 100 TB • Si chiedono risorse per avere un fattore 2 al di sotto della configurazione richiesta nel 2008 • 20 k. Euro per centro stella e 16 k. Euro per 2 swicth di rete 21/9/06 M. Paganoni, Trieste, CSN 1 44

Tier 2 Roma • Raw data del pilot run di fine 2007 trasferiti al Tier 2 per la calibrazione • Attivita’ di simulazione nei canali con e, • Le richieste mirano ad avere 40 TB e 100 cpu • Preferenza per le blade (minore potenza dissipata e minore impatto sul manpower richiesto): 68. 5 k. Euro per cassetta e 14 lame con Opteron dual-cpu dual-core 21/9/06 M. Paganoni, Trieste, CSN 1 45

Tier 2 -SJ Pisa • Attivita’ di commissioning del rivelatore (allineamento del tracciatore) e di produzione MC • 150 cpu sono il 50 % in piu’ della previsione media per CSA 06 • 80 TB di disco sono la meta’ del piano iniziale • E’ fondamentale per la comunità di riferimento l’upgrade Tier 2 -SJ Tier 2 21/9/06 M. Paganoni, Trieste, CSN 1 46

Proto-Tier 2 Bari • La richiesta minimale e’quella per proseguire l’esperienza su d. Cache e PHEDEX (2 server = 9 k. Euro e 5 TB = 7. 5 k. Euro) • La richiesta SJ porta, in caso di approvazione, a circa la meta’ delle risorse previste per il 2007 21/9/06 M. Paganoni, Trieste, CSN 1 47

CMS data q There are data (events) (KB~MB: size driven by physics) q q Event data are in files (GB: size driven by DM convenience) q q q CMS catalogs lists files, not events 10^3 Fileblocks/year CMS data management moves Fileblocks are grouped in Datasets (TB: size driven by physics) q q 10^6 files/year Files are grouped in Fileblocks (TB: size driven by DM convenience) q q 1 PB/year = 10^12 KB Datasets are large (100 TB) or small (0. 1 TB) Datasets are not too many: 10^3 Datasets (after years of running) CMS catalog (DBS) lists all Datasets and their contents, relationships, provenance and associated metadata CMS Data Location Service (DLS) list location of all File Blocks RAW, DIGI, HITS, RECO, AOD…. All are handled in this way 21/9/06 M. Paganoni, Trieste, CSN 1 48

Data Processing q Data are used by workflows. All workflows are the same (roughly): q q q Monte. Carlo, Reconstruction, Analysis… Run application on all files of Dataset D-In (or just N times for Initial MC generation), produce Dataset D-Out In practice q q Access DBS to list Fileblocks for D-In. Access DLS to find locations Split in N jobs to exploit farms. Obtain N output files q q q Register N files in Dataset D-Out in DBS/DLS Special (and VERY common) case: file merging q q q copy those files to final destination (now or later) Collect/merge N small outputs in fewer larger files (w/o mistakes) Is still the same workflow: run many jobs, each application instance reads many files to produce a single one. New CMS Production Tool to address this 21/9/06 M. Paganoni, Trieste, CSN 1 49

Computing Summary q CMS computing project is working hard to create an environment where the CMS users will not perceive that the underlying computing fabric is a distributed collections of sites, rather then the old fashioned single large computing center q The most challenging part in the distributed system q Some site is always having some problem q We have made large progress in understanding and reducing the problems while working at a scale comparable to CMS running conditions q 2006 is “Integration Year” q Tie the many sites with common into a working system q 2007 will be the “Operation Year” q Achieve smooth operation with limited manpower, increase efficiency, complete automated failure recovery while growing a factor 2 or 3 in scale 21/9/06 M. Paganoni, Trieste, CSN 1 50