Metodologie della Ricerca Master Funzioni di Coordinamento Gualberto Gussoni Direttore Scientifico Dipartimenti "Ricerca" e "Formazione" Fondazione FADOI gualberto_gussoni@yahoo. it gualberto. gussoni@gmail. com
Clinical Governance Audit and Evaluation Systems for Quality Evidence. Based Practice and Policy Risk Management Accountability and Performance Technology Assessment Co-Ordinated Clinical Governance Managing Resources and Services Reliable Data Learning Culture Research and Development G. Ricciardi, 2004
Perché fare Ricerca ? Per curiosità / motivazione personale Pro-curriculum Scambio culturale / confronto con altri "Su commissione" ……………. .
Sviluppo delle competenze professionali correlate alla Ricerca • Comprendere le componenti di un processo di ricerca e i diversi disegni e tipi di studio • Ricercare le evidenze disponibili in letteratura • Analizzare criticamente un articolo di ricerca • Utilizzare i risultati delle ricerche per prendere decisioni assistenziali • Descrivere e documentare i problemi con importanti implicazioni per la pratica • Partecipare a progetti di ricerca • Elaborare progetti di ricerca Prefazione alla edizione italiana del volume "La ricerca infermieristica: leggerla, comprenderla e applicarla" di J. A. Fain
Quale è l’obiettivo della Ricerca ? E’ rispondere ad un need medico conoscitivo diagnostico-terapeutico
La Ricerca (Farmacologica) Pre-clinica Clinica
Ricerca clinica Sperimentazione clinica ("interventistica") Studi osservazionali
Sperimentazione clinica / Studio Ogni sperimentazione su soggetti umani intesa ad identificare o verificare ica" e/o altri - gli effetti clinici, farmacologici ntr oce ac effetti farmacodinamici arm "f - le reazioni avverse one isi -V l’assorbimento, la distribuzione, il metabolismo e l’eliminazione con l’obiettivo di valutare sicurezza e/o efficacia di un prodotto
Sperimentazione non interventistica Studi osservazionali L’inclusione del paziente in una determinata strategia diagnostica o terapeutica non è decisa in anticipo da un protocollo di sperimentazione, ma rientra nella normale pratica clinica Ai pazienti non deve essere applicata nessuna procedura supplementare di diagnosi o monitoraggio e per quanto riguarda l’analisi dei dati raccolti sono utilizzati metodi epidemiologici
"A new paradigm for medical practice is emerging" "Evidence-based-medicine de-emphasize intuition, unsystematic clinical experience, and pathophysiologic rationale as sufficient grounds for clinical decision making and stresses the examination of evidence from clinical research "
La piramide dell’evidenza SRs di RCTs Studi di coorte Studi caso-controllo Serie di casi Case-report Opinioni di esperti Studi preliminari (animals, in vitro )
RCTs – Studi randomizzati controllati “Randomizzazione" Attribuzione casuale/del paziente ad uno dei trattamenti procedure in studio Consente, fra le varie cose, di ridurre / annullare le differenze fra le caratteristiche basali di due popolazioni, rendendole così confrontabili nell’ambito di una sperimentazione clinica
RCTs – Studi randomizzati controllati “Controllo" “In cieco" Il trattamento / procedura in studio viene confrontato/a con uno o più trattamenti o procedure alternativi/e (es. trattamento standard o placebo) Singolo generalmente il paziente non conosce il trattamento, il medico sì, in alcuni casi avviene il contrario Doppio né il paziente né il medico conoscono il trattamento
Quando è etico l’uso del placebo In patologie per le quali non è riconosciuto un trattamento efficace / gold standard Quando per il trattamento sperimentale è previsto un uso in add-on rispetto alla terapia standard In condizioni che per scarsa aggressività possono non richiedere trattamento specifico per un certo periodo di tempo
Ma gli studi randomizzati e l’EBM sono un dogma?
"Parachutes reduce the risk of injury after gravitational challenge, but their effectiveness has not been proved with RCTs" "… we feel assured that those who advocate evidence based medicine and criticise use of interventions that lack an evidence base will not hesitate to demonstrate their commitment by volunteering for a doubleblind, randomised, placebo controlled, crossover trial. " Smith & Pell, BMJ 2003
Studi non randomizzati Principali rischi di bias negli studi non randomizzati: • Sbilanciamento dei fattori prognostici • Attribuzione del trattamento in funzione della prognosi (es. trattamento sperimentale assegnato a pz con prognosi migliore) • Questo disegno di studio non dovrebbe occupare più alcun ruolo nella moderna ricerca clinica (CONSORT Statement II)
NCCTs – Studi non controllati Le principali fonti di bias negli NCCT sono: • Variabilità prognostica e di decorso delle malattie • Effetto placebo • Aspettative ottimistiche del medico e del paziente
NCCTs – Studi non controllati Possono essere presi in considerazione nel caso di: • Malattie rare • Studi di fase II • Quando sussistono le seguenti condizioni - presupposti fisiopatologici convincenti - patologie ad esito fatale - efficacia molto rilevante del trattamento - effetti sfavorevoli accettabili - assenza di trattamenti alternativi
Alcune caratteristiche dei RCTs I pazienti sono selezionati per patologie "pure“, senza comorbilità importanti o terapie che possono condizionare le valutazioni sugli effetti del trattamento sperimentale Gli Sperimentatori sono in genere particolarmente esperti Il monitoraggio dei pazienti è più assiduo e completo di quello routinario La compliance è generalmente mantenuta alta ? Efficacy vs Effectiveness Trasferibilità al mondo reale
EFFICACY EFFECTIVENESS E’ l’effetto di un intervento in un contesto sperimentale E’ l’effetto di un intervento nella pratica clinica, nel mondo reale
I pazienti risultavano ‘esclusi’ in base a…. età sesso femminile comorbidità polifarmacoterapia 72. 1% dei trials 47. 0% dei trials 81. 3% dei trials 54. 1% dei trials
Comorbidity Applying evidence-based medicine in the ‘real world’: which proportion ? Community Trials ? (Guidelines) 60 70 Age 75 and over …
Studi osservazionali vs RCTs ENOXACAN-2 @ristos Incidenza del TEV sintomatico dopo chirurgia oncologica • Tutti i pazienti consecutivi operati per neoplasie a livello addominale – toracico – urologico - ginecologico Effetto di una EBPM nella profilassi prolungata del TEV dopo chirurgia oncologica Esclusi pazienti con anestesia locale - durata intervento < 45 minuti G. Agnelli, G. Gussoni et al. Ann Surg 2006 - significativi – recenti precedenti trombotici o emorragici - ipertensione arteriosa non adeguatamente controllata - insufficienza epatica o renale D. Bergqvist, G. Agnelli et al. NEJM 2002
G. Agnelli, G. Gussoni, C. Bianchini et al. Lancet Oncology 2009 Esclusi pazienti con - Chemioterapia adiuvante o neo-adiuvante - Evento tromboembolico nei tre mesi precedenti - Trattamento antitrombotico in corso - Sanguinamento clinicamente significativo nei mesi precedenti - Rischio di sanguinamento (es. PLT < 50. 000) - Ipertensione severa e non controllata - Lesioni secondarie cerebrali - Insufficienza renale – epatica - …………………. .
Perché i criteri di inclusione nei RCTs sono così selettivi? Limitare la variabilità della popolazione in studio, permettendo di ottenere risultati più omogenei e raggiungibili attraverso un minor numero di soggetti osservati Evitare la presenza di fattori (es. terapie concomitanti) che possono condizionare le valutazioni sugli effetti del trattamento sperimentale Limitare i possibili rischi per il paziente correlati ad un uso "sperimentale" dei trattamenti in studio
Comparative Effectiveness Research (CER) Può essere definita come "Una modalità di ricerca intesa a generare e sintetizzare le evidenze riguardanti il confronto, in termini di benefici e rischi, di metodi alternativi di prevenzione, diagnosi, cura o monitoraggio di una determinata condizione clinica, o di erogazione delle prestazioni sanitarie nel mondo reale" Nel 2010 le Autorità Sanitarie USA hanno definito uno stanziamento iniziale di 1, 1 miliardi di dollari a favore di progetti CER
Applicazione dell’EBM e mondo reale Quando i sintomi-segni non sono inquadrabili in una diagnosi definita Quando l’intervento medico è al limite fra clinico e sociale Quando la prescrizione di una terapia evidence-based rischia di essere inappropriata per la presenza di comorbilità o non è accettata dal paziente Genesi multidimensionale delle decisioni mediche Nel caso di "grey zones" dove non sono disponibili RCTs o dove essi sono inapplicabili alle caratteristiche individuali dei pazienti
Evidence based medicine & clinical actions : clinical round on March 1 st , 2010 40. 0% 38. 5% 35. 0% 30. 0% 25. 0% 20. 0% 25. 1% 17. 3% 19. 1% No evidence Level 1 A 15. 0% 10. 0% 5. 0% Level 1 B Level 2 A 0. 0% G. Agnelli - Internal and Cardiovascular Medicine-Stroke Unit, University of Perugia
BMJ 2008; 336: 737 (5 April) News Trial participants need to be more representative of patients Bob Roehr 1 1 Washington, DC
Buona Pratica Clinica (GCP) E’ una serie di requisiti in materia di qualità in campo etico e scientifico, riconosciuti a livello internazionale, vincolanti ai fini della progettazione, conduzione, registrazione e comunicazione degli esiti della sperimentazione clinica con la partecipazione di esseri umani. Il rispetto della buona pratica garantisce la tutela dei diritti, della sicurezza e del benessere dei soggetti della sperimentazione clinica e assicura la credibilità dei dati concernenti la sperimentazione clinica. Direttiva 2001/20/CE del Parlamento Europeo e del Consiglio
La regolamentazione della ricerca clinica Legislazione / Linee-guida internazionali Normative nazionali Regolamentazione regionale Procedure /regolamentazioni locali (Comitati Etici) Procedure operative standard dello sponsor (SOP)
Principali riferimenti normativi D. M. 15. 07. 1997 – G. U. n. 191 del 18. 08. 1997 (GCP) D. L. 24. 06. 2003 – G. U. n. 184 del 24. 06. 2003 (GCP) D. L. 17. 12. 2004 – G. U. n. 43 del 22. 02. 2005 (Studi non profit) D. M. 06. 11. 2007 (GCP) D. M. 21. 12. 2007 (presentazione richieste di autorizzazione) Determinazione AIFA 20 marzo 2008 (Studi osservazionali) Deliberazione del Garante della Privacy 24. 07. 2008 D. M. 14. 07. 09 – G. U. del 14. 09. 2009 (Assicurazione per studi )
Chi autorizza lo svolgimento di una ricerca clinica ? Comitato etico del centro ove viene svolta la ricerca salvo i casi di - terapia cellulare somatica MINSAL sperimentazioni su - terapia genica - farmaci contenenti O. G. M. studi su farmaci di nuova istituzione I. S. S.
Il percorso autorizzativo di una ricerca clinica Comitato etico del centro Coordinatore (studi multicentrici) - protocollo consenso informato privacy copertura assicurativa Comitato etico di ciascuno dei centri partecipanti Amministrazione Ospedale - ASL etc. (convenzione economica)
Una esigenza primaria: la protezione del paziente / soggetto Dichiarazione di Helsinki Tutela del soggetto Good Clinical Practice (GCP) Comitati Etici Consenso Informato Copertura assicurativa
Le fasi della Ricerca (es. farmaco) Fase IV - Post-marketing A. I. C. 12 15 a n n i Fase III Fase I Chimica - Farmacologia C l i n i c a
Fase 0 Mol Intervent, 2007
Fase I Primi studi su un nuovo principio attivo condotti nell’uomo, spesso su volontari sani Lo scopo è quello di fornire una valutazione preliminare sulla sicurezza ed un primo profilo della farmacocinetica e della farmacodinamica del principio attivo nell’uomo
Studi di farmacocinetica Sono tipici della fase I, ma possono essere condotti in varie fasi dello sviluppo di un farmaco Oltre che in volontari e/o pazienti in specifiche condizioni (es. chemioterapia antitumorale), è spesso critico lo studio in soggetti appartenenti a categorie particolari (es. insufficienza renale, insufficienza epatica) e la valutazione di possibile interazione con altri principi attivi
Fase II Studi terapeutici pilota Vengono condotti su un numero limitato di soggetti
Fase III Studi su gruppi di pazienti più numerosi (e possibilmente diversificati), al fine di - determinare il rapporto sicurezza / efficacia - valutare il valore terapeutico assoluto e relativo - valutare specifiche caratteristiche (es. interazioni con altri farmaci, fattori che possono indurre risposte differenti etc. ) Generalmente le condizioni degli studi dovrebbero essere il più possibile vicine alle normali condizioni d’uso previste
Fase IV Studi condotti dopo la commercializzazione , sulla base delle informazioni contenute nel “Riassunto delle Caratteristiche del Prodotto” approvato dalle Autorità Regolatorie Dopo che un prodotto è stato posto sul mercato, gli studi miranti ad indagare, ad esempio, nuove indicazioni, differenti schemi posologici, nuove vie di somministrazione o associazioni, vanno considerati come studi su nuovi prodotti medicinali
L’esempio di un nuovo farmaco anti-ipertensivo • Nella fase preclinica si possono documentare meccanismo d’azione – verifica dell’effetto sulla PA – DE 50 e DL 50 (indice terapeutico) • Nel volontario sano per valutare tollerabilità e effetti su alcuni parametri cardiovascolari, con dosi che si ipotizza efficaci, ben tollerate e <<< DL 50 • Studio in 150 pazienti ipertesi, valutando l’effetto di due dosi diverse del farmaco in studio e confrontandole con un antiipertensivo noto FASE? • Studio su 10. 000 pazienti confrontando la dose ritenuta migliore del nuovo farmaco (es. 20 mg / die per os) con un farmaco antiipertensivo noto e gold-standard FASE? • Dopo la AIC, valutare la frequenza di angioedema utilizzando il nuovo farmaco a 20 mg / die per os in 30. 000 pazienti ipertesi FASE? • Dopo la AIC, studio per valutare gli effetti sulla sintomatologia cardiaca di 20 mg / die per os in pazienti con angina stabile FASE?
Ancora un paio di esempi…… • • Studio in 150 pazienti con diabete valutando l’effetto sul metabolismo glucidico di due dosi diverse di un farmaco antidiabetico in studio e confrontandole con un anti-diabetico noto FASE? Studio in 100 pazienti con acromegalia per valutare gli effetti di un analogo long-acting della somatostatina (1 iniezione ogni due settimane) vs analogo immediate-release della somatostatina (3 iniezioni /die) FASE?
Dove può essere condotta la ricerca clinica? Ospedali, Università, IRCCS, Cliniche private provviste di specifica autorizzazione etc. Medici di Medicina Generale, Pediatri di Libera Scelta (DM 10 maggio 2001)
Chi può essere il promotore (sponsor) di una ricerca clinica? … la persona, società, istituzione oppure organismo che si assume la responsabilità di avviare, gestire e/o finanziare una sperimentazione clinica Direttiva 2001/20/CE del Parlamento Europeo e del Consiglio
Sperimentazioni profit vs non-profit in Italia Rapporto 2010 Os. SC AIFA N=299 N=186
La ricerca sui farmaci in Italia 2004 -2009 Sperimentazioni per area terapeutica Profit No-profit A = Oncologia B = Apparato Cardiocircolatorio 25, 7% C = Neurologia D = Immuno / Infettivologia E = Endocrinologia F = Gastroenterologia G = Apparato Respiratorio H = Ematologia I = Nefrologia / Urologia 35, 9%
Tipo di Promotore non-profit 2004 -2009 Rapporto 2010 Os. SC AIFA Altro A. O. Universitaria / Università Ospedali / ASL Associazioni Scientifiche IRCCS
Sperimentazioni non-profit 2004 -2009 Fonte: Banca dati Eudra. CT % Italia UE
GAZZETTA UFFICIALE DELLA REPUBBLICA ITALIANA Serie generale, n. 43 del 22 febbraio 2005
"Idea-base" del DM 17. 12. 2004 Necessità di individuare modalità operative che favoriscano le sperimentazioni cliniche dei medicinali che non hanno finalità di lucro ma sono finalizzate al miglioramento della pratica clinica e come tali sono parte integrante dell’assistenza sanitaria
Decreto Ministero della Salute 17. 12. 2004 "Prescrizioni e condizioni di carattere generale, relative all’esecuzione delle sperimentazioni cliniche dei medicinali, con particolare riferimento a quelle ai fini del miglioramento della pratica clinica, quale parte integrante dell’assistenza sanitaria" Quando il Promotore e proprietario dei dati è NON PROFIT No pagamento tariffa Comitato Etico to ut , t ra ne? be Copertura assicurativa llo a carico della struttura a a M Farmaci forniti dal SSN Possibile usufruire di fondi / risorse da terzi purchè - garantita indipendenza dello studio - dichiarato al Comitato Etico
FADOI ha coordinando la stesura di un documento propositivo per adeguamenti alle normative sulla ricerca clinica in Italia 2012 arzo -7 m one 6 i. org edizi fado onda www. Sec
Mission della ricerca "non-profit" Integrare le conoscenze scientifiche sulle nuove terapie, con focalizzazione sulle strategie oltre che sul singolo trattamento Studiare popolazioni (e patologie) trascurate dalla ricerca commerciale Confrontare nuove terapie con altre già consolidate Contribuire con i propri risultati a decisioni regolatorie Perseguire obiettivi (es. safety dei trattamenti / percorsi diagnostici) e sviluppare modelli di ricerca (es. osservazionale / pragmatica) poco praticati dai promotori industriali Favorire l’integrazione fra ricerca e formazione
Il “puzzle” dello studio clinico Medical need Fattibilità Qualità dei dati Tempi Costi
“Sviluppo” di uno studio clinico Scheda raccolta dati (CRF) Protocollo IDEA Approvazione Autorità competenti (Consenso pazienti) Registrazione dati Studio Verifiche (interne/esterne) Analisi dei risultati Rapporti finali
Il protocollo di studio • Introduzione - Razionale • Obiettivi dello studio • Piano generale della ricerca • Statistica • Gestione degli eventi avversi Disegno sperimentale Criteri selezione casistica Trattamenti Visite – esami etc. • Aspetti etici • Procedure operative (emendamenti, monitoraggio, audit, • Appendici proprietà dei dati, pubblicazione)
Protocollo di studio Aspetti operativi - amministrativi - Modifiche al protocollo (emendamenti) - Procedure per il monitoraggio (frequenza, livello di controllo etc. ) - Registrazione dati e conservazione documenti - Procedure di verifica (audit) - Gestione del farmaco sperimentale - Proprietà dei dati - Policy di pubblicazione - Confidenzialità - Condizioni per interruzione anticipata dello studio
Alcune "golden rules" per la stesura di un protocollo • Sforzarsi di essere molto precisi e dettagliati Il protocollo è un manuale procedurale che accompagna lo studio in tutte le sue fasi, e deve quindi guidare in maniera il più possibile non ambigua tutte le persone coinvolte nella realizzazione della ricerca • Coinvolgere Colleghi / Esperti nella stesura / revisione del testo Quattro – sei – otto occhi … vedono meglio di due …… • Prendersi il tempo necessario per definire un documento ragionevolmente completo e solido Per ridurre il rischio di perdite di tempo e problemi successivi (emendamenti etc. )
Obiettivi dello studio Disegno sperimentale
Non esiste il tipo di studio ideale, non esistono studi di serie A (es. RCTs) e studi di serie B (es. osservazionale), il tipo di studio va scelto in base agli obiettivi conoscitivi che si vogliono perseguire
Lo studio clinico rispetto al tempo Retrospettivo Prospettico Combinato
Lo studio clinico rispetto al tempo Studio retrospettivo & prospettico combinato Basale “attivo” Prospettico ? Prospettico Basale ? “storico” Retrospettivo Passato remoto Passato Presente Futuro a distanza
Studi "cross-sectional" vs longitudinali Pazienti 1 1 2 Gruppo tratt. A 3 2 3 4 4 5 Gruppo tratt. B 6 Fine studio (settimane - mesi) Viene effettuato un confronto fra i Gruppi (es. trattamento A vs B) 5 6 I risultati nel tempo vengono di solito confrontati con i valori basali
Tipo di studio in funzione del confronto fra gruppi - Studio di superiorità - Studio di "non inferiorità“ / equivalenza
Tipo di studio in funzione del confronto fra gruppi • Studio di superiorità: l’obiettivo è quello di documentare che il “nuovo” trattamento è superiore a quello di confronto, ipotizzando una differenza che deve essere verificata. Il confronto può essere rappresentato da placebo • Studio di equivalenza: l’obiettivo è respingere l’ipotesi alternativa che il nuovo farmaco differisca in più o in meno da quello di confronto di una valore soglia predeterminato ( ), considerato non clinicamente rilevante. Ipotizzando una risposta X nel gruppo di confronto, il trattamento test, per essere considerato “equivalente”, dovrà avere una risposta nell’intervallo X ± . • Studio di non inferiorità: è una sorta di “sottocategoria” degli studi di equivalenza, l’obiettivo è dimostrare che il prodotto in valutazione non è inferiore ad un confronto di più di un margine di differenza predefinito ( ). Ipotizzando una risposta X nel gruppo di confronto, il trattamento test, per essere considerato “non-inferiore”, dovrà avere una risposta nell’intervallo X — • Gli studi di equivalenza o non-inferiorità hanno di solito lo scopo di documentare che il nuovo trattamento ha caratteristiche simili, per esempio di efficacia, rispetto al riferimento, avendo rispetto a questo vantaggi in termini di compliance per il paziente, o safety, o costi
Principali disegni sperimentali (1) "A gruppi paralleli" “Comune" Tratt. 1 A Tratt. 2 Tratt. 1 B Tratt. 2 Tratt. 3 “Run-in“ con placebo Placebo Tratt. 1 Tratt. 2 Tratt. 3
Principali disegni sperimentali (2) “Cross-over" Tr. A “Open-label“ senza randomizzazione BL BL Tr. B Tr. A “Cross-over“ singolo con basale intermedio Tr. A BL BL Tr. B
Principali disegni sperimentali (3) “Fattoriali" Trattamento B Presente (+) Assente (-) Trattamento A “Bilanciato 2 x 2" Presente (+) Gruppo 1 (+/+) Gruppo 3 (+/-) Assente (-) Gruppo 2 (-/+) Gruppo 4 (-/-)
Tipologie studi osservazionali Case report Case series DESCRITTIVI Studi di coorte Studi caso-controllo Studi trasversali …………… ANALITICI
CASO-CONTROLLO esposti CASI non esposti Soggetti dello studio esposti CONTROLLI non esposti direzione temporale dell’osservazione Es. Casi pazienti con IMA Controlli pazienti senza IMA Esposizione Fattori di rischio
Studi caso-controllo CONTROLLI Devono essere un campione rappresentativo della stessa popolazione che ha generato i CASI, e devono avere avuto, rispetto ai CASI, la stessa possibilità di essere stati esposti Devono essere scelti senza conoscere l’esposizione di interesse Devono essere simili ai CASI per le variabili che influenzano il rischio della malattia in studio e che sono note a priori, es. età, genere, residenza etc.
Studi caso-controllo VANTAGGI § Possono essere realizzati in un breve periodo § Richiedono una numerosità generalmente contenuta § Comportano spese minori rispetto ad altri tipi di studio § Sono gli studi più pratici per identificare fattori di rischio per patologie rare SVANTAGGI Ø Possibilità di bias - Selection bias la scelta del gruppo di controlli appropriati è difficile - Recall bias i casi possono essere indotti a ricercare una causa della loro malattia e a riportare una esposizione più frequentemente dei controlli Ø Presenza di potenziali "confounders"
CASO-CONTROLLO COORTE PROSPETTICA outcome + esposti ESPOSTI CASI outcome - non esposti Soggetti dello studio outcome + esposti CONTROLLI NON ESPOSTI non esposti outcome - direzione temporale dell’osservazione Es. Casi pazienti con IMA Controlli pazienti senza IMA Esposizione Fattori di rischio Es. Esposti lavoratori vernici Non esposti altri lavori Outcome Ca vescica
Studi di coorte (prospettici) VANTAGGI § Possono fornire indicazioni di causalità essendo l’esposizione al rischio precedente all’outcome § Consentono una misura diretta di incidenza § Possono studiare molteplici effetti di una singola esposizione SVANTAGGI Ø Costosi ed inefficienti per studiare outcome rari Ø Possono richiedere lunghi periodi di follow-up e/o popolazioni di studio molto numerose Ø Gli individui persi al follow-up possono incidere in maniera significativa sulla validità dei risultati
INCIDENZA PREVALENZA N. di individui che si ammalano nell’unità di tempo (nuovi casi / arco temporale) Frequenza della malattia (n. soggetti malati / sani) in un dato istante
Studi osservazionali trasversali • Consentono di effettuare una fotografia della situazione ad un determinato momento Comorbilità nello scompenso cardiaco Biagi P, Gussoni G et al. Int J Cardiol 2011
Scheda raccolta dati / CRF Documento su supporto cartaceo, ottico oppure elettronico progettato per registrare tutte le informazioni richieste dal protocollo relativamente a ciascun partecipante allo studio Sulle CRF vengono trasferite tutte le informazioni pertinenti allo studio presenti nella documentazione clinica originale (es. cartella clinica, referti esami strumentali etc. ) “Source data / documents”
Contenuti della CRF • Anagrafica • Anamnesi / patologie concomitanti • Verifica criteri di inclusione / esclusione • Risultati delle procedure previste • Compliance al trattamento / drug accountability • Eventi avversi • Trattamenti concomitanti • Chiusura dello studio
Current Paper Process Source Document CRFs DB 1 Primary Investigator Master Clinical Data DB Source Document Verification Double Data Entry Query Report Form DB 2 • Edit checks • Generate Queries • Print Query Report Form CRA CDM Query Report Form Query System DB
Data collection / management WEB-BASED system Source Document Verification Sponsor Monitoring Reports Clinical Data for Review Internet Medical Monitor Site Clinical Data Queries CDM Query / Response CRF Queries Database Transfer Automated Project Status and Metrics Statistical Programming and Analysis Clinical Project Manager
ICD IX dictionary
Web-based data collection / management PROS • • • Efficiente controllo di qualità dei dati (compilazione guidata della CRF, controlli in real-time) User friendly Aggiornamenti in tempo reale sull’evoluzione dello studio Disponibilità on-line di aree di lavoro cooperativo Ridotti tempi di raccolta finale / analisi dei dati Minori costi complessivi per studi di dimensioni medio-grandi CONS • • • Tempo necessario e costi per implementazione della e-CRF (Training iniziale) (Connettività alla Rete)
Lettera informativa per il paziente Consenso informato Elementi costitutivi - illustrazione degli obiettivi - dichiarazione di aver ascoltato, letto, compreso il significato, aver potuto eventualmente porre domande specifiche - (gravidanza) cosa comporta la partecipazione allo studio (visite, esami etc. ) alternative possibili rischi correlati al trattamento / procedure di studio protezione assicurativa tutela dei dati personali ("privacy") possibilità per il paziente di ritirare il proprio consenso
La statistica negli studi clinici Negli articoli pubblicati su riviste di livello medio-alto, i metodi statistici utilizzati devono essere tendenzialmente solidi ed affidabili poiché sottoposti a verifiche in genere accurate da parte dei referees La statistica ci aiuta a rappresentare i fenomeni osservati - descrizione corretta in termini matematici (es. media-medianadeviazione standard etc. ) - analisi dell’AFFIDABILITA’ delle RELAZIONI FRA VARIABILI, IN TERMINI PROBABILISTICI
Un dato SICURO è quello ottenuto sulla popolazione totale, ma questa è chiaramente una condizione teorica, qualsiasi esperimento si realizza in un CAMPIONE, che - per quanto rappresentativo può offrirci non più di una STIMA - si accompagna a una più o meno piccola possibilità di incorrere comunque in un errore di valutazione
Immaginiamo di voler descrivere i dati relativi all’altezza dei pazienti ricoverati in un reparto ospedaliero • Se prendiamo solo i 5 pazienti ricoverati il giorno precedente potremmo per esempio avere 167 – 193– 162 – 178 – 169 cm 150 -159 160 -169 170 -179 180 -189 190 -199 200
• Ma se raccogliamo le altezze degli ultimi 50 pazienti ricoverati nel Reparto, è verosimile che la distribuzione assuma questo tipo di andamento uss Ga ) ione ana" ibuz camp istr "a e d e" ( c inis rmal def "no Si a o ian
La distribuzione Gaussiana è quella che tipicamente rappresenta la variabilità dei parametri biologici
Indici di centralità - Media aritmetica - Mediana rappresenta il valore nel mezzo della distribuzione - Moda è il valore che si osserva con maggiore frequenza Indici di dispersione - Range - Deviazione standard - Errore standard della media
DISTRIBUZIONE NORMALE (Gaussiana) simmetrica attorno alla media = moda = mediana l’area sottesa è = 1 m 1 = 68 % totale superficie sottesa m 2 = 95 % totale m 3 = 99. 7 % totale
La statistica negli studi clinici Alcuni punti critici, soprattutto quanto riguarda gli studi di intervento di confronto, sono rappresentati da - pianificazione del sample size (importante anche per studi osservazionali) - le popolazioni alle quali si riferisce l’analisi (es. intention-to-treat ) - gli indicatori attraverso i quali vengono presentati i risultati - significatività statistica vs rilevanza clinica
Sample size degli studi Il calcolo del sample size fa in modo che il nostro studio abbia la potenza statistica per giungere a risposte sufficientemente affidabili seppur sempre su un piano probabilistico
Perché è importante dimensionare correttamente uno studio? Si studia un effetto in un campione con l’obiettivo di proiettare la conoscenza di tale effetto nella popolazione, MA Se il campione è TROPPO GRANDE ciò non è etico e comporta uno spreco di risorse Se il campione è TROPPO PICCOLO la stima dell’effetto non sarà sufficientemente precisa, e anche questo può non essere etico
Il sample size deve essere definito per tutti gli studi? Laddove è possibile, è certamente auspicabile (anche per gli studi osservazionali) Il calcolo del sample size diventa però difficilmente proponibile negli studi a carattere esploratorio
G. Scannapieco, G. Gussoni et al. Thromb Haemost 2010 TERSICORE Ipotesi: in pazienti ricoverati in reparti di lungodegenza, 3. 000 casi per documentare, in modo sufficientemente affidabile, e con intervallo di confidenza della stima del 95%, una frequenza del TEV sintomatico 1% 3% 2. 4% Frequenza osservata in 3. 039 pazienti
Esempio: 2 ospedali 200 ricoveri/giorno 50% M/F 20 ricoveri/giorno 50% M/F
Esempio: 2 ospedali Un giorno in uno dei due ospedali casualmente il numero di femmine ricoverate è doppio rispetto ai maschi In quale dei due sarà più probabile che ciò accada?
DIMENSIONE CAMPIONARIA poche unità sperimentali = elevata probabilità di “errore”
Esempio: lancio di monete
Esempio: lancio di monete Se la moneta non è truccata, la probabilità di avere testa o croce dovrebbe essere del 50% Se faccio 3 lanci è possibile che venga 3 volte testa e allora potrei pensare che se lancio una moneta esce sempre testa Ma se la lancio 30 volte, e la moneta non è truccata…. . vi aspettereste che uscisse 30 volte testa? Probabilmente mi avvicinerò al teorico 50: 50
Il sample size di uno studio. . . Viene determinato in funzione della verifica dell’obiettivo primario ("primary end-point") dello studio L’obiettivo primario non necessariamente è il più importante in assoluto da un punto di vista clinico es. mortalità , ma deve essere comunque clinicamente rilevante - PA per lo studio di un anti-ipertensivo - prevalenza di una malattia in uno studio epidemiologico
Principali determinanti del calcolo del sample size Errore di tipo I : Viene fissato un limite (es. 0. 05 o 0. 01) che rappresenta (o errore ) la probabilità massima di avere un falso positivo (es. 5% o 1%) Errore di tipo II: Si ammette (o errore ) in genere in misura di 0. 20 – 0. 10, che rappresenta la probabilità massima di avere un falso negativo (es. 20% o 10%) La potenza del test (1 - , es. 0. 80 – 0. 90) è la probabilità di individuare tale differenza (es. 80% - 90%) Entità dell’effetto atteso arteriosa fra trattamento A e B), (es. differenza di riduzione della pressione e variabilità della misura (es. PA)
Una formula matematica. . n = (1+1/ ) (z /2+z )2 2 vo ( / )ra b uno rvono e LIO vaten gli se SIG tro che ON tici, C ioni s = Rapporto Allocazione ati rmaz i st info z = v le ate. Quantile distribuzione gaussiana standardizzata t r ven = Prob. Errore tipo I in elo pe Non iutat = Prob. Errore tipo II e a = Entità dell’Effetto = Deviazione Standard variabilità
Chi definisce i parametri e come Il ricercatore, in funzione del disegno dello studio z Si ottengono da tabelle predefinite, sulla base di e Di solito di comune accordo fra ricercatore e statistico, in funzione degli obiettivi dello studio e della sua fattibilità
Chi definisce i parametri e come La definizione delle ipotesi di effetto e variabilità e’ il compito più critico che spetta al ricercatore Da studi precedenti con outcome simile Da studi pilota (esterni o interni allo studio) Determinare utilizzando la seguente regola: Range / 4 Scegliere un clinicamente rilevante e realistico
Effetto atteso e sample size Un effetto clinicamente rilevante potrebbe essere definito come il minimo beneficio ottenibile in uno studio, tale da indurre il medico a cambiare strategia nei confronti del paziente
Un esempio di calcolo di sample size. . . L’obiettivo è valutare un’ eventuale differenza per la pressione sistolica fra due trattamenti anti-ipertensivi somministrati a due gruppi indipendenti di pazienti. Supponiamo di avere prefissato un rischio d'errore di tipo I : = 0. 05, un rischio d'errore di tipo II: = 0. 10, una stima della differenza fra trattamenti = 5 mm. Hg una stima della deviazione standard è = 12 mm. Hg un rapporto di allocazione fra trattamenti = 1 : 1 n = (1+1/ ) (z /2+z )2 ( / )2 = 2 (1. 960+1. 282)2 (12/5)2 = 99 Per il mio studio sono dunque necessari 198 elementi (99 per gruppo)
Un esempio di calcolo di sample size. . . L’obiettivo è valutare un’ eventuale differenza per la pressione sistolica fra due trattamenti anti-ipertensivi somministrati a due gruppi indipendenti di pazienti. Supponiamo di avere prefissato un rischio d'errore di tipo I : =0. 05, un rischio d'errore di tipo II: =0. 10, una stima della differenza fra trattamenti = 5 mm. Hg E se ipotizzo una differenza fra i una stima della deviazione standard è = 12 mm. Hgtrattamenti un rapporto di allocazione fra trattamenti mm. Hg , maggiore es. 7 : 1 = 1 : 1 il sample size aumenterà o diminuirà n = (1+1/ ) (z /2+z )2 ( / )2 = 2 (1. 960+1. 282)2 (12/5)2 = 99 Per il mio studio sono dunque necessari 198 elementi (99 per gruppo)
Un esempio di calcolo di sample size. . . L’obiettivo è valutare un’ eventuale differenza per la pressione sistolica fra due trattamenti anti-ipertensivi somministrati a due gruppi indipendenti di pazienti. Supponiamo di avere prefissato un rischio d'errore di tipo I : = 0. 05, un rischio d'errore di tipo II: = 0. 10, una stima della differenza fra trattamenti = 7 mm. Hg una stima della deviazione standard è = 12 mm. Hg un rapporto di allocazione fra trattamenti = 1 : 1 n = (1+1/ ) (z /2+z )2 ( / )2 = 2 (1. 960+1. 282)2 (12/5)2 = 61 Per il mio studio sono dunque necessari 122 elementi (61 per gruppo)
Un altro esempio di calcolo di sample size. . . Riprendiamo l’esempio precedente con l’unica differenza che siamo ora interessati a saggiare un’ eventuale differenza sulle proporzioni di soggetti con pressione sistolica < 130 mm. Hg (responders) al termine del trattamento un rischio d'errore di tipo I : = 0. 05, un rischio d'errore di tipo II: = 0. 10, una stima della proporzione di responders nel controllo: 0= 0. 20 una stima della proporzione di responders nel test: a= 0. 30 un rapporto di allocazione fra trattamenti = 1 : 1 n = (1+1/ ) {z /2 [ 0 (1 - 0)]½ + z [ a (1 - a)]½ }2 (1/ )2 n = 2 {1. 960 [0. 2 (1 – 0. 2)]½ + 1. 282 [0. 3 (1 – 0. 3)]½ }2 (1/0. 1)2 =376 In questo caso sarà necessario un campione totale di 752 elementi (376 per gruppo
Popolazioni negli studi o Intention To Treat: include tutti i pazienti randomizzati, a o Per o Safety Population: include tutti i pazienti randomizzati che prescindere dal fatto che abbiano ricevuto o meno il trattamento sperimentale, dalla aderenza allo studio, dalla eventuale presenza di violazioni del protocollo etc. Protocol: include i pazienti che hanno completato l’esposizione al trattamento prevista dal protocollo, per i quali siano disponibili dati sull’end-point primario, e che non abbiano presentato violazioni maggiori del protocollo abbiano ricevuto almeno una dose di farmaco
Analisi ITT & PP L’ipotesi affrontata con analisi ITT è pragmatica effectiveness della terapia in un paziente del "mondo reale". L’ipotesi affrontata da una analisi PP è di tipo esploratorio gli effetti biologici (efficacy) della terapia stimati in un contesto “ideale” con osservanza della terapia Entrambe le analisi sono importanti da un punto di vista scientifico e Regolatorio
Sezione statistica del protocollo Deve comprendere la descrizione dei principali contenuti e metodi dell’analisi statistica che verrà effettuata alla fine dello studio o durante lo stesso, in caso di interim analysis Nello specifico, fra gli altri : § Elenco degli obiettivi primari, secondari etc. , per efficacia e sicurezza § Dettagli sui parametri e sui test statistici, DESCRITTIVI e o INFERENZIALI che si intende utilizzare, e su eventuali analisi particolari es. regressione logistica multivariata, analisi di sopravvivenza etc. , analisi speciali per studi multicentrici. . . § Gestione dei drop-outs e dei dati mancanti § . . . . § Termini di conduzione delle interim analyses
Come esprimere i risultati di uno studio Parametri descrittivi Media, mediana, range, quartili, deviazione standard / errore standard ……. . Indicatori di efficacia o safety Rischio Relativo, Odds Ratio, Riduzione Relativa del Rischio, Riduzione Assoluta del Rischio, Number Needed to Treat (NNT) / to Harm (NNH)
Number Needed to Treat E’ il numero di pazienti da trattare (per esempio con un farmaco rispetto a placebo) per evitare un evento
Number Needed to Treat
Number Needed to Treat E’ il numero di pazienti da trattare (per esempio con un farmaco rispetto a placebo) per evitare un evento Fornisce una valutazione indiretta di ordine pratico sull’applicabilità del trattamento sperimentale (costi, peso dell’esposizione a effetti indesiderati etc. )
E quel "benedetto" p < 0. 05 ?
Cosa vuol dire p<0. 05? In base ai dati a disposizione la probabilità di sbagliare nell’accettare il risultato osservato è minore del 5% Ho più del 95% di probabilità che l’effetto sia dovuto al trattamento, e meno del 5% che sia casuale.
SIGNIFICATIVITA’ STATISTICA vs RILEVANZA CLINICA I valori di p < 0. 05 - p < 0. 01 etc. sono importanti ai fini dell’analisi della forza del risultato, e della sua congruità con le ipotesi di studio, ma derivano da convenzioni di carattere probabilistico, non sono un dogma Al valore di p, nella descrizione dei risultati di uno studio, sarebbe opportuno associare altri parametri quali – Riduzione Assoluta di Rischio Quale è la differenza matematica e clinica fra p=0. 049 e p=0. 051? -Riduzione Relativa di Rischio - Number Needed to Treat (Harm) - Intervalli di Confidenza
Divulgazione dei risultati di uno studio Presentazione orale Abstract congressuale Paper rivista scientifica …………. .
Pubblicazione di uno studio clinico CRITERI GENERALI International Committee of Medical Journal Editors (www. icmje. org)
Il "Registro" degli studi clinici A livello europeo Eudra. CT A livello italiano Osservatorio per le Sperimentazioni Cliniche Dal 2009 è stato istituito il Registro Nazionale degli Studi Osservazionali, sempre in riferimento a studi focalizzati sul farmaco
Selective publication of antidepressant trials and its influence on apparent efficacy NEJM 2008; 358: 252 -260 n bias? io Facendo riferimento ai ublicat P atilavori ? dato risultato m che pubblicati, il 94% e avrebbe ew sist vi e positivo, mentre dalla lisi e r a revisione FDA tale eta-an M percentuale sarebbe del 51%
La Ricerca Clinica Un esempio pratico
Ischemia acuta degli arti Trattamento essenzialmente chirurgico / endovascolare Nonostante un successo tecnico della rivascolarizzazione chirurgica di 100%, l’ischemia acuta rimane una condizione di rischio non solo per l’arto ma per la vita del paziente
STILE study * death, major amputation, ongoing/recurrent ischemia, major complications J Vasc Surg 1996; 24: 513 -23
Ischemia acuta degli arti Trattamento essenzialmente chirurgico / endovascolare Nonostante un successo tecnico della rivascolarizzazione chirurgica di 100%, l’ischemia acuta rimane una condizione di rischio non solo per l’arto ma per la vita del paziente Elevato need terapeutico!
Trattamento dell’IAA Esiste il razionale per un trattamento adiuvante alla rivascolarizzazione per ischemia acuta degli arti?
Ischemia / reperfusion Depletion of high energy metabolites / breakdown products of dying cells ATP to Adenine Hypoxantine Deranged Ca++ - dependent NO-synthase Increase calcium facilitates conversion of XD to XO Xanthine oxydase Superoxide free radicals COX PGI 2 synthase ¯ PGI 2 by ECs Lipid peroxidation Release of cytokines Acidosis, disruption of N+ / K+ pump, Ca++ homeostasis ECs swelling dysfunction Hypercoagulability Fluid extravasation Cell disruption Collagen exposure Microvascular thrombosis Inflammation, PMNs / mast-cells activation Up-regulation of leukocyteintercellular adhesion molecules PLT aggregation - activation Synthesis and release TXA 2 Free radicals, AA products, cytokines Extrinsic compression Luminal narrowing Change vasoconstriction / vasodilation balance Low flow, sludging, blockage of small vessels, inflammation "No reflow" / "Reflow-paradox" G de Donato, G Gussoni, GM de Donato : Chir Ital, 2004; 56: 769 -80
Studio pilota - 1994 • Studio in doppio-cieco, placebo-controllato, a gruppi paralleli, per la valutazione dell’incidenza delle complicanze maggiori e gli effetti di iloprost in pazienti sottoposti a tromboembolectomia per occlusione arteriosa acuta degli arti inferiori Principali risultati § tendenza ad una riduzione delle complicanze maggiori nel gruppo trattato con il prostanoide § Migliori condizioni metaboliche a livello dell’arto affetto (resistenza all’ischemia) nel gruppo iloprost G. de Donato et al.
Open issues per uno studio allargato Quanti pazienti da studiare per una valutazione ulteriore? Quale schema di trattamento per iloprost? Quali pazienti (solo TE o no? ) da studiare?
Come procedere? Identificare un Coordinatore per lo studio Identificare un Board scientifico di esperti Prima stima delle caratteristiche / dimensioni dello studio ed implementazione di un draft di protocollo Lista iniziale di centri che potrebbero partecipare allo studio Riunione iniziale dei ricercatori (Investigators’ Meeting) per discutere il draft di protocollo, e condividere una impostazione definitiva dello studio FATTIBILITA’ ? ? ?
Il budget di uno studio Stesura protocollo • (Farmaco) • Project Management Elaborazione scheda • Comitati Etici ……… Supervisione centri • Assicurazione • Costi delle procedure non routinarie • Monitoraggio • Investigators’ fee • Costi accessori (riunioni, pass-through costs, consulenze, presentazione dei dati, pubblicazione, . . . )
ILAILL – Metodi Studio pilota ILAILL Pazienti IAA, trattata con TE con Fogarty IAA N. soggetti 30 300 Dosaggio Bolo i. a. 3000 ng, infusione e. v. 0. 5 -2. 0 ng/kg/min 6 ore/die Durata del trattamento 3 giorni 4 -7 giorni Follow-up 1 mese 3 mesi
ILAILL – Obiettivo primario Ø Incidenza combinata di mortalità e amputazione ad un follow-up di 3 mesi Rate atteso di eventi: placebo 35% iloprost 20% = 0. 05 1 - = 0. 80 Sample size: 300 pazienti
ILAILL – Obiettivi secondari Ø Incidenza degli eventi clinici maggiori (mortalità, IMA, stroke, embolie polmonari o periferiche, re-interventi, amputazione, …) 30 e 90 giorni dopo la rivascolarizzazione Ø Sintomatologia clinica Ø Sicurezza del trattamento
• 25 centri coinvolti • circa 100 persone hanno lavorato al progetto • 4 riunioni degli Sperimentatori • 260 visite di monitoraggio • circa 38. 000 dati raccolti
ILAILL - Risultati Totale pazienti arruolati 300 Placebo: n = 151 Iloprost: n = 149
ILAILL – Risultati Caratteristiche dei pazienti - Età Placebo (media ± DS) 73. 3 ± 12. 1 anni (range 43 -103) Iloprost (media ± DS) 74. 3 ± 11. 1 anni (range 28 -95) %
ILAILL - Anamnesi e patologie concomitanti
In corso di studio …. . In corrispondenza con l’esecuzione della prima Interim Analysis, prevista all’arruolamento dei primi 150 pazienti, emergono due considerazioni 1. La velocità di arruolamento è sensibilmente più bassa rispetto a quanto preventivato 2. La frequenza di complicanze maggiori (morte + amputazione), nella popolazione complessiva (iloprost e placebo) è decisamente inferiore rispetto alle ipotesi di studio (<15% vs 27, 5%) Continuando così, lo studio è destinato a fallire
Cosa può essere successo ? 1. Abbiamo sbagliato le ipotesi di studio - Il farmaco è talmente efficace da annullare le complicanze (? ? ? ) - Le complicanze sono molto meno frequenti di quanto ipotizzato (? ) 2. E’ successo qualcosa, nella conduzione dello studio, che ne ha modificato le caratteristiche rispetto al protocollo
Arruolamento dei pazienti Rate CONSECUTIVITA’ Aderenza della casistica all’ipotesi di studio Influenza sui risultati?
Studio ILAILL Incidenza eventi in un centro prima dell’applicazione di “screening log” % N=9
Studio ILAILL Incidenza eventi in un centro prima e dopo applicazione “screening log” N=39 % N=9
ILAILL – Tollerabilità – Eventi avversi Pazienti con EA: Placebo 76 (50. 3%) Iloprost 78 (52. 3%) * ** % * p < 0. 001; ** p = 0. 04
ILAILL – Risultati – Eventi clinici * * Analisi di Cox
ILAILL – Stima di Kaplan-Meier per la sopravvivenza
RIGORE METODOLOGICO Solo i risultati che riguardano l’obiettivo primario di uno studio possono fornire indicazioni per la pratica clinica tivo iet to ob lta un isu nte i il r ? lme ind ore ma qu val for rio, ra da cun E al n eco non ha s G. de Donato, G. Gussoni et al. , Ann Surg 2006
RIGORE METODOLOGICO (ACRITICO) Se da uno studio emerge un risultato per il quale quello studio non era pianificato, quel risultato non ha valore regolatorio (e scientifico) Secondo questo criterio, siccome Cristoforo Colombo cercava le Indie, l’America non esisterebbe. . . . . X
“…These results will be of great interest to clinicians caring for patients with acute ischemia …” Reviewer 1, Annals of Surgery
La ricerca clinica appare sempre più sfidante nze a sce dell I costi per la ricerca tendono a crescere, nole risorse o e to disponibili sono sempre più limitatele c el amen dibili d to iglior inelu men n m Dicotomia mega-trials vs medicina personalizzata ndi d u nze ofo e e sige r e pptendeh spostarsi dal "nuovo" all’ "innovativo" a no L’interesse gic a Un dolo nta o dive met aperà innovazione si riducono progressivamente I margini lit la qu Gli obiettivi della ricerca si orientano verso il clinical outcome piuttosto che verso end-points "surrogati "
Di cosa ha bisogno la ricerca Condizioni normative e di contesto (es. economiche) più favorevoli Buone idee Non perdere mai di vista l’obiettivo, che deve essere quello di offrire agli ammalati una assistenza sempre migliore
Identificare (e realizzare!) forme di ricerca che sappiano coniugare il rigore metodologico con l’esigenza di meglio rappresentare la realtà clinica, integrando così le evidenze fornite dai RCTs Orientare i nostri sforzi di ricerca ad affrontare i bisogni rilevanti per l’ammalato
Curare un paziente con scompenso cardiaco può magari voler dire anche …. .
The new vision of Medicine 4 P’ § Predictive § Preventive § Personalized § Participatory
E cosa può fare ognuno di noi?
Assistenza Ricerca - L’assistenza fornisce impulso e indirizzi alla ricerca - La ricerca propone conoscenze e strategie da utilizzare in ambito assistenziale - Il partecipare a progetti di ricerca favorisce la crescita culturale e un miglioramento della qualità assistenziale
E cosa può fare ognuno di noi? Non smettere di pensare che da ognuno di noi può venire una buona idea Ricordare che ognuno di noi può avere una buona idea, ma difficilmente da soli riusciremo a portarla avanti
Le sei fasi di uno studio • Entusiasmo • Disillusione • Panico • Ricerca del colpevole • Punizione dei partecipanti • Beatificazione degli assenti Bert Spilker
Grazie per la Vostra attenzione Gualberto
Metodologie della Ricerca
Скачать презентацию Metodologie della Ricerca Master Funzioni di Coordinamento Gualberto
bcc7d889bdf29b938d095049461d5610.ppt