Interrater-Reliabilität und Benutzerfreundlichkeit der Delirium Observation Screening Scale

Interrater-Reliabilität und Benutzerfreundlichkeit der Delirium Observation Screening Scale Eine empirische Untersuchung im klinischen Setting 2. Österreichischer pflegewissenschaftlicher Hochschultag 2017 Gesellschaft Pflegewissenschaft im ÖGKV Petra Schumacher, MSc. N Priv. -Doz. Mag. Dr. Gerhard Müller Department für Pflegewissenschaft und Gerontologie

Masterstudium Pflegewissenschaft Übersicht Einleitung Theoretischer Rahmen Problem- und Zieldarstellung Methodik Ergebnisse Diskussion Schlussfolgerungen

Masterstudium Pflegewissenschaft Einleitung Übersicht Häufige Komplikation im stationären Alltag (Siddiqi 2006) Akuter Verwirrtheitszustand – Zeitspanne: Stunden - Tagen (Schuurmans et al. 2003). 50% der stationär älteren Patienten betroffen (Inouye et al. 2014) 60% der Fälle werden durch Ärzte und 40% der Fälle werden durch Pflegekräfte nicht erkannt (Frühwald et al. 2014, Fick 2007) Delir in 40% der Fälle vermeidbar (NICE 2010)

Masterstudium Pflegewissenschaft Einleitung Übersicht Hohe Delir-Inzidenzraten: Intensivstationen, postoperativ und palliativen Versorgung (Inouye et al. 2014) Delir Ein-Jahres-Mortalität 40% (ÖGGG 2013: 4 f) Verzögerung des Heilungsprozesses sowie Komplikationen (ÖGGG 2013: 4 f) Zunehmenden Alter und zusätzlichen kognitiven Beeinträchtigungen erhöhtes Delir-Risiko (ÖGGG 2013: 4) >> Weitere Ursachen siehe nachfolgende Abbildung

Masterstudium Pflegewissenschaft Einleitung Übersicht Ätiologie von Delir (Inouye 2006 zit. aus ÖGGG 2013: 7) Prädisposition Exogener Einfluss Hohe Vulnerabilität Schwache Noxe • Hohes Lebensalter • Fremde Umgebung • Kognitive Einschränkung • Körperliche Einschränkung • Frailty • Immobilisation • Hohe somatische Komorbidität • Störung des Biorhythmus • Schwere Grunderkrankung • Psychoaktive Medikamente • Seh- und Hörbehinderung • Entzugssyndrom (Alkohol, • Anämie Sedativa) • Malnutrition (niedriges Serum- • Respiratorische Insuffizienz Albumin) (Hypoxie) • Depression • Exsikkose • Ängstlichkeit • Elektrolytentgleisung • Alkoholismus • Akute Infektion • Benzodiazepin-Einnahme • Hypo-, Hyperglykämie • Schmerz • Organversagen (Leber, Niere) • Leichte kognitive Störung • Intensivbehandlung • Einsamkeit • Anticholinergika • Chirurgische Eingriffe

Masterstudium Pflegewissenschaft Theoretischer Rahmen Übersicht Beobachtung als situative, systematische, objektive und zielgerichtete Wahrnehmung von Phänomenen, Prozessen oder Verhaltensweisen eines Menschen (Bierhoff & Petermann 2014: 192) Beobachtung als Methode der Datenerhebung (Bierhoff & Petermann 2014: 192) Wahrnehmung - Endergebnis eines komplexen Vorganges (Goldstein 2015: 3) >> Wahrnehmungsprozess nach Goldstein (2008)

Masterstudium Pflegewissenschaft Theoretischer Rahmen Übersicht Wahrnehmungsprozess (Goldstein 2008: 4)

Masterstudium Pflegewissenschaft Theoretischer Rahmen Übersicht Stand der Forschung Inhalts-, Konstrukt-, Kriteriumsvalidität (Detroyer et al. 2014, Scheffer et al. 2011, Schuurmans et al. 2003) Interne Konsistenz (Detroyer et al. 2014, Schuurmans et al. 2003) Anwenderfreundlichkeit (Detroyer et al. 2014, Van Gemert & Schuurmans 2007)

Masterstudium Pflegewissenschaft ProblemÜbersichtund Zieldarstellung Routinemäßiges Delir-Monitoring empfohlen (AWMF 2015, American Geriatrics Society Expert Panel on Postoperative Delirium in Older Adults 2015, ÖGGG 2013) Screening-Instrumente müssen vor Praxisimplementierung auf Reliabilität überprüft werden (Andrew et al. 2009) Untersuchungen zur Beobachterübereinstimmung und Interrater. Reliabilität fehlen im deutschsprachigen Raum Zieldarstellung (a) Beobachterübereinstimmung und Interrater-Reliabilität der Delirium Oberservation Screening Scale [DOSS] zwischen zwei Pflegepersonen, (b) Benutzerfreundlichkeit der DOSS aus Sicht der Pflegepersonen

Masterstudium Pflegewissenschaft Methodik Übersicht Quantitativ-deskriptive Querschnittdesign Stichproben Patienten: n = 141 Beobachter: n = 36 Ausschluss-kriterien Personen ab 65 Jahren Personen <65 Jahren Setting Akutkrankenhaus Langzeitpflege- und extramuraler Bereich Station Konservative Abteilungen Operative Abteilungen, Intensivstation Phänomen (Kottner et al. 2011) Einschlusskriterien Population GRAAS Keine Diagnose Demenz (MMSE-Wert ≥ 20) Diagnose Demenz (MMSE-Wert ≤ 20) Einverständnis Einwilligungsfähig Freiwillige, Teilnahme Unterzeichnung der Einverständnis-erklärung Nicht einwilligungsfähig Keine Einverständniserklärung EK-Votum positiv

Masterstudium Pflegewissenschaft Methodik Übersicht Datenerhebung Februar bis Mai 2016 Erhebung der Interrater-Reliabilität Delir-Screening durch 2 unabhängige Beobachter (2 Tagen) Delir-Screening innerhalb einer Stunde Erhebung der Benutzerfreundlichkeit Fragebogen mit 38 Items, 5 -stufige Likert-Skala (Detroyer et al. 2014, Van Gemert & Schuurmans 2007)

Masterstudium Pflegewissenschaft Methodik Übersicht Datenanalyse Stichprobeneigenschaften Häufigkeiten (n, %) Lage- und Streuungsmaße, Normalverteilungstest Interrater-Reliabilität Beobachterübereinstimmung (Po) Erwartete Zufallsübereinstimmung (Pe) (Gwet 2012: 18) Cohens Kappa (κ) (Writz & Caspar 2002: 56) Intraklassenkorrelationskoeffizient (ICC 1. 1) (Writz & Caspar 2002: 190) Benutzerfreundlichkeit Häufigkeiten (n, %), Median Kategoriale zusammenfassende Analyse Irrtumswahrscheinlichkeit α ≤ 0, 05

Masterstudium Pflegewissenschaft Ergebnisse Übersicht Patienteneigenschaften (n = 141) f: 96 (69, 1%), m: 43 (30, 9%) Alter: MW = 78, 21 ± 7, 718, MD = 78 Jahre MMSE: MW = 27, 18 ± 2, 009, MD = 27 Beobachtereigenschaften (n = 36) f: 23 (63, 9%), m: 13 (36, 1%) Alter: MW = 39, 57 ± 10, 167, MD = 41 Jahre Berufserfahrung: MW = 15, 47 ± 10, 742, MD = 15, 50 Jahre

Masterstudium Pflegewissenschaft Ergebnisse Übersicht Beobachterübereinstimmung, Interrater-Reliabilität Itemebene Po = 92, 7% bis 100% Pe = 90, 4% bis 100% Kappa-Koeffizienten: κ = -0, 022 bis κ = 0, 562 (T 1: Item 2, 10) Gesamtpunkte Delir-Risikos Kategorisierung (Kategorie <3 vs. ≥ 3 Punkte)

Masterstudium Pflegewissenschaft Ergebnisse Übersicht Benutzerfreundlichkeit der DOSS Rücklauf: 75% (27 von 36 PP) Anzahl von Einschätzungen MW = 11, 19 ± 7, 254, Min = 3 , Max = 30 Einschätzungsdauer: n = 13 (<6 Min. ), n = 9 (>7 Min. ) Zeitdifferenz zwischen Beobachtern Tag 1: MW = -78, 70 ± 91, 731, MD = -45 Minuten Tag 2: MW = -73, 15 ± 87, 177, MD = -30 Minuten

Masterstudium Pflegewissenschaft Ergebnisse Übersicht Benutzerfreundlichkeit der DOSS 66, 6% (n = 18) DOSS leicht verständlich Verständlichkeitsprobleme bei Item 4, 6, 8 und 10 Beschreibungen frei von Werten und Vorurteilen (88, 9%, n = 24) Praktischen Handhabbarkeit der DOSS (MD = 3) • • • Benutzerfreundlichkeit der DOSS (MD ≤ 2) Geringer Zeitaufwand, gezielte Patientenbeobachtung Items einfach und klar formuliert

Masterstudium Pflegewissenschaft Diskussion Übersicht Sehr hohe prozentuelle Beobachterübereinstimmungen Keine bis mittlere Kappa-Koeffizienten – Kappa Paradox (Gwet 2012: 36, Feinstein & Cicchetti 1990) Begrenzte Antwortmöglichkeiten (Gwet 2012: 6) und homogene Population (Reuschenbach 2011: 62) erhöht die Möglichkeit zufälliger Übereinstimmungen Inhomogenes Bild der Benutzerfreundlichkeit und praktischen Handbarkeit der DOSS – gegen Einführung im stationären Alltag Benutzerfreundlichkeit und Handbarkeit sind teilweise zufriedenstellend (Detroyer et al. 2014, Van Gemert & Schuurmans 2007) Lange Einschätzungsdauer – Studienprotokollierung

Masterstudium Pflegewissenschaft Diskussion: Übersicht Limitationen Einfluss von Beobachtereigenschaften (z. B. Berufserfahrung, Alter) auf Patienteneinschätzung stand nicht im Forschungsinteresse Beeinflussung der Wahrnehmung durch Müdigkeit und mangelnde Motivation Verzerrung durch Pflegekräfte: Durchführung, Einschätzung sowie Interpretation der Beobachtungen Verzerrung durch Gelegenheitsstichprobe, Erhebung drei Monate nach Schulung Zeitdifferenz zwischen den Einschätzungen (>1 Stunde)

Masterstudium Pflegewissenschaft Schlussfolgerungen Übersicht Nachweislich hohe Beobachterübereinstimmungen Benutzerfreundlichkeit durch geringen Zeitaufwand und Verständlichkeit der Items Sprachliche Itemadaptierung (4, 6, 8, 10) vor Implementierung DOSS sensibilisiert Pflegepersonen für Phänomen Delir Empfehlung: Interrater-Reliabilität mit heterogenen Stichproben sowie Diagnosestudien

Masterstudium Pflegewissenschaft Übersicht Mueller G. , Schumacher P. (ex aequo), Wetzlmair J. , Lechleitner M. , Schulc E. Inter-rater Reliability and User-friendliness of the Delirium Observation Screening Scale. Journal of Nursing Measurement. Accepted for publication.

Interrater-Reliabilität und Benutzerfreundlichkeit der Delirium Observation Screening Scale Eine empirische Untersuchung im klinischen Setting Univ. -Ass. Petra Schumacher, MSc. N Department für Pflegewissenschaft und Gerontologie E: petra. schumacher@umit. at Tel: +43(0)50 -8648 -3815 www. umit. at

Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht American Geriatrics Society Expert Panel on Postoperative Delirium in Older Adults. American Geriatrics Society abstracted Clinical practice guideline for postoperative delirium in older adults. J Am Geriatr Soc 2015; 63(1): 142 -150. Andrew MK, Bhat R, Clarke B, Freter SH, Rockwood MRH, Rockwood K. Research Letter – Inter-rater Reliability of the DRS-R 98 in detecting delirium in frail elderly patients. Age Aging 2009; 38(2): 241 -44. Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften [AWMF]. S 3 -Leitlinie. Analgesie, Sedierung und Delirmanagement in der Intensivmedizin. 2015. http: //www. awmf. org/uploads/tx_ szleitlinien/001 -012 l_S 3_Analgesie_Sedierung_Delirmanagement_ Intensivmedizin_2015 -08_01. pdf. (13. 02. 2016). Bierhoff HW, Petermann F. Forschungsmethoden der Psychologie. Hogrefe Verlag. 2014. Detroyer E, Clement PM, Baeten N, Pennemans M, Decruyenaere M, Vandenberghe J, Menten J, Joosten E, Milisen K. Detection of delirium in palliative care unit patients: A prospective descriptive study of the Delirium Observation Screening Scale administered by bedside nurses. Palliat Med 2014; 28(1): 79 -86. Feinstein AR, Cicchetti DV. High agreement but low kappa: The problems of two paradoxes. J Clin Epidemiol 1990; 43(6): 543 -9.

Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht Fick DM, Hodo DM, Lawrence F, Inouye SK. Recognizing delirium superimposed on dementia: Assessing nurses’ knowledge using case vignettes. J Gerontol Nurs 2007; 33(2): 40 -7. Inouye SK. Delirium in older persons. N Engl J Med 2006; 354(11): 1157 -65. National Institute for Health and Clinical Excellence [NICE]. Delirium: Diagnosis, Prevention and Management. 2010. http: //www. nice. org. uk/guidance/cg 103/ resources/cg 103 -delirium-full-guideline 3. (26. 08. 2015). Österreichische Gesellschaft für Geriatrie und Gerontologie [ÖGGG]. Delir 2013 – Ein häufiges Syndrom im Alter – eine interdisziplinäre Herausforderung. 2013. http: //www. alterspsychiatrie. at/bilder/publikationen/expertpapiere/Delir_Folder 2013. pdf. (02. 05. 2016). Frühwald T, Weissenberger-Leduc M, Jagsch C, Singler K, Gurlit S, Hofmann W, Böhmdorfer B, Iglseder B. Delir. Z Gerontol Geriatr 2014; 47(5): 425 -40. Goldstein EB. Wahrnehmungspsychologie: Der Grundkurs. Gegenfurtner K (Hg. ). Springer Verlag, Berlin, Heidelberg. 2015. Goldstein EB. Wahrnehmungspsychologie: Der Grundkurs. Irtel H (Hg. ). Springer Verlag, Berlin, Heidelberg. 2008. Gwet KL. Handbook of inter-rater reliability: The definitive guide to measuring the extent of agreement among raters. 3 rd edition. Advanced Analytics, LLC, Gaithersburg, MD. 2012

Masterstudium Pflegewissenschaft Literaturverzeichnis Übersicht Inouye SK, Westendorp RGJ, Saczynski JS. Delirium in elderly people. Lancet 2014; 383(9920): 911 -22. Reuschenbach B. Gu tekriterien. In: Reuschenbach B, Mahler C (Hg. ). Pflegebezogenene Assessmentinstrumente – Internationales Handbuch fu r Pflegeforschung und -praxis. Verlag Hans Huber, Bern. 2011: 57 -79. Scheffer AC, van Munster BC, Schuurmans MJ, de Rooij SE. Assessing severity of delirium by the Delirium Observation Screening Scale. Int J Geriatr Psychiatry 2011; 26(3): 284 -291. Schuurmans MJ, Shortridge-Baggett LM, Duursma SA. The Delirium Observation Screening Scale: A screening instrument for delirium. Res Theory Nurs Pract 2003; 17(1): 31 - 50. Siddiqi N, House AO, Holmes JD. Occurrence and outcome of delirium in medical In-patients: A systematic literature review. Ageing 2006; 35(4): 350 -64. Van Gemert LA, Schuurmans MJ. The Neecham Confusion Scale and the Delirium Observation Screening Scale: Capacity to discriminate and ease of use in clinical practice. BMC Nurs 2007; 6: 3. doi: 10. 1186/1472 -6955 -6 -3. Wirtz M, Caspar F. Beurteileru bereinstimmung und Beurteilerreliabilita t: Methoden zur Bestimmung und Verbesserung der Zuverla ssigkeit von Einscha tzungen mittels Kategoriensystemen und Ratingskalen. Hogrefe, Go ttingen. 2002.