Neuroprothesen Institut für Hirnforschung Seminarleiter Sunita Mandon und

Neuroprothesen Institut für Hirnforschung Seminarleiter: Sunita Mandon und Detlef Wegener Referent: Thorsten Becker Datum: 07. 02. 2008 Einführung in die kognitiven Neurobiologie WS 07/08 1

Gliederung Was sind Neuroprothesen? BCI-Definition BCI-System Signalaquise Signalverarbeitung Operationsprotokoll Einführung VEP SCP P 300 evozierte Potentiale µ- und β-Rhythmen Kortikale neuronale Aktionspotentiale Roboterarm Greifprothesen Dobelle-Eye Anwendung Ausblick in die Zukunft Einführung in die kognitiven Neurobiologie WS 07/08 2

Was sind Neuroprothesen? Neuroprothesen sind Gerätschaften, die in der Regel über ein Gehirn-Computer-Interface (Brain-Computer-Interface, BCI) gesteuert werden und die Kommunikation mit und die Kontrolle über die direkte Umwelt ihres Benutzers ermöglichen. Klassische Unterteilung: motorische Neuroprothesen: z. B. zum Greifen von Gegenständen sensorische Neuroprothesen: z. B. zum Sehen Einführung in die kognitiven Neurobiologie WS 07/08 3

BCI - Definition BCI is a communication system in which messages or commands that an individual sends to the external world do not pass the brain's normal output pathways of peripheral nerves and muscles. (. . . ). A BCI provides its user with an alternative method for acting on the world. Wolpaw et al. , 2002 Einführung in die kognitiven Neurobiologie WS 07/08 4

BCI-Klassen Klassifizierung nach Abhängigkeit von den normalen Ausgabewege des Gehirns: abhängige BCI: benutzen nicht die normalen Ausgabewege, es ist dennoch Aktivität in diesen notwendig um die Hirnaktivität zu generieren unabhängige BCI: hängen nicht von den normalen Ausgabewegen ab Klassifizierung aufgrund der verwendeten elektrophysiologischen Signalen: abhängige BCI VEP (visuelle evozierte Potentiale) langsame kortikale Potentiale (slow cortical potentials, SCP) P 300 evozierte Potentiale unabhängige BCI μ- und β-Rhythmen kortikale neuronale Aktionspotentiale Einführung in die kognitiven Neurobiologie WS 07/08 5

BCI – System Wolpaw et al. , 2002 Einführung in die kognitiven Neurobiologie WS 07/08 6

BCI – System: Signalaquise: Aufnahme der elektrophysiologischen Aktivität Inputsignal Amplifikation des Inputsignals Signaldigitalisierung Einführung in die kognitiven Neurobiologie WS 07/08 7

BCI – System: Signalverarbeitung Merkmalsgewinnung: verschiedene Methoden z. B. räumliche Filterung, Spektralanalyse, Spannungsamplitudenmessung, Einzelneuronableitung Ziel: die Merkmale finden, die Botschaft oder Befehle des Benutzers kodieren Verwendet werden können Merkmale der Zeit-Domäne (z. B. evozierte Potentiale, Spikeraten) Frequenz-Domäne (z. B. μ- oder β-Rhythmen) Wichtig: Erkennung und Eliminierung von Artefakten Einführung in die kognitiven Neurobiologie WS 07/08 8

BCI – System: Signalverarbeitung Ziel: Die Übersetzung der extrahierten Signalmerkmale in Maschinenbefehle Effektive Algorithmen besitzen 3 Adaptationslevel: 1) Algorithmus passt sich den Signalmerkmalen des Benutzers an Reduktion der Auswirkung von spontanen Variationen (z. B. Tageszeit, Hormonlevel, Erschöpfung) durch periodischen online-Abgleich In Einklang bringen und belegen der lernfähigen Kapazitäten Bei Anstieg der Korrelation zwischen dem elektrophysiologischen Signalmerkmal und dem Vorhaben: Belohnung durch schnellere Kommunikation Einführung in die kognitiven Neurobiologie WS 07/08 9

BCI – System: Operationsprotokoll Wie wird das Gerät ein- und ausgeschaltet? Ist die Kommunikation kontinuierlich oder diskontinuierlich? Wird die Botschaftsübermittlung durch das System oder den Benutzer getriggert? Sequenz und Geschwindigkeit der Interaktion zwischen System und Benutzer Welches Feedback erhält der Benutzer? Die meisten Protokolle der BCI-Forschung sind für die Anwendung nicht geeignet (z. B. keine on-off-Kontrolle für den Benutzer) Einführung in die kognitiven Neurobiologie WS 07/08 10

VEP Jaques Vidal (1973, 1977) VEPs werden von der Kopfhaut (visueller Kortex) aufgenommen, um die Blickrichtung zu bestimmen Bestimmung der Bewegungsrichtung des Cursors Sutter (1992) BRI = Brain Response Interface VEPs hervorgerufen durch kurzen visuellen Stimulus Bildschirm auf dem 64 Symbole dargestellt werden ( 8 x 8 -Gitter) Jedes Symbol ist in mehreren Untergruppen zu finden VEP-Amplituden 100 ms nach dem Reiz werden berechnet und mit einem VEP-Muster verglichen VEP-basierte BCI fallen in die Kategorie der abhängigen BCI Einführung in die kognitiven Neurobiologie WS 07/08 11

SCP (1) Potentialverschiebung in einem Zeitraum zwischen 0, 5 – 10, 0 s negative SCPs sind assoziiert mit Bewegung und anderen Funktionen in denen kortikale Aktivierung involviert ist positive SCPs sind assoziiert mit reduzierter kortikaler Aktivierung Einführung in die kognitiven Neurobiologie WS 07/08 12

SCP (2) Menschen können lernen SCPs zu kontrollieren und über diesen Weg z. B. einen Cursor kontrollieren (thought translation device [TTD]von Birbaumer) TTD ausführlich an spätstadien ALS Patienten getestet TTD ist in der Lage Grundkommunikation bereitzustellen Standardvorgang: EEG wird aufgenommen SCPs werden extrahiert Korrektur der EOG (Elektrookulografie) Feedback über Bildschirm Selektion (4 s): Aufzeichnen der basline (2 s) und Entscheidung über die Cursorbewegung (2 s) Einführung in die kognitiven Neurobiologie WS 07/08 13

P 300 evozierte Potentiale Seltene oder besonders signifikante Stimuli evozieren im EEG einen positiven Peak (ca. 300 ms nach dem Stimulus) Donchin et al. (1988, 2000): 6 x 6 Matrix aus Symbolen bzw. Kommandos alle 125 ms blinkt eine Zeile oder Spalte (jede Zeile/Spalte blinkt zweimal) Benutzer wählt durch zählen die gewünschte Zeile/Spalte EEG wird digitalisiert, die durchschnittliche Antwort auf jede Zeile/Spalte und die P 300 -Amplitude für jede mögliche Kombination werden berechnet P 300 -basierte BCI erreichen eine Kommunikationsrate von 5 Buchstaben/min Vorteil: es ist kein anfängliches Training notwendig P 300 -Peak verändert sich als Folge der Anpassung an das BCI Einführung in die kognitiven Neurobiologie WS 07/08 14

μ- und β-Rhythmen Wache Personen zeigen EEG-Ruheaktivität (8 – 12 Hz) in V 1 und motorischen kortikalen Arealen, µ-Rhythmus-Aktivität besteht aus verschiedenen 8 -12 Hz Rhythmen, die sich durch Lokation, Frequenz und/oder simultanen sensorischen Input oder motorischen Output unterscheiden µ-Rhythmus ist typischerweise mit β-Rhythmus (18 – 26 Hz) assoziiert gutes Signalmerkmal: sind assoziiert mit kortikalen Arealen, die am direktesten mit den normalen Ausgabewege verbunden sind Bewegung oder Bewegungspräparation Abnahme der µ- und β-Rhythmen (event-related desynchronization, ERD) Relaxation Zunahme der µ- und β-Rhythmen (event-related synchronization, ERS) Für ERD und ERS ist keine Bewegung notwendig, es reicht die Vorstellung Einführung in die kognitiven Neurobiologie WS 07/08 15

μ- und β-Rhythmen – Wadsworth BCI von Wolpaw, Mc. Farland et al. Kontrolle über µ- und β-Rhythmen befähigt zur Kontrolle eines Cursors in 1 oder 2 Dimensionen jede Cursordimension wird durch eine lineare Gleichung aus µ- und β-Rhythmen-Amplitude von einem oder mehreren Ableitungsorten berechnet Training: 1 Session dauert 40 min 2 – 3 Sessions pro Woche ca. 80% erreichen eine signifikante Kontrolle in 2 – 3 Wochen Einführung in die kognitiven Neurobiologie WS 07/08 16

μ- und β-Rhythmen – Wadsworth BCI Cursorkontrolle ist über dem sensomotorischen Kortex angesiedelt Kontrolle ist assoziiert mit dem Auftreten von µ- und β-Peaks Genauigkeit der Antworten: > 95% Einführung in die kognitiven Neurobiologie WS 07/08 17

Kortikale neuronale Aktionspotentiale Seit den 1960 ern werden APs einzelner Neurone in wachen Tieren aufgenommen Tiere lernten ihre neuronale Feuerrate zu kontrollieren (während Versuchen an Affen z. B. Fetz und Finocchio, 1975) Menschen könnten dies nutzen um zu kommunizieren oder um Neuroprothesen zu bedienen stabile Aufnahmen von Affen und Menschen, die fast komplett locked-in waren bisher hat 1 Benutzer gelernt die Feuerraten zu kontrollieren Kommunikationsrate: 3 Buchstaben/min Einführung in die kognitiven Neurobiologie WS 07/08 18

Roboterarm (1) Rhesusaffen werden verwendet, da ihr Gehirn ähnlich gefurcht ist, wie das des Menschen Aktivität von 92 Neuronen aus 5 verschiedenen Bereichen von Stirn- und Scheitellappen wird verwendet Affendame Aurora hatte eine Trefferquote von 90% Vorhersagen des BCI wurden immer genauer mögliche Erklärung: visuelles Feedback half die Lerneffekte zu steigern 1 Jahr nach der Implantation werden von dem Mikrodrähte-Array noch 60 – 70 Neurone registriert Die Trefferquote von Aurora ist gleich geblieben http: //www. neuro. duke. edu/images/stock/showcase/nicolelis/site/l. gif Einführung in die kognitiven Neurobiologie WS 07/08 19

Roboterarm (2) modifiziertes Interface: Roboterarm ist mit einem Kraftmesser ausgestattet, der anzeigt, wann der Greifer das Objekt berührt und wie viel Kraft notwendig ist, um das Objekt festzuhalten Aurora erhält taktile Rückkopplung über ein Pflaster (Vibrationsfrequenz) Die Idee hinter diesem Ansatz: Bei hinreichender Imitation des visuellen und des taktilen Feedbacks führt dauerhafter Dialog mit dem BCI dazu, dass der Roboterarm als Teil des Körpers im Gehirn abgebildet wird http: //www. neuro. duke. edu/images/stock/showcase/nicolelis/site/l. gif Einführung in die kognitiven Neurobiologie WS 07/08 20

Greifprothesen (1) Patienten: Verletzungen am Spinalmark (C 5 – C 7) Nahe obere Gliedmassenmuskeln bleiben erhalten reach-tasks sind möglich Prothese ist häufig permanent Ausmass des Nervenschadens muss bestimmt werden (Anwendung möglich? ) Schlaganfall einen funktionstüchtigen und einen funktionsuntüchtigen Arm Parese der Muskulatur keinen Nervenschaden ideale Patienten Am akzeptiertesten sind das Freeehand-System und der Handmaster Cummings, B. , 2001 Einführung in die kognitiven Neurobiologie WS 07/08 21

Greifprothesen (2) Freehand-System, Popovic et al. , 2002 Einführung in die kognitiven Neurobiologie WS 07/08 22

Dobelle-Eye (1) Einführung in die kognitiven Neurobiologie WS 07/08 23

Dobelle-Eye (3) Einführung in die kognitiven Neurobiologie WS 07/08 24

Dobelle-Eye (4) Platinfolie ist perforiert mit hexagonaler Matrix Ø 5 mm, Zentrum der Perforation Ø 3 mm Platinelektroden Ø 1 mm Jede Elektrode produziert 1 -4 nah beieinander liegende Phosphene Ø 1 Phosphen = Ø Eines Bleistifts auf Armlänge Einführung in die kognitiven Neurobiologie WS 07/08 25

Dobelle-Eye (4) Training: 10 1 Tagessessions 3 -4 Übungsstunden/Tag Performance: 6 inch große Buchstaben werden auf 5 Fuss Entfernung erkannt (Sehschärfe von 20/1200) Einführung in die kognitiven Neurobiologie WS 07/08 26

Ausblick in die Zukunft invasiver Ansatz minimaler operativer Eingriff geringes Infektionsrisiko nichtinvasiver Ansatz Innovationen in der Technologie Einführung in die kognitiven Neurobiologie WS 07/08 27

Referenzen Dobelle, Wm. H. 2000. Artificial Vision for the Blind by Connecting a Television Camera to the Visual Cortex. American Society for Artificial Internal Organs 46 1 -14 Nicolelis, A. L. und Chapin, J. K. 2003. Roboter steuern von Geistes Hand. Spektrum der Wissenschaft 1 74 -82 Popovic, M. R. , Popovic, D. B. , Keller, T. 2002. Neuroprotheses for grasping. Neurological Research 24 443 -452 Wolpaw, J. R. , Birbaumer, N. , Mc. Farland, D. J. , Pfurtscheller, G. , Vaughan, T. M. 2002. Brain-computer interfaces for communication and control. Clinical Neurophysiology 113 767 -791 Einführung in die kognitiven Neurobiologie WS 07/08 28

Vielen Dank für die Aufmerksamkeit ! Einführung in die kognitiven Neurobiologie WS 07/08 29