Combined functional Near-Infrared Spectroscopy (fNIRS) and electroencephalogram (EEG) based brain-computer interface (BCI) for communication in patient in completely locked-in state (CLIS: completely locked in state).
Medical Physics, Biomedical Technology
Final Report Abstract
Thema des Projekts war die Kombination von funktioneller Nahinfrarotspektroskopie (fNIRS) und Elektroenzephalogramm (EEG) für ein Gehirn Computer Interface (BCI) zur Kommunikation von vollkommen eingeschlossenen Menschen (CLIS: completely locked in state). Auf der Grundlage der Forschungsarbeiten der Arbeitsgruppe (siehe vorausgegangene DFG Projekte) sollte ein neuartiges Gehirn-Computer-Interface (BCI) zur verbalen Kommunikation von CLIS Patienten, die an Amyotropher Lateralsklerose (ALS) leiden, entwickelt und auf seine Tauglichkeit geprüft werden. Nachdem wir zeigen konnten, dass in CLIS willentlich instrumentelles Lernen erschwert oder erloschen ist, konnten wir in den letzten Jahren erstmals einfache Kommunikation bei CLIS erzielen. Die zentralen Modifikationen, welche zu diesem Erfolg führten, waren der Einsatz metabolischer Hirnantworten (fNIRS) in Kombination mit einem einfachen Klassischen Konditionierungs- BCI. Die Kommunikationsraten mit diesem neuen BCI System (nur ja oder nein Antworten waren bisher möglich) sind im Durchschnitt bei CLIS 70%. In diesem Projekt wurden die Kommunikationserfolge (gemessen über mehrere hundert Tage) durch online Klassifikation desr fNIRS Antworten des Gehirns auf gedachte ja und nein Antworten und durch online Korrektur von Aufmerksamkeitsabfällen und Schlafphasen mit dem EEG bei ausgewählten Patienten verbessert, was einen enormen Zuwachs an Lebensqualität wie auch die Möglichkeit neurowissenschaftlicher Grundlagenstudien über kognitive und emotionale Prozesse in CLIS bedeuten würde. Allerdings waren diese hohen Klassifikationsraten nicht über lange Zeiträume stabil. Dazu sollte im dritten Teil des Vorhabens der Versuch gemacht werden, über diese einfachen klassisch konditionierten Antworten hinauszugehen und nach extensiven und erfolgreichen (über 80%) Kommunikationsleistungen bei CLIS Patienten eine willentliche Auswahl von Buchstaben und Satzteilen zu erlernen. Dies sollte die Basis für die systematische Untersuchung der Hirnreagibilität, der inneren, subjektiven Zustände und kognitiv-emotionalen Verarbeitung dieser über Jahre eingeschlossenen Menschen ohne jede Motorik bilden. Dies ist mit nicht invasiven Brain Computer Interfaces bei CLIS Patienten nicht gelungen. Verbale, willentliche Kommunikation war nur mit einem invasiven BCI, das neuronale Zellentladungen des Großhirns benutzte, möglich. Zwar haben wir mit einer japanischen Arbeitsgruppe ein neues nicht-invasives BCI entwickelt, das einen Haltungsreflex klassisch konditionierte, aber bisher nur an einem CLIS Patienten geprüft. Ob dies oder ähnliche nicht- invasive BCIs je verbale, willentliche Kommunikation ermöglichen werden, wird die zukünftige Entwicklung zeigen. Durch die erstmalige Charakterisierung und Beschreibung der neurophysiologischen Signaturen bei CLIS ist eine zielgerichtete Entwicklung von nicht-invasiven BCIs auf der Grundlage der Entwicklungen dieses Projekts möglich geworden.
Publications
- (2017). Brain-Computer Interface-based Communication in the Completely Locked-in State. PLoS Biology, 15, 1, e1002593
Chaudhary, U., Xia, B., Silvoni, S., Cohen, L.G., & Birbaumer, N.
(See online at https://doi.org/10.1371/journal.pbio.1002593) - (2017). Help, Hope and Hype: Ethical Dimensions of Neuroprosthetics. Science, 356, 6345, 1338-1339
Clausen, J., Fetz, E., Donoghue, J., Ushiba, J., Spörhase, U., Chandler, J., Birbaumer, N., & Soekadar, S.R.
(See online at https://doi.org/10.1126/science.aam7731) - (2018). A 20-Questions-Based Binary Spelling Interface for Communication Systems. Brain Sciences, 8, 126
Tonin, A., Birbaumer, N., Chaudhary, U.
(See online at https://doi.org/10.3390/brainsci8070126) - (2018). Long-term use of a neural prosthesis in progressive paralysis. Scientific Reports, 8, 16787
Okahara, Y., Takano, K., Nagao, M., Kondo, K., Iwadate, Y., Birbaumer, N., & Kansaku, K.
(See online at https://doi.org/10.1038/s41598-018-35211-y) - (2019). Semantic processing in complete paralysis: Preliminary Findings from a single case study. Brain and Language, 194, 93-97
Khalili Ardali, M., Rana, A., Purmohammad, M., Birbaumer, N., & Chaudhary, U.
(See online at https://doi.org/10.1016/j.bandl.2019.05.004) - (2019). Sleep in the Completely Locked-in State (CLIS). Sleep, 42, zsz185
Malekshahi, A., Chaudhary, U., Jaramillo Gonzalez, A., Luna, A.L., Rana, A., Tonin, A., Birbaumer, N., & Gais, S.
(See online at https://doi.org/10.1093/sleep/zsz185) - (2020). Auditory Electrooculogram-based Communication System for ALS Patients in Transition from Locked-in to Complete Locked-in State. Sci. Reports, 10, 8452
Tonin, A., Jaramillo-Gonzalez, A., Rana, A., Khalili-Ardali, M., Birbaumer, N., & Chaudhary, U.
(See online at https://doi.org/10.1038/s41598-020-65333-1) - (2020). Neuropsychological and neurophysiological aspects of brain-computer-interface (BCI) control in paralysis. J Physiol. 57, 621-36
Chaudhary, U., Mrachacz-Kersting, N., & Birbaumer, N.
(See online at https://doi.org/10.1113/jp278775) - (2021). Neuro-physiological aspects of the completely locked-in syndrome in patients with advanced amyotrophic lateral sclerosis. Clinical Neurophysiology, 132, 1064-1076
Khalili-Ardali, M., Wu, S., Tonin, A., Birbaumer, N., & Chaudhary U.
(See online at https://doi.org/10.1016/j.clinph.2021.01.013) - (2021). Verbal Communication using Intracortical Signals in a Completely Locked In-Patient
Chaudhary, U. Vlachos, I., Zimmermann, J.B.. Espinosa, A., Tonin, A., Jaramillo-Gonzalez, A., Khalili-Ardali, M., Topka, H., Lehmberg, J., Friehs, G.M., Woodtli, A., Donoghue, J.P. & Birbaumer, N.
(See online at https://doi.org/10.1101/2020.06.10.20122408)
