Mechatronically guided micro navigation for soft tissue needle insertion
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Medical Physics, Biomedical Technology
Final Report Abstract
Das Einbringen von Nadeln stellt eine wichtige Option bei der minimalinvasiven und fokussierten Diagnose und Therapie in Weichgeweben dar, beispielsweise im Rahmen einer Biopsie oder der Brachytherapie. Hierbei kommt es jedoch zu teilweise erheblichen Gewebedeformationen, so dass die Lage der Nadel relativ zum Gewebe nicht der ursprünglichen Planung entspricht. In einer ersten Projektphase wurde ein mechatronischer Aufbau realisiert, mit dem die Machbarkeit der hochaufgelösten optischen Bildgebung aus der Nadel heraus untersucht wurde. Auf Basis von in die Nadel integrierten Fasern und Optiken wurde mittels optischer Kohärenztomographie das Gewebe in der Umgebung der Nadel erfasst. Mit dem Aufbau können Gewebegrenzen, Relativbewegungen zwischen Gewebestrukturen und der Nadelspitze sowie Deformationen beim Einbringen erkannt werden. In der zweiten Projektphase wurde untersucht, inwieweit sich auch die elastischen Gewebeeigenschaften aus der Nadel erfassen lassen. Einerseits korrespondieren die zwischen Nadel und Geweben wirkenden Kräfte und die Deformationen von Gewebe und Nadeln direkt zur Elastizität der Gewebe. Quantitative Aussagen zur Gewebeelastizität können daher helfen, die erwarteten Abweichungen bei der Platzierung der Nadel zu berücksichtigen. Andererseits sind die elastischen Eigenschaften teilweise auch charakteristisch für die Gewebe. Beispielsweise weisen Tumorgewebe oft eine höhere Steifigkeit auf, die somit als Hinweis auf das Erreichen der Zielstruktur dienen kann. Im Projekt ist es gelungen, erstmals zwei Ansätze zur quantitativen Elastographie aus der Nadel zu entwickeln und erfolgreich zu evaluieren. Dazu wurden auch maschinelle Lernverfahren weiterentwickelt, die erst eine effiziente Interpretation der aus realen Geweben erfassten Daten ermöglichen. Vor allem hat das Projekt damit Grundlagen betrachtet, um die Navigation beim Einbringen von Nadeln besonders mittels Robotern zu verbessern. Die prototypische Evaluierung hat aber auch gezeigt, dass die Verfahren in-vivo in Tumorgewebe funktionieren. Darüber hinaus haben sich im Projektverlauf Kooperationen zu klinischen Partnern entwickelt, die konkrete Anwendungen skizziert und bereits gemeinsam in ersten Studien untersucht haben. Beispielsweise ist es nicht selten, dass die Platzierung von Nadeln im Rahmen einer Epiduralanästhesie schwierig ist und erste Arbeiten mit Anästhesiologen vom UKE haben gezeigt, dass an der Nadelspitze erfasste Messwerte hier helfen können. Interessant ist auch eine Anwendung, die im Kontext der COVID-19 Pandemie relevant geworden ist und die post-mortale Gewebeentnahme betrifft. Gemeinsam mit dem Institut für Rechtmedizin am UKE wurde prototypisch untersucht, wie sich durch eine Roboterbiopsie minimial-infektös Gewebeproben entnehmen lassen. Die Ergebnisse zeigen, dass die Navigation selbst in Leichen erheblich durch Deformationen und Verschiebungen beim Einbringen der Nadeln beeinträchtigt wird und die entwickelten Methoden praxisrelevant sind. Aus dem Projekt heraus wurde seitens MTEC ein Beitrag für den „KUKA Innovation Award 2020“ eingereicht, der als Finalist ausgewählt wurde. In diesem Rahmen konnte die Idee der Schätzung von Kräften und Gewebeeigenschaften aus der Nadel einem größeren Publikum auf der MEDICA 2020 gezeigt werden. https://www.kuka.com/de-de/future-production/konzernforschung/kuka-innovation-award/kuka-innovation-award-2020 https://www.youtube.com/watch?v=p4XBrbDkytU https://www.facebook.com/KUKADACH/posts/das-team-coneebot-aus-hamburg-hat-es-zwar-bis-ins-finale-unserer-innovationaward/961765297682373/
Publications
- Methods for Needle Motion Estimation from OCT Data. 15. Jahrestagung der Deutschen Gesellschaft für Computer- und Roboter Assistierte Chirurgie, CURAC 2015, 2015;208-213
Ackermann J, Otte C, Hüttmann G, Schlaefer A
- An Approach for Needle Based Optical Coherence Elastography Measurements. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2017; 655-663
Latus S, Otte C, Schlüter M, Rehra J, Bizon K, Schulz-Hildebrandt H, Saathoff T, Hüttmann G, Schlaefer A
(See online at https://doi.org/10.1007/978-3-319-66185-8_74) - High-speed fiber scanning endoscope for volumetric multi-megahertz optical coherence tomography. Opt Lett 2018; 43(18): 4386-4389
Schulz-Hildebrandt H, Pfeiffer T, Eixmann T, Lohmann S, Ahrens M, Rehra J, Draxinger W, König P, Huber R, Hüttmann G
(See online at https://doi.org/10.1364/OL.43.004386) - Needle Tip Force Estimation using an OCT Fiber and a Fused convGRU-CNN Architecture. Medical Image Computing and Computer-Assisted Interventions - MICCAI 2018; 222-229
Gessert N, Priegnitz T, Saathoff T, Antoni ST, Meyer D, Hamann MF, Jünemann KP, Otte C, Schlaefer A
(See online at https://doi.org/10.1007/978-3-030-00937-3_26) - Spatio-temporal deep learning models for tip force estimation during needle insertion. Int J Comput Assist Radiol Surg. 2019 Sep;14(9):1485-1493
Gessert N, Priegnitz T, Saathoff T, Antoni ST, Meyer D, Hamann MF, Jünemann KP, Otte C, Schlaefer A
(See online at https://doi.org/10.1007/s11548-019-02006-z) - Force estimation from 4D OCT data in a human tumor xenograft mouse model. Current Directions in Biomedical Engineering. 2020;6(1): 20200022
Neidhardt M, Gessert N, Gosau T, Kemmling J, Feldhaus S, Schumacher U, Schlaefer A
(See online at https://doi.org/10.1515/cdbme-2020-0022) - Needle tip force estimation by deep learning from raw spectral OCT data. Int J Comput Assist Radiol Surg. 2020 Oct;15(10):1699-1702
Gromniak M, Gessert N, Saathoff T, Schlaefer A
(See online at https://doi.org/10.1007/s11548-020-02224-w) - A novel optical needle probe for deep learning-based tissue elasticity characterization. Current Directions in Biomedical Engineering 2021, 7(1): 21-25
Mieling R, Sprenger J, Latus S, Bargsten L, Schlaefer A
(See online at https://doi.org/10.1515/cdbme-2021-1005) - In-vivo markerless motion detection from volumetric optical coherence tomography data using CNNs. Proc. SPIE 11598, Medical Imaging 2021: Image-Guided Procedures, Robotic Interventions, and Modeling, 115981H (15 February 2021)
Sprenger J, Neidhardt M, Schlüter M, Latus S, Gosau T, Kemmling J, Feldhaus S, Schumacher U, Schlaefer A
(See online at https://doi.org/10.1117/12.2581023) - Rupture detection during needle insertion using complex OCT data and CNNs. IEEE Trans Biomed Eng. 2021 Mar 2;68(10): 3059 - 3067
Latus S, Sprenger J, Neidhardt M, Schädler J, Ron A, Fitzek A, Schlüter M, Breitfeld P, Heinemann A, Püschel K, Schlaefer A
(See online at https://doi.org/10.1109/tbme.2021.3063069) - Voice coil based endomicroscopic optical coherence tomography probe for in vivo mucosa examination: SPIE, 2021
Ahrens M, Idel C, König P, Hüttmann G, Schulz-Hildebrandt H
(See online at https://doi.org/10.1117/12.2578787)
