Interview mit Dr. Marco Feuerstein – Augmented Reality in Laparoscopic Surgery

Dr. Marco Feuerstein hat sich in seiner Doktorarbeit am Lehrstuhl für Informatikanwendungen in der Medizin & Augmented Reality, TU München mit dem Thema „Augmented Reality in Laparoscopic Surgery – New Concepts for Intraoperative Multimodal Imaging“ beschäftigt. Seine Arbeit reichte er 2007 ein und setzte seine wissenschaftliche Karriere anschließend in Japan im Labor von Prof. Kensaku Mori fort. Er ist heute Mitglied des Gründerteams microDimensions. Dieses Interview wurde am 2.8.2011 in München, Deutschland geführt. (English version)

Hallo Herr Dr. Marco Feuerstein! Erzählen Sie doch kurz mit was Sie sich in Ihrer Dissertation beschäftigt haben.
Ich habe ein System entwickelt, mit dem man mit einer endoskopischen Kamera in die Leber schauen kann, ohne diese aufzuschneiden. Damit kann man Gefäße sichtbar machen, die man bei einer Operation schneiden oder clippen (Anm. d. Red.: abklemmen) muss. Mit dem System kann der Arzt beispielsweise eine Operation planen.

Wie sind Sie auf die Idee gekommen über das Thema zu promovieren?
Ich bin eigentlich schon bei der Diplomarbeit auf das Thema gestoßen. Da ging es darum Herzoperationen, die mit einem mit Endoskopkameras ausgestatteten, menschgesteuerten Roboter durchgeführt werden (Anm. d. Red.: der DaVinci® Roboter), zu verbessern. Hier war die Fragestellung, wie man das System technisch erweitern kann, um über die Kamerabilder der Endoskope noch etwas mehr zu sehen. Begonnen hat das Projekt am Deutschen Herzzentrum München, TU München und wurde dann weiterentwickelt an der Chirurgischen Klinik und Poliklinik – Innenstadt des Klinikums der Universität München. Mit dem Umzug in das Klinikum Innenstadt haben wir uns dann auch auf eine andere Körperregion konzentriert. Dabei ging es dann um abdominale Operationen in Zusammenarbeit mit Viszeralchirurgen.

Wie ist der Kontakt zu den Ärzten im Klinikum Innenstadt entstanden?
Wir sind auf die Ärzte des Klinikum Innenstadt zugegangen und haben das Thema vorgeschlagen. Es bestand sofort Interesse von Seiten der Ärzte, insbesondere von MD Sandro Michael Heining. Dieser kannte dann wiederum den Laparoskopiespezialisten des Krankenhauses, Dr. Thomas Mussack.

Worin liegt die Motivation Augmented Reality und Endoskopie zu verknüpfen?
Gerade bei der Leberchirurgie, die ich als Beispielanwendung definiert hatte, ist es wichtig, die Strukturen unter der Oberfläche des Organs zu visualisieren, um mögliche Komplikationen zu vermeiden. Beispielsweise könnte man versehentlich in ein Gefäß schneiden. In diesem Fall müsste man in vielen Fällen auf eine offene OP ausweichen. Das ist natürlich für den OP- und Therapieverlauf sehr ungünstig und bedeutet, dass der Patient unnötige Schmerzen erleiden muss. Vor allem die Visualisierung von versteckten/verdeckten Strukturen ist also wichtig. Die Verbesserung der Qualität der Kamerabilder kommt beim Einsatz von Augmented Reality gratis dazu. Normalerweise sind auf Grund der Fischaugenoptik die endoskopischen Kamerabilder verzerrt. Mit Augmented Reality muss für eine exakte Überlagerung der virtuellen und der realen Kamerabilder ohnehin eine Entzerrung berechnet werden. Die Bilder erhalten dadurch einen natürlicheren Eindruck.

Sie haben sich dabei überlegt, wie man das System bestmöglich in den Arbeitsfluss des Chirurgen integrieren kann.
Bei meinem „registration-free“ Ansatz wird statt des Patienten das mobile Röntgengerät, ein sogg. C-Bogen, durch Kameras getrackt (Anm.d.Red.: hier Erfassung der 3D Position im Raum).  Dieser C-Bogen liefert dabei einen dreidimensionalen Datensatz des Patienten. Damit entfällt ein Registrierungsschritt und alle getrackten Geräte (Anm.d.Red.: Laparoskopkamera, C-Bogen und weitere endoskopische Geräte) sowie der Patient befinden sich in ein und demselben Koordinatensystem. Mit dieser Technik kann man dann die aufgenommen 3D Daten direkt an der richtigen Stelle auf den Patienten projizieren.

Für welche Anwendungsmöglichkeiten reicht die erreichbare Genauigkeit?
Wenn man im Körper arbeitet, sollte man so genau wie möglich werden. Das hängt dann von der Fragestellung ab. Mit unserem System kommen wir auf eine Genauigkeit von einigen Millimentern. Atmung und Patientenbewegung sind jedoch immer Faktoren, die gegen die Genauigkeit wirken. Die Ärzte meinten jedoch, dass die Genauigkeit ausreichend sei, weil sie dazu in der Lage sind die Atmung wegzudenken. Das heißt, sie wissen in welchem Moment des Atemzyklus die Überlagerung richtig ist und wann sie eben nicht so gut ist.

Sie haben sich weiter mit einer Abwandlung des Systems beschäftigt, die Ultraschall mit integriert?
Beim laparoskopischen Ultraschall schiebt man zusätzlich zur laparoskopischen Kamera durch einen weiteren Zugang eine Ultraschallsonde, die an der Spitze eines langen Instruments befestigt ist. Die Spitze kann man auf zwei Achsen rotieren, wodurch man ein wenig mehr Bewegungsfreiheit hat. Die Ultraschallsonde wird dann auf die Leber gesetzt, um diese abzuscannen. Der Vorteil gegenüber dem „registration-free“ Ansatz ist, dass man immer Livebilder zur Verfügung hat. Beim „registration-free“ Ansatz hat man lediglich eine Aufnahme am Anfang. Sobald man den Patienten jedoch bewegt, oder Atmung und andere Bewegungseinflüsse eintreten, stimmt die Überlagerung nicht mehr. Beim Ultraschallansatz trackt man jedoch die Kamera und den Ultraschall in Echtzeit. Es macht nichts, wenn man den Patienten verschiebt. Man kann immer beide bildgebenden Instanzen in Relation zueinander bringen und die Bilder in Kombination anzeigen. Dabei sieht man im laparoskopischen Videobild die eingeblendete Ultraschalleben, die normalerweise separat auf einem Monitor dargestellt wird. Der Arzt muss sich also nicht mehr selbst vorstellen, wo die Scanebene des Ultraschalls im Körper liegt.

Gibt es Ihres Wissens schon ein kommerzielles System, das Endoskopie oder Laparoskopie zusammen mit Augmented Reality nutzt?
In der Laparoskopie gibt es meines Wissens kein System. Für die Bronchoskopie existieren Navigationssysteme, die man als Virtual Reality Systeme bezeichnet könnte. Aber es ist eben nicht Augmented Reality. Hier navigiert man dann in CT Daten (Anm. d. Red.: Computertomographie). Wir haben damals mit einer Tracking Firma einen Prototyp entwickelt. Dabei ist es aber dann leider geblieben. Die großen Endoskophersteller waren zu dieser Zeit noch nicht bereit, auf den Zug aufzuspringen.

Was müsste noch passieren, um ein derartiges Augmented Reality System im OP zu sehen?
Vor allem die Hardware müsste einfacher zu integrieren sein. Endoskope müssten standardgemäß über sterilisierbare Steckvorrichtungen für ein optisches Trackingsystem verfügen, wo man Markerkugeln zum Tracken anbringen kann. Auch die Trackingkameras müssten Teil der OP-Ausstattung werden. Dabei dürfen diese das Personal nicht behindern, müssen jedoch freie Sicht auf die zu trackenden Objekte haben. Hier muss noch viel Ingenieursarbeit geleistet werden. Außerdem müsste man sich mit dem Problem der Patientenbewegung beschäftigen, z.B. für den abdominalen Bereich. Am Einfachsten wäre es, das System für OPs zu nutzen, wo sich die Zielanatomie nicht zu sehr bewegt, z.B. in der Orthopädie.

Ihre Prognose! Wann sehen wir ein Augmented Reality System im OP? Kommt es dort jemals zu Einsatz?
Ich  denke schon! Insbesondere in der Orthopädie wird man in ein paar Jahren schon solche Systeme im Einsatz sehen.  In der Laparoskopie oder in der flexiblen Endoskopie wird es wohl noch länger dauern. Nicht vor 10 Jahren.

Wo sehen Sie die potentiell zukunftsträchtigsten Anwendungsfelder der Augmented Reality in der Medizin?
Intraoperativ sehe ich eher Potential bei starren Körperregionen. Aber auch für die Schulung, d.h. Chirurgen üben anhand Augmented Reality basierter Simulationsgeräte. Für Diagnosezwecke, z.B. anhand von CT Daten, kann ich es mir nicht so gut vorstellen.

Wie finde ich am besten den Einstieg, wenn ich an Ihrem Thema forschen möchte oder an Ihr Thema ansetzen will?
Mathematisches Wissen, insbesondere über die Geometrie, um die Kamerageometrie zu verstehen, sollte da sein. Das ist Teil der Computer Vision, dem Bereich, der sich damit beschäftigt, dem Computer sehen beizubringen. Medizinisches Wissen kann man sich im Gespräch mit Ärzten aneignen oder bei Bedarf anlesen. Hier ist Eigeninitiative gefragt und man sollte auf die Ärzte zugehen. In Informatik sollte man auch fit sein. Besonders wichtig ist das Programmieren in C++ für die medizinische Bildverarbeitung. Wenn jemand an meinem Thema ansetzen möchte, sollte er sich an Prof. Navab wenden.

An welchen konkreten Themen könnte man ansetzten?
Die Evaluierung des Systems wäre eine wichtige Aufgabe. Wir haben bereits eine erste Studie mit einem Körpermodell/Phantom gemacht. Hier könnte eine Folgestudie anschließen, die auf einem Körpermodell basiert, das sich  bewegt und besser für Ultraschall geeignet ist. Das Körpermodell müsste entweder selbst gebaut werden oder man müsste mit einer Firma kooperieren, die Erfahrung im Bau realistischer Anatomiephantome hat. Weiterhin könnte man sich mit alternativen Möglichkeiten des Trackings beschäftigen, mit denen man höhere Genauigkeit und störungsfreiere Messungen schafft. Auch wenn elektromagnetische Systeme eher fehleranfälliger sind, könnte man hier die Technik noch weiter austesten und ausreizen. Zu überlegen wäre ausschließlich mit elektromagnetischem Tracking zu arbeiten. Man könnte auch am Ultraschall selbst optimieren, indem man ein Ultraschallgerät verwendet, das weniger anfällig für Störeinflüsse ist. Man sollte auch darüber nachdenken, wie man das System in den Workflow und in den OP integrieren kann. Hier ergeben sich sicherlich auch wissenschaftliche Aufgabenstellungen. In Hinblick auf die Visualisierung wäre es interessant, eine Vogelperspektive/Übersichtsdarstellung zu implementieren, damit der Arzt sehen kann, wie die Geräte zueinander stehen. Dann muss man sich auf jeden Fall überlegen, wie man die Ultraschallebene in der Kameraansicht sinnvoll darstellt. Es besteht derzeit nur eine unzufriedenstellende Darstellung des Ultraschallbildes, da man mit der einfachen Überlagerung der Bilder nur schlecht die Tiefe/Lage der Ultraschallmessung wahrnehmen kann. Zum Beispiel könnte man ein virtuelles Fenster auf der Organoberfläche installieren, durch das man das Ultraschallbild sehen kann. Wichtig ist in Hinblick auf Fortsetzungsprojekte vor Allem immer das Gespräch mit den Ärzten, um herauszufinden, was diese sich von einer Augmented Reality Darstellung erwarten.

Was waren die wichtigsten Etappen Ihres Projekts?
Der erste wichtigste Schritt war die Software aufzusetzen. Wir haben hier bei null angefangen und vieles ist dann doch nicht so trivial, wie es sich zu Anfang in der Theorie anhört. Es war sehr schön, als wir es das erste Mal schafften, ein virtuelles Kamerabild mit dem echten Kamerabild zu überlagern. Zu Beginn des Projekts am Herzzentrum hatten wir leider Probleme die Trackingdaten vom Roboterhersteller zu bekommen. Es macht wenig Sinn, ein zweites Trackingsystem zu installieren, wenn die Trackinginformation des Roboters zwar vorhanden sind aber wahrscheinlich aus firmenpolitischen Gründen nicht herausgegeben werden können. Die Umorientierung des Projekts in Richtung Laparoskopie hat etwas Zeit gekostet. Mein Chef wollte dann ein Tierexperiment machen. Es war sehr aufwendig, das Experiment zu organisieren und alle Ärzte zusammenzubringen. Im zweiten Anlauf hat es dann geklappt und wir hatten eine erfahrende Tierärztin dabei. Es war sehr spannend, das zu sehen. Ich würde allerdings in Zukunft möglichst viel im Labor anhand besserer Modelle testen. Das Experiment hat für mich die Erkenntnis gebracht, dass das System grundsätzlich funktioniert, allerdings noch viel optimiert werden muss. Die Optimierungen kann man dann aber erst mal wieder an Körpermodellen/Phantomen testen. Hierfür sollte man keine Tiere opfern.

Welche Faktoren waren besonders wichtig, um Ihr Thema zu bearbeiten und schließlich die Dissertation abzuschließen?
Der entscheidende Faktor war, dass ich mit Augmented Reality und Visualisierung sehr viel anfangen konnte und Spaß daran hatte. Ich bin damals von Prof. Klinker an Prof. Navab weitervermittelt worden, da sie ihn für den optimalen Betreuer einer Promotion im Bereich Medical Augmented Reality hielt. Am Lehrstuhl herrschte eine sehr angenehme Arbeitsatmosphäre. Es war außerdem wichtig für mich an etwas zu arbeiten, das dem Patienten helfen kann, mit dem man unter Umständen in einigen Jahren Leben retten kann. Ein großer Vorteil war, dass der Lehrstuhl viele Kooperationen mit Ärzten aufgebaut und Labore in Krankenhäusern installiert hat. Das Arbeiten in diesen Laboren hat mir geholfen, den Fokus nicht zu verlieren und mit den Ärzten zu reden um herauszufinden, was sie sich von dem System erwarten.

Gab es Firmen, die besonders aufgeschlossen waren und beispielsweise Hardware zur Verfügung gestellt haben?
Die Firma Advanced Realtime Tracking GmbH hat uns Trackingkameras geliehen und die Firma Storz hat uns ein neues Endoskopiesystem bereitgestellt. Letzteres ist vor allem den Ärzten zu verdanken, die sehr viel von dieser Firma beziehen.  Beide Unternehmen waren sehr kommunikativ und aufgeschlossen. Leider waren die Firmen noch nicht dazu bereit, eine Doktorarbeit zu sponsern. Ich denke, das Thema war einfach noch zu weit weg vom realen Einsatz.

Und was machen Sie jetzt?
Ich habe mir schon zu Ende meiner Dissertation überlegt, mich selbständig zu machen. Am Ende meiner Zeit als Postdoc in Nagoya wollten mein Kollege Dr. Martin Groher und ich gemeinsam etwas Neues beginnen und raus aus der Uni. Dr. Martin Groher war damals schon in einem Forschungsprojekt aktiv, das einen recht guten Industriepartner hatte. Es hat sich dann herauskristallisiert, dass man den Prototypen des Projekts auch zur Marktreife bringen könnte. Zudem konnte sich Dr. Hauke Heibel sehr für das Projekt begeistern und wurde unser drittes Teammitglied. Wir haben gemeinsam einen Antrag für das Förderprogramm EXIST Forschungstransfer geschrieben und eingereicht, um durch den Staat 1,5 Jahre finanziert zu werden (Anm.d.Red.: siehe Projektseite microDimensions).

Start-up Project MicroDimensionsBei dem Projekt geht es um mikroskopische Proben, die man im Lichtmikroskop ansehen kann. Solche Proben werden in hauchdünne Scheibchen geschnitten, die das Licht durchdringen können. Beim Zerschneiden dieser eigentlich dreidimensionalen Proben können Risse, Falten und Verformungen entstehen. Durch die Verformung ist es schwierig die 2D Schnitte wieder nach 3D zu überführen.  Wir entwickeln Software, um diese sehr aufwendige und langwierige manuelle Arbeit zu automatisieren. Das ist beispielsweise interessant für Fragestellungen bei der Vaskularisierung: Wie verlaufen die Gefäße, welches Volumen haben diese und wie steht es um deren Abzweigungen. Diese Erkenntnisse sind zum Beispiel wichtig bei der onkologischen Arzneimittelforschung, da sich um Tumore herum sehr viele Gefäße ausbilden, die den Tumor mit Nährstoffen versorgen. Derzeit entwickeln wir fleißig und haben einen ersten Prototyp mit einer graphischen Benutzeroberfläche fertiggestellt. Wir werden unsere Software in naher Zukunft auf ein oder zwei Kongressen vorstellen. Ab September bekommen wir Verstärkung durch eine weitere Person, die uns bei betriebswirtschaftlichen Aufgaben unterstützt, wie z.B.bei der Verfeinerung unseres Businessplans, unterstützt. Unter anderem beabsichtigen wir, nächstes Jahr bei einem Businessplanwettbewerb wie dem MBPW oder science4life teilzunehmen. Es macht sehr viel Spaß, ein Projekt nicht nur aus wissenschaftlicher Sicht, sondern auch aus der betriebswirtschaftlichen Perspektive zu sehen.

Vielen Dank für das Interview!

(Anm.D.Red.: Videos über die Arbeit von Dr. Feuerstein finden Sie hier: Video 1, Video 2)

Christoph Bichlmeier

Christoph Bichlmeier

Enthusiast of Augmented Reality for Medical Applications.

More Posts - Website

Follow Me:
FacebookLinkedIn

Leave a Reply