Rzeczywistość rozszerzona i mieszana w ortopedii
Rozwijająca się technologia rzeczywistości rozszerzonej (AR, augmented reality) daje coraz szersze możliwości wspierania lekarzy ortopedów w codziennej pracy. Rzeczywistość rozszerzona pozwala lekarzowi na analizę wirtualnego obrazu 3D struktur anatomicznych pacjenta w tej samej przestrzeni, co świat rzeczywisty. Rzeczywistość mieszana (MR, mixed reality) wprowadza dodatkową możliwość interakcji w postaci zmiany różnych parametrów wyświetlanego widoku i pozycjonowania obrazu na ciele pacjenta.
Opracowywane i optymalizowane są metody komputerowe ułatwiające planowanie przedoperacyjne oraz sprawne wykonywanie zabiegu, a także efektywną edukację i skrócenie czasu do osiągnięcia plateau krzywej uczenia technik operacyjnych.
Z poniższego tekstu dowiesz się, na czym polega rzeczywistość rozszerzona, jak obecnie wygląda wykorzystanie tej technologii w praktyce oraz jakie są możliwe wizje rozwoju AR i MR w ortopedii.
AR i MR – co widzi ortopeda?
Lekarz widzi hologram czyli trójwymiarowy obraz struktur anatomicznych generowany w przestrzeni rzeczywistej. Odbywa się to dzięki specjalnym goglom zakładanym na oczy (np. Microsoft HoloLens) [2].
W trakcie analizy hologramu lekarz może przeskalować, obrócić czy też przesunąć obraz 3D w dowolne miejsce w przestrzeni. Aby wejść w interakcję z hologramem, lekarz wykonuje określone gesty ręką lub wypowiada odpowiednią komendę głosową. Wrażeniom wizualnym mogą dodatkowo towarzyszyć wrażenia słuchowe.
Obsługa wirtualnego interfejsu MR jest bezdotykowa, co umożliwia zachowanie sterylności rąk i wielokrotne powracanie do obrazu 3D danego obszaru anatomicznego w dowolnym momencie zabiegu operacyjnego.
Dzięki MR lekarz może samodzielnie wchodzić w interakcję z przestrzennym hologramem bez konieczności współpracy z inną osobą z sali operacyjnej.
Etapy powstawania rzeczywistości rozszerzonej
Pierwszym etapem jest pozyskanie wirtualnego modelu anatomicznego 3D z danych pochodzących z wyników badań obrazowych, np. tomografii komputerowej. Dane są importowane do specjalnego programu służącego do przetwarzania obrazu. W przypadku planowania zabiegu wykonywanego na kościach, dzięki wykorzystaniu odpowiednich algorytmów obraz tkanki kostnej jest automatycznie oddzielany od pozostałości tkanek miękkich.
Następnie obraz generowany komputerowo musi zostać osadzony w przestrzeni w odpowiedniej orientacji względem punktów referencyjnych. Obecnie odbywa się to przeważnie w wolnej przestrzeni przed operatorem. Podejmowane są także próby bezpośredniego nakładania hologramu na ciało pacjenta, m.in. przez dostęp operacyjny w trakcie zabiegu.
Hologram może zawierać dane obszaru anatomicznego sprzed zabiegu operacyjnego lub może także uwzględniać dane uzyskane śródoperacyjnie z obrazów fluoroskopii.
Etapy projektu aplikacji AR
Aby aplikacja AR odpowiadała potrzebom lekarzy ortopedów, przed jej realizacją konieczne jest przygotowanie precyzyjnego projektu, który uwzględnia [3]:
- scenariusz aktywności użytkownika w aplikacji,
- opis otoczenia, w którym będzie się znajdował użytkownik (głównie w symulatorach operacji),
- opis interakcji użytkownika z konkretnymi obiektami otoczenia,
- koncepcję szaty graficznej,
- opis dodatkowych systemów, (np. zbierania i przechowywania konkretnych danych).
Rzeczywistość rozszerzona i mieszana – zastosowanie w ortopedii
Rzeczywistość mieszana na sali operacyjnej
Zabiegi chirurgiczne w ortopedii wymagają analizy dużej ilości danych geometrycznych – parametrów kątowych korekcji deformacji czy orientacji i trajektorii przyrządów przy wykonywaniu określonych procedur. Wykorzystanie AR i MR ułatwia lekarzowi szybki i wygodny dostęp do potrzebnych informacji.
W przeglądzie z 2021 roku [1] można znaleźć przykłady zrealizowanych zabiegów operacyjnych z wykorzystaniem rzeczywistości rozszerzonej:
- osteotomie korekcyjne kończyny dolnej (śródoperacyjna wizualizacja AR osi mechanicznej),
- neurochirurgia, np. osteotomie trzonów kręgów w korekcjach skoliozy kręgosłupa,
- endoprotezoplastyka stawu biodrowego (osadzanie komponentów implantu w odpowiedniej orientacji przestrzennej),
- osteosynteza złamań pourazowych,
- resekcja guzów kości z zachowaniem marginesu zdrowych tkanek.
Symulatory medyczne operacji
Młodzi ortopedzi mogą w sposób nieinwazyjny i bezpieczny trenować procedury operacyjne w rzeczywistości wirtualnej (wrażenia sensoryczne powstają w goglach bez naniesienia obrazu na świat rzeczywisty). Odpowiednio przygotowana aplikacja jest w stanie odwzorować operowaną okolicę anatomiczną i wygląd narzędzi chirurgicznych, a także zapewnić wrażenie rzeczywistego przebywania na sali operacyjnej. Procedury zabiegowe mogą być powtarzane dowolną liczbę razy bez zużywania materiałów i korzystania z wyposażenia sali operacyjnej. W aplikacjach można uwzględnić funkcjonalność egzaminującą, która ocenia postępy w nauce na podstawie ustalonych parametrów.
Dzięki wielokrotnemu powtarzaniu procedur zabiegowych w wirtualnej rzeczywistości ortopeda jest lepiej przygotowany do kursów na preparatach nieutrwalonych. Mając dobrze przyswojony przebieg zabiegu, lekarz płynniej przechodzi do kolejnych etapów operacji, mogąc skupić się na specyficznej obsłudze narzędzi i mechanicznej pracy z tkanką. W efekcie lekarz jest lepiej przygotowany do wykonania swojej pierwszej operacji na prawdziwym pacjencie.
Przyszłość rzeczywistości rozszerzonej i mieszanej
Rzeczywistość rozszerzona i mieszana w medycynie, w tym ortopedii, zyskuje coraz większą uwagę. Rozwój technologii daje szansę na:
- lepsze przygotowanie ortopedów do pierwszych operacji,
- łatwiejsze planowanie i realizacja zabiegów operacyjnych w skomplikowanych przypadkach,
- skrócenie czasu zabiegu operacyjnego,
- zmniejszenie ekspozycji na promieniowanie rentgenowskie w czasie zabiegu,
- zmniejszenie liczby powikłań śródoperacyjnych.
Ograniczenia technologii dotyczą głównie precyzji pozycjonowania hologramu względem ciała pacjenta w trakcie trwania operacji. Konieczne jest udoskonalenie MR pod tym względem.
Dla wielu lekarzy wrażenia sensoryczne generowane w rzeczywistości mieszanej są nowym doświadczeniem. Aby łatwiej wdrażać chirurgów w procesy AR i MR, wskazane jest projektowanie intuicyjnych interfejsów użytkownika umożliwiających płynny workflow w trakcie wykonywania operacji. Po krótkim instruktażu lekarz powinien bez zbędnego wysiłku umieć obsłużyć hologram i w pełni skupić się na realizowanych procedurach operacyjnych.
Inne nowoczesne technologie wspierające zabiegi operacyjne w ortopedii
- chirurgia robotyczna,
- indywidualne implanty i oprzyrządowanie (PSI, patient specific instrumentation) drukowane w 3D,
- narzędzia nawigacyjne ze śledzeniem położenia wizualizowanym na monitorach.
–
Źródła:
- Casari, F.A., Navab, N., Hruby, L.A. et al. Augmented Reality in Orthopedic Surgery Is Emerging from Proof of Concept Towards Clinical Studies: a Literature Review Explaining the Technology and Current State of the Art. Curr Rev Musculoskelet Med 14, 192–203 (2021). https://doi.org/10.1007/s12178-021-09699-3.
- Materiały informacyjne firmy MedApp: https://medapp.pl/,
- Materiały informacyjne firmy EpicVR: https://bit.ly/3udwbz3.