Rzeczywistość rozszerzona i mieszana w ortopedii

Rozwijająca się technologia rzeczywistości rozszerzonej (AR, augmented reality) daje coraz szersze możliwości wspierania lekarzy ortopedów w codziennej pracy. Rzeczywistość rozszerzona pozwala lekarzowi na analizę wirtualnego obrazu 3D struktur anatomicznych pacjenta w tej samej przestrzeni, co świat rzeczywisty. Rzeczywistość mieszana (MR, mixed reality) wprowadza dodatkową możliwość interakcji w postaci zmiany różnych parametrów wyświetlanego widoku i pozycjonowania obrazu na ciele pacjenta.  

Opracowywane i optymalizowane są metody komputerowe ułatwiające planowanie przedoperacyjne oraz sprawne wykonywanie zabiegu, a także efektywną edukację i skrócenie czasu do osiągnięcia plateau krzywej uczenia technik operacyjnych.

Z poniższego tekstu dowiesz się, na czym polega rzeczywistość rozszerzona, jak obecnie wygląda wykorzystanie tej technologii w praktyce oraz jakie są możliwe wizje rozwoju AR i MR w ortopedii.   

AR i MR – co widzi ortopeda?

Lekarz widzi hologram czyli trójwymiarowy obraz struktur anatomicznych generowany w przestrzeni rzeczywistej. Odbywa się to dzięki specjalnym goglom zakładanym na oczy (np. Microsoft HoloLens) [2].

W trakcie analizy hologramu lekarz może przeskalować, obrócić czy też przesunąć obraz 3D w dowolne miejsce w przestrzeni. Aby wejść w interakcję z hologramem, lekarz wykonuje określone gesty ręką lub wypowiada odpowiednią komendę głosową. Wrażeniom wizualnym mogą dodatkowo towarzyszyć wrażenia słuchowe.

Obsługa wirtualnego interfejsu MR jest bezdotykowa, co umożliwia zachowanie sterylności rąk i wielokrotne powracanie do obrazu 3D danego obszaru anatomicznego w dowolnym momencie zabiegu operacyjnego.

Dzięki MR lekarz może samodzielnie wchodzić w interakcję z przestrzennym hologramem bez konieczności współpracy z inną osobą z sali operacyjnej.

Etapy powstawania rzeczywistości rozszerzonej

Pierwszym etapem jest pozyskanie wirtualnego modelu anatomicznego 3D z danych pochodzących z wyników badań obrazowych, np. tomografii komputerowej. Dane są importowane do specjalnego programu służącego do przetwarzania obrazu. W przypadku planowania zabiegu wykonywanego na kościach, dzięki wykorzystaniu odpowiednich algorytmów obraz tkanki kostnej jest automatycznie oddzielany od pozostałości tkanek miękkich.

Następnie obraz generowany komputerowo musi zostać osadzony w przestrzeni w odpowiedniej orientacji względem punktów referencyjnych. Obecnie odbywa się to przeważnie w wolnej przestrzeni przed operatorem. Podejmowane są także próby bezpośredniego nakładania hologramu na ciało pacjenta, m.in. przez dostęp operacyjny w trakcie zabiegu.

Hologram może zawierać dane obszaru anatomicznego sprzed zabiegu operacyjnego lub może także uwzględniać dane uzyskane śródoperacyjnie z obrazów fluoroskopii.

Etapy projektu aplikacji AR

Aby aplikacja AR odpowiadała potrzebom lekarzy ortopedów, przed jej realizacją konieczne jest przygotowanie precyzyjnego projektu, który uwzględnia [3]:

1. scenariusz aktywności użytkownika w aplikacji,
2. opis otoczenia, w którym będzie się znajdował użytkownik (głównie w symulatorach operacji),
3. opis interakcji użytkownika z konkretnymi obiektami otoczenia,
4. koncepcję szaty graficznej,
5. opis dodatkowych systemów, (np. zbierania i przechowywania konkretnych danych).

Rzeczywistość rozszerzona i mieszana – zastosowanie w ortopedii

Rzeczywistość mieszana na sali operacyjnej

Zabiegi chirurgiczne w ortopedii wymagają analizy dużej ilości danych geometrycznych – parametrów kątowych korekcji deformacji czy orientacji i trajektorii przyrządów przy wykonywaniu określonych procedur. Wykorzystanie AR i MR ułatwia lekarzowi szybki i wygodny dostęp do potrzebnych informacji.

W przeglądzie z 2021 roku [1] można znaleźć przykłady zrealizowanych zabiegów operacyjnych z wykorzystaniem rzeczywistości rozszerzonej:

• osteotomie korekcyjne kończyny dolnej (śródoperacyjna wizualizacja AR osi mechanicznej),
• neurochirurgia, np. osteotomie trzonów kręgów w korekcjach skoliozy kręgosłupa,
• endoprotezoplastyka stawu biodrowego (osadzanie komponentów implantu w odpowiedniej orientacji przestrzennej),  
• osteosynteza złamań pourazowych,
• resekcja guzów kości z zachowaniem marginesu zdrowych tkanek.

Symulatory medyczne operacji

Młodzi ortopedzi mogą w sposób nieinwazyjny i bezpieczny trenować procedury operacyjne w rzeczywistości wirtualnej (wrażenia sensoryczne powstają w goglach bez naniesienia obrazu na świat rzeczywisty). Odpowiednio przygotowana aplikacja jest w stanie odwzorować operowaną okolicę anatomiczną i wygląd narzędzi chirurgicznych, a także zapewnić wrażenie rzeczywistego przebywania na sali operacyjnej. Procedury zabiegowe mogą być powtarzane dowolną liczbę razy bez zużywania materiałów i korzystania z wyposażenia sali operacyjnej. W aplikacjach można uwzględnić funkcjonalność egzaminującą, która ocenia postępy w nauce na podstawie ustalonych parametrów.

Dzięki wielokrotnemu powtarzaniu procedur zabiegowych w wirtualnej rzeczywistości ortopeda jest lepiej przygotowany do kursów na preparatach nieutrwalonych. Mając dobrze przyswojony przebieg zabiegu, lekarz płynniej przechodzi do kolejnych etapów operacji, mogąc skupić się na specyficznej obsłudze narzędzi i mechanicznej pracy z tkanką. W efekcie lekarz jest lepiej przygotowany do wykonania swojej pierwszej operacji na prawdziwym pacjencie.

Przyszłość rzeczywistości rozszerzonej i mieszanej

Rzeczywistość rozszerzona i mieszana w medycynie, w tym ortopedii, zyskuje coraz większą uwagę. Rozwój technologii daje szansę na:

• lepsze przygotowanie ortopedów do pierwszych operacji,
• łatwiejsze planowanie i realizacja zabiegów operacyjnych w skomplikowanych przypadkach,
• skrócenie czasu zabiegu operacyjnego,
• zmniejszenie ekspozycji na promieniowanie rentgenowskie w czasie zabiegu,
• zmniejszenie liczby powikłań śródoperacyjnych.

Ograniczenia technologii dotyczą głównie precyzji pozycjonowania hologramu względem ciała pacjenta w trakcie trwania operacji. Konieczne jest udoskonalenie MR pod tym względem.

Dla wielu lekarzy wrażenia sensoryczne generowane w rzeczywistości mieszanej są nowym doświadczeniem. Aby łatwiej wdrażać chirurgów w procesy AR i MR, wskazane jest projektowanie intuicyjnych interfejsów użytkownika umożliwiających płynny workflow w trakcie wykonywania operacji. Po krótkim instruktażu lekarz powinien bez zbędnego wysiłku umieć obsłużyć hologram i w pełni skupić się na realizowanych procedurach operacyjnych.

Inne nowoczesne technologie wspierające zabiegi operacyjne w ortopedii

• chirurgia robotyczna,
• indywidualne implanty i oprzyrządowanie (PSI, patient specific instrumentation) drukowane w 3D,
• narzędzia nawigacyjne ze śledzeniem położenia wizualizowanym na monitorach.

–

Źródła:

1. Casari, F.A., Navab, N., Hruby, L.A. et al. Augmented Reality in Orthopedic Surgery Is Emerging from Proof of Concept Towards Clinical Studies: a Literature Review Explaining the Technology and Current State of the Art. Curr Rev Musculoskelet Med 14, 192–203 (2021). https://doi.org/10.1007/s12178-021-09699-3.
2. Materiały informacyjne firmy MedApp: https://medapp.pl/,
3. Materiały informacyjne firmy EpicVR: https://bit.ly/3udwbz3.