Rzeczywistość rozszerzona i mieszana w ortopedii

Rozwijająca się technologia rzeczywistości rozszerzonej (AR, augmented reality) daje coraz szersze możliwości wspierania lekarzy ortopedów w codziennej pracy. Rzeczywistość rozszerzona pozwala lekarzowi na analizę wirtualnego obrazu 3D struktur anatomicznych pacjenta w tej samej przestrzeni, co świat rzeczywisty. Rzeczywistość mieszana (MR, mixed reality) wprowadza dodatkową możliwość interakcji w postaci zmiany różnych parametrów wyświetlanego widoku i pozycjonowania obrazu na ciele pacjenta.  

Opracowywane i optymalizowane są metody komputerowe ułatwiające planowanie przedoperacyjne oraz sprawne wykonywanie zabiegu, a także efektywną edukację i skrócenie czasu do osiągnięcia plateau krzywej uczenia technik operacyjnych.

Z poniższego tekstu dowiesz się, na czym polega rzeczywistość rozszerzona, jak obecnie wygląda wykorzystanie tej technologii w praktyce oraz jakie są możliwe wizje rozwoju AR i MR w ortopedii.   

AR i MR – co widzi ortopeda?

Lekarz widzi hologram czyli trójwymiarowy obraz struktur anatomicznych generowany w przestrzeni rzeczywistej. Odbywa się to dzięki specjalnym goglom zakładanym na oczy (np. Microsoft HoloLens) [2].

W trakcie analizy hologramu lekarz może przeskalować, obrócić czy też przesunąć obraz 3D w dowolne miejsce w przestrzeni. Aby wejść w interakcję z hologramem, lekarz wykonuje określone gesty ręką lub wypowiada odpowiednią komendę głosową. Wrażeniom wizualnym mogą dodatkowo towarzyszyć wrażenia słuchowe.

Obsługa wirtualnego interfejsu MR jest bezdotykowa, co umożliwia zachowanie sterylności rąk i wielokrotne powracanie do obrazu 3D danego obszaru anatomicznego w dowolnym momencie zabiegu operacyjnego.

Dzięki MR lekarz może samodzielnie wchodzić w interakcję z przestrzennym hologramem bez konieczności współpracy z inną osobą z sali operacyjnej.

Etapy powstawania rzeczywistości rozszerzonej

Pierwszym etapem jest pozyskanie wirtualnego modelu anatomicznego 3D z danych pochodzących z wyników badań obrazowych, np. tomografii komputerowej. Dane są importowane do specjalnego programu służącego do przetwarzania obrazu. Gdy planuje się jedynie zabieg na kościach, dzięki wykorzystaniu odpowiednich algorytmów obraz tkanki kostnej jest automatycznie oddzielany od pozostałości tkanek miękkich.

Następnie obraz generowany komputerowo musi zostać osadzony w przestrzeni w odpowiedniej orientacji względem punktów referencyjnych. Obecnie odbywa się to przeważnie w wolnej przestrzeni przed operatorem. Podejmowane są także próby bezpośredniego nakładania hologramu na ciało pacjenta, m.in. przez dostęp operacyjny w trakcie zabiegu.

Hologram może zawierać dane obszaru anatomicznego sprzed zabiegu operacyjnego lub może także uwzględniać dane uzyskane śródoperacyjnie z obrazów fluoroskopii.

Etapy projektu aplikacji AR

Aby aplikacja AR odpowiadała potrzebom lekarzy ortopedów, przed jej realizacją konieczne jest przygotowanie precyzyjnego projektu, który uwzględnia [3]:

1. Scenariusz aktywności użytkownika w aplikacji,
2. Opis otoczenia, w którym będzie się znajdował użytkownik (głównie w symulatorach operacji),
3. Opis interakcji użytkownika z konkretnymi obiektami otoczenia,
4. Koncepcja szaty graficznej,
5. Opis dodatkowych systemów, (np. zbierania i przechowywania konkretnych danych).

Rzeczywistość rozszerzona i mieszana – zastosowanie w ortopedii

Rzeczywistość mieszana na sali operacyjnej

Zabiegi chirurgiczne w ortopedii wymagają analizy dużej ilości danych geometrycznych – parametrów kątowych korekcji deformacji czy orientacji i trajektorii przyrządów przy wykonywaniu określonych procedur. Wykorzystanie AR i MR ułatwia lekarzowi szybki i wygodny dostęp do potrzebnych informacji.

W przeglądzie z 2021 roku [1] można znaleźć przykłady zrealizowanych zabiegów operacyjnych z wykorzystaniem rzeczywistości rozszerzonej:

• osteotomie korekcyjne kończyny dolnej (śródoperacyjna wizualizacja AR osi mechanicznej),
• neurochirurgia, np. osteotomie trzonów kręgów w korekcjach skoliozy kręgosłupa,
• endoprotezoplastyka stawu biodrowego (osadzanie komponentów implantu w odpowiedniej orientacji przestrzennej),  
• osteosynteza złamań pourazowych,
• resekcja guzów kości z zachowaniem marginesu zdrowych tkanek.

Symulatory medyczne operacji

Młodzi ortopedzi mogą w sposób nieinwazyjny i bezpieczny trenować procedury operacyjne w rzeczywistości wirtualnej (wrażenia sensoryczne powstające w goglach). Odpowiednio przygotowana aplikacja jest w stanie odwzorować operowaną okolicę anatomiczną i wygląd narzędzi chirurgicznych, a także zapewnić wrażenie rzeczywistego przebywania na sali operacyjnej. Procedury zabiegowe mogą być powtarzane dowolną liczbę razy bez zużywania materiałów i korzystania z wyposażenia sali operacyjnej. W aplikacjach można uwzględnić funkcjonalność egzaminującą, która ocenia postępy w nauce na podstawie ustalonych parametrów.

Dzięki wielokrotnemu powtarzaniu procedur zabiegowych w wirtualnej rzeczywistości ortopeda jest lepiej przygotowany do kursów na preparatach nieutrwalonych. Mając dobrze przyswojony przebieg zabiegu, lekarz płynniej przechodzi do kolejnych etapów operacji, mogąc skupić się na specyficznej obsłudze narzędzi i mechanicznej pracy z tkanką. W efekcie lekarz jest lepiej przygotowany do wykonania swojej pierwszej operacji na prawdziwym pacjencie.

Przyszłość rzeczywistości rozszerzonej i mieszanej

Rzeczywistość rozszerzona i mieszana w medycynie, w tym ortopedii, zyskuje coraz większą uwagę. Rozwój technologii daje szansę na:

• lepsze przygotowanie ortopedów do pierwszych operacji,
• łatwiejsze planowanie i realizacja zabiegów operacyjnych w skomplikowanych przypadkach,
• skrócenie czasu zabiegu operacyjnego,
• zmniejszenie ekspozycji na promieniowanie rentgenowskie w czasie zabiegu,
• zmniejszenie liczby powikłań śródoperacyjnych.

Ograniczenia technologii dotyczą głównie precyzji pozycjonowania hologramu względem ciała pacjenta w trakcie trwania operacji. Konieczne jest udoskonalenie MR pod tym względem.

Dla wielu lekarzy wrażenia sensoryczne generowane w rzeczywistości mieszanej są nowym doświadczeniem. Aby łatwiej wdrażać chirurgów w procesy AR i MR, wskazane jest projektowanie intuicyjnych interfejsów użytkownika umożliwiających płynny workflow w trakcie wykonywania operacji. Po krótkim instruktażu lekarz powinien bez zbędnego wysiłku umieć obsłużyć hologram i w pełni skupić się na realizowanych procedurach operacyjnych.

Inne nowoczesne technologie wspierające zabiegi operacyjne w ortopedii

• chirurgia robotyczna,
• indywidualne implanty i oprzyrządowanie (PSI, patient specific instrumentation) drukowane w 3D,
• narzędzia nawigacyjne ze śledzeniem położenia wizualizowanym na monitorach.

–

Źródła:

1. Casari, F.A., Navab, N., Hruby, L.A. et al. Augmented Reality in Orthopedic Surgery Is Emerging from Proof of Concept Towards Clinical Studies: a Literature Review Explaining the Technology and Current State of the Art. Curr Rev Musculoskelet Med 14, 192–203 (2021). https://doi.org/10.1007/s12178-021-09699-3.
2. Materiały informacyjne firmy MedApp: https://medapp.pl/,
3. Materiały informacyjne firmy EpicVR: https://bit.ly/3udwbz3.