Rozwijająca się technologia rzeczywistości rozszerzonej (AR, augmented reality) daje coraz szersze możliwości wspierania lekarzy ortopedów w codziennej pracy. Rzeczywistość rozszerzona pozwala lekarzowi na analizę wirtualnego obrazu 3D struktur anatomicznych pacjenta w tej samej przestrzeni, co świat rzeczywisty. Rzeczywistość mieszana (MR, mixed reality) wprowadza dodatkową możliwość interakcji w postaci zmiany różnych parametrów wyświetlanego widoku i pozycjonowania obrazu na ciele pacjenta.
Opracowywane i optymalizowane są metody komputerowe ułatwiające planowanie przedoperacyjne oraz sprawne wykonywanie zabiegu, a także efektywną edukację i skrócenie czasu do osiągnięcia plateau krzywej uczenia technik operacyjnych.
Z poniższego tekstu dowiesz się, na czym polega rzeczywistość rozszerzona, jak obecnie wygląda wykorzystanie tej technologii w praktyce oraz jakie są możliwe wizje rozwoju AR i MR w ortopedii.
Lekarz widzi hologram czyli trójwymiarowy obraz struktur anatomicznych generowany w przestrzeni rzeczywistej. Odbywa się to dzięki specjalnym goglom zakładanym na oczy (np. Microsoft HoloLens) [2].
W trakcie analizy hologramu lekarz może przeskalować, obrócić czy też przesunąć obraz 3D w dowolne miejsce w przestrzeni. Aby wejść w interakcję z hologramem, lekarz wykonuje określone gesty ręką lub wypowiada odpowiednią komendę głosową. Wrażeniom wizualnym mogą dodatkowo towarzyszyć wrażenia słuchowe.
Obsługa wirtualnego interfejsu MR jest bezdotykowa, co umożliwia zachowanie sterylności rąk i wielokrotne powracanie do obrazu 3D danego obszaru anatomicznego w dowolnym momencie zabiegu operacyjnego.
Dzięki MR lekarz może samodzielnie wchodzić w interakcję z przestrzennym hologramem bez konieczności współpracy z inną osobą z sali operacyjnej.
Pierwszym etapem jest pozyskanie wirtualnego modelu anatomicznego 3D z danych pochodzących z wyników badań obrazowych, np. tomografii komputerowej. Dane są importowane do specjalnego programu służącego do przetwarzania obrazu. W przypadku planowania zabiegu wykonywanego na kościach, dzięki wykorzystaniu odpowiednich algorytmów obraz tkanki kostnej jest automatycznie oddzielany od pozostałości tkanek miękkich.
Następnie obraz generowany komputerowo musi zostać osadzony w przestrzeni w odpowiedniej orientacji względem punktów referencyjnych. Obecnie odbywa się to przeważnie w wolnej przestrzeni przed operatorem. Podejmowane są także próby bezpośredniego nakładania hologramu na ciało pacjenta, m.in. przez dostęp operacyjny w trakcie zabiegu.
Hologram może zawierać dane obszaru anatomicznego sprzed zabiegu operacyjnego lub może także uwzględniać dane uzyskane śródoperacyjnie z obrazów fluoroskopii.
Aby aplikacja AR odpowiadała potrzebom lekarzy ortopedów, przed jej realizacją konieczne jest przygotowanie precyzyjnego projektu, który uwzględnia [3]:
Zabiegi chirurgiczne w ortopedii wymagają analizy dużej ilości danych geometrycznych – parametrów kątowych korekcji deformacji czy orientacji i trajektorii przyrządów przy wykonywaniu określonych procedur. Wykorzystanie AR i MR ułatwia lekarzowi szybki i wygodny dostęp do potrzebnych informacji.
W przeglądzie z 2021 roku [1] można znaleźć przykłady zrealizowanych zabiegów operacyjnych z wykorzystaniem rzeczywistości rozszerzonej:
Młodzi ortopedzi mogą w sposób nieinwazyjny i bezpieczny trenować procedury operacyjne w rzeczywistości wirtualnej (wrażenia sensoryczne powstają w goglach bez naniesienia obrazu na świat rzeczywisty). Odpowiednio przygotowana aplikacja jest w stanie odwzorować operowaną okolicę anatomiczną i wygląd narzędzi chirurgicznych, a także zapewnić wrażenie rzeczywistego przebywania na sali operacyjnej. Procedury zabiegowe mogą być powtarzane dowolną liczbę razy bez zużywania materiałów i korzystania z wyposażenia sali operacyjnej. W aplikacjach można uwzględnić funkcjonalność egzaminującą, która ocenia postępy w nauce na podstawie ustalonych parametrów.
Dzięki wielokrotnemu powtarzaniu procedur zabiegowych w wirtualnej rzeczywistości ortopeda jest lepiej przygotowany do kursów na preparatach nieutrwalonych. Mając dobrze przyswojony przebieg zabiegu, lekarz płynniej przechodzi do kolejnych etapów operacji, mogąc skupić się na specyficznej obsłudze narzędzi i mechanicznej pracy z tkanką. W efekcie lekarz jest lepiej przygotowany do wykonania swojej pierwszej operacji na prawdziwym pacjencie.
Rzeczywistość rozszerzona i mieszana w medycynie, w tym ortopedii, zyskuje coraz większą uwagę. Rozwój technologii daje szansę na:
Ograniczenia technologii dotyczą głównie precyzji pozycjonowania hologramu względem ciała pacjenta w trakcie trwania operacji. Konieczne jest udoskonalenie MR pod tym względem.
Dla wielu lekarzy wrażenia sensoryczne generowane w rzeczywistości mieszanej są nowym doświadczeniem. Aby łatwiej wdrażać chirurgów w procesy AR i MR, wskazane jest projektowanie intuicyjnych interfejsów użytkownika umożliwiających płynny workflow w trakcie wykonywania operacji. Po krótkim instruktażu lekarz powinien bez zbędnego wysiłku umieć obsłużyć hologram i w pełni skupić się na realizowanych procedurach operacyjnych.
–
Źródła: