Affordable augmented reality for spine surgery:an empirical investigation into improving visualization and surgical accuracy

• Autorzy: Aslam Aslam , Saeed Muhammad Jasim , Jahangir Zarmina , Zafar Kanza , Sattar Muhammad Awais

Identyfikatory

DOI

10.35784/iapgos.6715

Warianty tytułu

PL

Niedroga rzeczywistość rozszerzona w chirurgii kręgosłupa: badanie empiryczne dotyczące poprawy wizualizacji i dokładności chirurgicznej

• Języki publikacji: EN

Abstrakty

EN

The minimally invasive spine surgery, sometimes referred to as MISS, has changed spinal therapy by minimizing the length of time required for recovery, as well as the amount of worry and suffering that patients experience. Before we can consider the surgery to have been successful, there is a critical problem that has to be addressed. The use of augmented reality technology has been gaining traction over the course of the last few years as a method of improving the accuracy of MISS management. This research has a significant focus on the applications of augmented reality in minimally invasive spine surgery as its core investigation. The use of augmented reality (AR) technology, which supports medical professionals in performing difficult spine procedures, allows for the provision of real-time placement suggestions as well as information that is specific to the patient. This has a number of major benefits, some of which include improved vision, more accurate tool placement, and less problems. In order to include augmented reality into MISS, it was necessary to have a user interface that was easy to use, a data integration system that was comprehensive, and recording mechanisms that were reliable. It is necessary to make the necessary modifications to the registration process, delays, and physical issues before bringing it into clinical practice. This procedure must be completed before it can be implemented. In the context of this research project, an application for smartphones that is integrated with augmented reality is currently being created with the purpose of boosting minimally invasive spine surgery. "The innovation of this research is the creation of a mobile AR interface that bridges the gap between accessibility and high-quality surgical visualization tools, offering an alternative to traditional AR systems." This AR smartphone application is the first of its type to combine cost, accessibility, and sophisticated visualization features, resulting in a whole new approach to surgical help that is unlike any other surgical procedure.Using Unity3D, the Vuforia AR camera, and C#, the software is able to create an augmented reality (AR) experience for mobile devices. This objective is realized via the utilization of these three components. Technology that are regarded to be industry standards include HoloLens and head-mounted displays (HMDs), which are examples of augmented reality technology. On the other hand, the vast majority of people are unable to make use of them because of the tremendous cost that they carry. When it comes to visualizing three-dimensional MRI spine pictures, this technology offers an approach that is more efficient and economical. Taking into consideration the results of this study, it would seem that surveys and formal evaluations that make use of MISS and augmented reality might possibly be beneficial. By using augmented reality (AR), medical practitioners may be able to more effectively see important structures, plan surgical operations, and identify the required equipment, which may eventually result in improved patient outcomes. Increasing the capabilities of augmented reality technology, finding new uses for it, and incorporating artificial intelligence-driven decision improvement are the goals of the researchers.

PL

Minimalnie inwazyjna chirurgia kręgosłupa, czasami określana jako MISS, zmieniła terapię kręgosłupa, minimalizując czas potrzebny na powrót do zdrowia, a także ilość zmartwień i cierpienia, których doświadczają pacjenci. Zanim jednak będziemy mogli uznać operację za udaną, należy rozwiązać pewien krytyczny problem. Wykorzystanie technologii rozszerzonej rzeczywistości zyskuje na popularności w ciągu ostatnich kilku lat jako metoda poprawy dokładności zarządzania MISS. Niniejsze badania koncentrują się na zastosowaniach rzeczywistości rozszerzonej w minimalnie inwazyjnej chirurgii kręgosłupa. Zastosowanie technologii rzeczywistości rozszerzonej (AR), która wspiera specjalistów medycznych w wykonywaniu trudnych zabiegów kręgosłupa, pozwala na dostarczanie sugestii dotyczących umiejscowienia w czasie rzeczywistym, a także informacji specyficznych dla pacjenta. Wiąże się to z wieloma ważnymi korzyściami, z których niektóre obejmują lepsze widzenie, dokładniejsze umieszczanie narzędzi i mniej problemów. Aby włączyć rzeczywistość rozszerzoną do MISS, konieczne było posiadanie łatwego w użyciu interfejsu użytkownika, kompleksowego systemu integracji danych i niezawodnych mechanizmów rejestracji. Konieczne jest dokonanie niezbędnych modyfikacji procesu rejestracji, opóźnień i kwestii fizycznych przed wprowadzeniem go do praktyki klinicznej. Procedura ta musi zostać zakończona przed jej wdrożeniem. W kontekście tego projektu badawczego tworzona jest obecnie aplikacja na smartfony, która jest zintegrowana z rozszerzoną rzeczywistością w celu usprawnienia minimalnie inwazyjnej chirurgii kręgosłupa. „Innowacyjność tego badania polega na stworzeniu mobilnego interfejsu AR, który wypełnia lukę między dostępnością a wysokiej jakości narzędziami do wizualizacji chirurgicznej, oferując alternatywę dla tradycyjnych systemów AR”. Ta aplikacja AR na smartfony jest pierwszą tego typu, która łączy koszty, dostępność i zaawansowane funkcje wizualizacji, co skutkuje zupełnie nowym podejściem do pomocy chirurgicznej, która nie przypomina żadnej innej procedury chirurgicznej. Korzystając z Unity3D, kamery Vuforia AR i C#, oprogramowanie jest w stanie stworzyć rozszerzoną rzeczywistość (AR) na urządzenia mobilne. Cel ten jest realizowany poprzez wykorzystanie tych trzech komponentów. Technologie uważane za standardy branżowe obejmują HoloLens i wyświetlacze montowane na głowie (HMD), które są przykładami technologii rzeczywistości rozszerzonej. Z drugiej strony, zdecydowana większość osób nie jest w stanie z nich skorzystać ze względu na ogromny koszt, jaki ze sobą niosą. Jeśli chodzi o wizualizację trójwymiarowych obrazów MRI kręgosłupa, technologia ta oferuje podejście, które jest bardziej wydajne i ekonomiczne. Biorąc pod uwagę wyniki tego badania, wydaje się, że ankiety i formalne oceny wykorzystujące MISS i rzeczywistość rozszerzoną mogą być korzystne. Korzystając z rzeczywistości rozszerzonej (AR), lekarze mogą być w stanie skuteczniej widzieć ważne struktury, planować operacje chirurgiczne i identyfikować wymagany sprzęt, co ostatecznie może skutkować lepszymi wynikami pacjentów. Celem naukowców jest zwiększenie możliwości technologii rzeczywistości rozszerzonej, znalezienie dla niej nowych zastosowań i wprowadzenie usprawnień decyzyjnych opartych na sztucznej inteligencji.

Słowa kluczowe

EN

Augmented Reality; Minimally Invasive Spine Surgery; surgical accuracy; patient outcomes

PL

rozszerzona rzeczywistość; małoinwazyjna chirurgia kręgosłupa; precyzja chirurgiczna; wyniki leczenia pacjentów

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 4
• Strony: 154--163
• Opis fizyczny: Bibliogr. 33 poz., rys., wykr.

Twórcy

autor

Aslam Aslam

• Riphah International University, Lahore, Pakistan

• https://orcid.org/0009-0006-0867-1724

autor

Saeed Muhammad Jasim

• Riphah International University, Lahore, Pakistan

• https://orcid.org/0000-0003-4736-2263

autor

Jahangir Zarmina

• Riphah International University, Lahore, Pakistan

• https://orcid.org/0009-0002-1240-1357

autor

Zafar Kanza

• Riphah International University, Lahore, Pakistan

• https://orcid.org/0009-0003-1754-9630

autor

Sattar Muhammad Awais

• Riphah International University, Lahore, Pakistan

• https://orcid.org/0000-0002-2431-8182

Bibliografia

• [1] Avrumova F., Lebl D. R.: Augmented reality for minimally invasive spinal surgery. Frontiers in Surgery 9, 2023, 1086988 [https://doi.org/10.3389/fsurg.2022.1086988].
• [2] Benmahdjoub M., van Walsum T., van Twisk P., Wolvius E. B.: Augmented reality in craniomaxillofacial surgery: Added value and proposed recommendations through a systematic review of the literature. Int. J. Oral Maxillofac. Surg. 50, 2021, 969–978.
• [3] Brebant V., Heine N., Lamby P., Heidekrueger P. I., Forte A. J., Prantl L., Aung T.: Augmented reality of indocyanine green fluorescence in simplified lymphovenous anastomosis in lymphatic surgery. Clin. Hemorheol. Microcirc. 3, 2019, 125–133.
• [4] Brockmeyer P., Wiechens B., Schliephake H.: The role of augmented reality in the advancement of minimally invasive surgery procedures: A scoping review. Bioengineering 10(4), 2023, 501 [https://doi.org/10.3390/bioengineering10040501].
• [5] Butler A. J., Colman M. W., Lynch J., Phillips F. M.: Augmented reality in minimally invasive spine surgery: Early efficiency and complications of percutaneous pedicle screw instrumentation. Spine J. 23, 2023, 27–33.
• [6] Chauvet P. et al.: Augmented reality with diffusion tensor imaging and tractography during laparoscopic myomectomies. J. Minim. Invasive Gynecol. 27, 2020, 973–976.
• [7] Chen F., Cui X., Han B., Liu J., Zhang X., Liao H.: Augmented reality navigation for minimally invasive knee surgery using enhanced arthroscopy. Comput. Methods Programs Biomed. 201, 2021, 105952.
• [8] Eckert M., Volmerg J. S., Friedrich C. M.: Augmented reality in medicine: Systematic and bibliographic review. JMIR Mhealth Uhealth. 7(4), 2019, e10967 [https://doi.org/10.2196/10967].
• [9] Felix B. et al.: Augmented reality spine surgery navigation: Increasing pedicle screw insertion accuracy for both open and minimally invasive spine surgeries. Spine. 47, 2022, 865–872.
• [10] Forte M. P., Gourishetti R., Javot B., Engler T., Gomez E. D., Kuchenbecker K. J.: Design of interactive augmented reality functions for robotic surgery and evaluation in dry-lab lymphadenectomy. Int. J. Med. Robot. 18, 2022, e2351.
• [11] Godzik J., Farber S. H., Urakov T., Steinberger J., Knipscher L. J., Ehredt R. B., Tumialán L. M., Uribe J. S.: "Disruptive technology" in spine surgery and education: Virtual and augmented reality. Oper. Neurosurg. 21, 2021, S85–S93.
• [12] Gholizadeh M. et al.: Minimally invasive and invasive liver surgery based on augmented reality training: a review of the literature. J Robot Surg. 17(3), 2023, 753–763 [https://doi.org/10.1007/s11701-022-01499-2].
• [13] Gribaudo M., Piazzolla P., Porpiglia F., Vezzetti E., Violante M. G.: 3D augmentation of the surgical video stream: Toward a modular approach. Comput. Methods Programs Biomed. 191, 2020, 105505.
• [14] Hersh A. et al.: Augmented reality in spine surgery: A narrative review. HSS J. 17(3), 2021, 351–358 [https://doi.org/10.1177/15563316211028595].
• [15] Huang X. et al.: Augmented reality surgical navigation in minimally invasive spine surgery: A preclinical study. Bioengineering 10, 2023, 1094 [https://doi.org/10.3390/bioengineering10091094].
• [16] Hussain R., Lalande A., Guigou C., Bozorg-Grayeli A.: Contribution of augmented reality to minimally invasive computer-assisted cranial base surgery. IEEE J. Biomed. Health Inform. 24, 2020, 2093–2106.
• [17] Jia T., Taylor Z. A., Chen X.: Long term and robust 6DoF motion tracking for highly dynamic stereo endoscopy videos. Comput. Med. Imaging Graph. 94, 2021, 101995.
• [18] Lecointre L. et al.: Robotically assisted augmented reality system for identification of targeted lymph nodes in laparoscopic gynecological surgery: A first step toward the identification of sentinel node. Surg. Endosc. 36, 2022, 9224–9233.
• [19] Lee C., Wong G. K.: Virtual reality and augmented reality in the management of intracranial tumors: A review. J. Clin. Neurosci. 62, 2019, 14–20 [https://doi.org/10.1016/j.jocn.2018.12.036].
• [20] Lee D., Yi J. W., Hong J., Chai Y. J., Kim H. C., Kong H. J.: Augmented reality to localize individual organ in surgical procedure. Healthc Inform Res. 24(4), 2018, 394-401 [https://doi.org/10.4258/hir.2018.24.4.394].
• [21] Liang S.: Research proposal on reviewing augmented reality applications for supporting ageing population. Procedia Manufacturing 3, 2015, 219-226 [https://doi.org/10.1016/j.promfg.2015.07.132].
• [22] Li R. et al.: Accurate and robust feature description and dense point-wise matching based on feature fusion for endoscopic images. Comput. Med. Imaging Graph. 94, 2021, 102007.
• [23] Pelargos P. E. et al.: Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. J. Clin. Neurosci. 35, 2017, 1–4 [https://doi.org/10.1016/j.jocn.2016.09.002].
• [24] Pratt P., Arora A.: Transoral robotic surgery: Image guidance and augmented reality. ORL J. Otorhinolaryngol. Relat. Spec. 80, 2018, 204–212.
• [25] Rush A. J. 3rd., Shepard N., Nolte M., Siemionow K., Phillips F.: Augmented reality in spine surgery: Current state of the art. Int. J. Spine Surg. 16, 2022, S22–S27.
• [26] Spirina Y., Samoilova I., Kazimova D., Selezneva R., Polupan K.: Using the Unity 3D environment and the Vuforia plugin to develop an AR application. Trudy Universiteta 1(90), 2023, 378–384 [https://doi.org/10.52209/1609-1825_2023_1_378].
• [27] Stewart C. L. et al.: Study on augmented reality for robotic surgery bedside assistants. J. Robot. Surg. 16, 2022, 1019–1026.
• [28] Thabit A. et al.: Augmented reality navigation for minimally invasive craniosynostosis surgery: A phantom study. Int. J. Comput. Assist. Radiol. Surg. 17, 2022, 1453–1460.
• [29] Wang R., Zhang M., Meng X., Geng Z., Wang F.Y.: 3-D tracking for augmented reality using combined region and dense cues in endoscopic surgery. IEEE J. Biomed. Health Inform. 22, 2018, 1540–1551.
• [30] Wendler T., van Leeuwen F. W. B., Navab N., van Oosterom M. N.: How molecular imaging will enable robotic precision surgery: The role of artificial intelligence, augmented reality, and navigation. Eur. J. Nucl. Med. Mol. Imaging. 48, 2021, 4201–4224.
• [31] Wild C. et al.: Telestration with augmented reality for visual presentation of intraoperative target structures in minimally invasive surgery: A randomized controlled study. Surg. Endosc. 36, 2022, 7453–7461.
• [32] Xu L. et al.: Information loss challenges in surgical navigation systems: From information fusion to AI-based approaches. Inf. Fusion. 92, 2023, 13–36.
• [33] Yuk F. J., Maragkos G. A., Sato K., Steinberger J.: Current innovation in virtual and augmented reality in spine surgery. Ann. Transl. Med. 9, 2021, 94.