A digital twin based real-time augmented vision system approach for healthcare applications

• Autorzy: Reddy Alumuru Mahesh , Pavan C. , Pavithra P. , Rahulbanni B. , Prathima A. , Niharika P

Identyfikatory

DOI

10.15199/48.2024.11.15

Warianty tytułu

PL

Podejście do systemu wizji rozszerzonej w czasie rzeczywistym opartego na cyfrowym bliźniaku dla zastosowań w opiece zdrowotnej

• Języki publikacji: EN

Abstrakty

EN

n the contemporary healthcare setting, timely monitoring and assessment of vital signs play a pivotal role in ensuring effective patient care. This proposal introduces an innovative Digital Twin-based Augmented Vision System (DTS) aimed at improving healthcare protocols by offering comprehensive vital signs monitoring and visualization. The DTS is built upon a combination of hardware components, including Arduino microcontrollers, pulse sensors, SpO2 sensors, temperature sensors, LCD modules, Node MCU for IoT connectivity, Bluetooth modules, and a mobile application. The operation of the DTS revolves around real-time data collection from sensors attached to the patient. Arduino microcontrollers act as the central processing units, gathering sensor data and transmitting it to the Node MCU for cloud connectivity via the Ubidots IoT platform. Additionally, Bluetooth modules facilitate seamless communication with a dedicated mobile application. Upon reception of the data, the mobile application provides an intuitive interface for both healthcare professionals and patients. Users can access vital sign readings and perform actions such as scanning QR codes for supplementary information. Leveraging the device's camera, the application overlays a 3D virtual representation of human lungs, enriched with real-time sensor readings from the Arduino microcontrollers. This augmented reality visualization enhances comprehension of patient conditions by displaying risk levels through color-coded indicators. Risk levels are categorized as red for high risk, yellow for moderate risk, and green for low risk, aiding quick interpretation by healthcare providers. This real-time augmented vision system equips medical professionals with enriched insights into patient health status, enabling proactive intervention and the implementation of personalized care strategies.

PL

We współczesnym środowisku opieki zdrowotnej terminowe monitorowanie i ocena parametrów życiowych odgrywają kluczową rolę w zapewnieniu skutecznej opieki nad pacjentem. Ta propozycja wprowadza innowacyjny system rozszerzonej wizji oparty na Digital Twin (DTS), którego celem jest ulepszenie protokołów opieki zdrowotnej poprzez oferowanie kompleksowego monitorowania i wizualizacji parametrów życiowych. DTS opiera się na połączeniu komponentów sprzętowych, w tym mikrokontrolerów Arduino, czujników tętna, czujników SpO2, czujników temperatury, modułów LCD, Node MCU do łączności IoT, modułów Bluetooth i aplikacji mobilnej. Działanie DTS opiera się na zbieraniu danych w czasie rzeczywistym z czujników podłączonych do pacjenta. Mikrokontrolery Arduino działają jako jednostki centralne, gromadząc dane z czujników i przesyłając je do Node MCU w celu zapewnienia łączności w chmurze za pośrednictwem platformy IoT Ubidots. Ponadto moduły Bluetooth ułatwiają bezproblemową komunikację z dedykowaną aplikacją mobilną. Po otrzymaniu danych aplikacja mobilna zapewnia intuicyjny interfejs zarówno dla pracowników służby zdrowia, jak i pacjentów. Użytkownicy mogą uzyskać dostęp do odczytów parametrów życiowych i wykonywać czynności, takie jak skanowanie kodów QR w celu uzyskania informacji uzupełniających. Wykorzystując kamerę urządzenia, aplikacja nakłada trójwymiarową wirtualną reprezentację ludzkich płuc, wzbogaconą o odczyty czujników w czasie rzeczywistym z mikrokontrolerów Arduino. Ta wizualizacja rozszerzonej rzeczywistości poprawia zrozumienie stanu pacjenta poprzez wyświetlanie poziomów ryzyka za pomocą wskaźników kodowanych kolorami. Poziomy ryzyka są klasyfikowane jako czerwony dla wysokiego ryzyka, żółty dla umiarkowanego ryzyka i zielony dla niskiego ryzyka, co ułatwia szybką interpretację przez pracowników służby zdrowia. Ten system rozszerzonej wizji w czasie rzeczywistym wyposaża pracowników służby zdrowia w pogłębione informacje na temat stanu zdrowia pacjenta, umożliwiając proaktywną interwencję i wdrażanie spersonalizowanych strategii opieki.

Słowa kluczowe

EN

Node MCU board; UBIDOTS; lungs IoT; ESP8266; sensor; Arduino Uno; SPO2; LCD

PL

węzeł MCU; UBIDOTS; lungs IoT; ESP8266; czujnik; Arduino-Uno; SPO2; LCD

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2024
• Tom: R. 100, nr 11
• Strony: 82--87
• Opis fizyczny: Bibliogr. 15 poz., rys.

Twórcy

autor

Reddy Alumuru Mahesh

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

autor

Pavan C.

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

autor

Pavithra P.

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

autor

Rahulbanni B.

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

autor

Prathima A.

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

autor

Niharika P

• Department of ECE, SIETK (Siddharth Institute of Engineering and Technology). Narayanavanam Road, Near Tirupathi -Chennai Highway, Siddharth Nagar, Puttur, Chittoor, Andhra Pradesh 517583

Bibliografia

• [1] Martinez, A., & Rodriguez, L. (2022). "Digital Twin-Based Augmented Vision for Surgical Navigation." IEEE Transactions on Medical Robotics, 28(1), 80-95.
• [2] Clark, M., & Davis, E. (2021). "Real-Time Patient Monitoring Using Digital Twin Technology." Journal of Healthcare Engineering, 15(4), 670-685.
• [3] Roberts, S., & Hall, B. (2021). "Digital Twin-Based Augmented Reality for Medical Education: A Survey." Medical Education Online, 35(3), 380-395.
• [4] King, M., & Perez, E. (2021). "Real-Time Augmented Vision for Remote Health Consultation: A Review." Journal of Telemedicine and Telecare, 27(3), 320-335.
• [5] Doe, J., & Smith, J. (2020). "Digital Twin-Based Augmented Vision System for Remote Health Monitoring." IEEE Transactions on Biomedical Engineering, 68(5), 1500-1512.
• [6] Taylor, C., & Garcia, S. (2020). "Augmented Reality in Telemedicine: A Digital Twin Approach." International Journal of Telemedicine and Applications, 18(2), 230-245.
• [7] Thompson, R., & Collins, M. (2020). "Digital Twin Technology for Patient-Centric Healthcare." Journal of Medical Systems, 23(2), 270-285.
• [8] Nelson, E., & Wright, E. (2020). "Real-Time Augmented Vision for Surgical Training: A Review." Journal of Surgical Education, 25(2), 210-225.
• [9] Johnson, A., & Lee, R. (2019). "Real-Time Augmented Vision in Healthcare: A Survey." Journal of Medical Imaging, 22(3), 450-465.
• [10] Wilson, D., & Moore, O. (2019). "Digital Twin Technology for Real-Time Patient Monitoring: A Review." Journal of Healthcare Informatics, 12(3), 340-355.
• [11] Carter, J., & Thomas, E. (2019). "Real-Time Augmented Vision for Emergency Medical Services: A Review." Journal of Emergency Medical Services, 30(1), 110-125.
• [12] Adams, H., & Rogers, S. (2019). "Augmented Reality in Rehabilitation: A Digital Twin Approach." Journal of Rehabilitation Engineering, 17(4), 450-465.
• [13] Brown, D., & White, S. (2018). "Digital Twin-Based Augmented Reality in Healthcare: Challenges and Opportunities." International Journal of Medical Informatics, 37(2), 220-235.
• [14] Harris, M., & Allen, C. (2018). "Digital Twin-Based Decision Support System for Healthcare." Decision Support Systems, 25(4), 560-575.
• [15] Rivera, L., & Scott, H. (2018). "Digital Twin Technology in Healthcare: Challenges and Opportunities." Healthcare Technology Letters, 14(1), 120-135.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).