A Ho Si Minh-városi Műszaki Egyetem hallgatói kézrehabilitációs játékot készítenek

[hirdetés_1]

A diákok egy csoportja által fejlesztett videojáték mesterséges intelligenciát használ a kézmozdulatok felismerésére és a rehabilitáció támogatására.

A Ho Si Minh-városi Műszaki Egyetem Számítástechnikai Tanszékének kutatócsoportja (BK Hand Rehab) 2022 augusztusában kezdte meg egy videojátékokhoz használható kézmozdulat-felismerő rendszer építését. A csoport fokozatosan fejlesztette a rendszert számítógépes játékká, hogy segítsen helyreállítani és kezelni a kézfunkciókat.

Vo Ngoc Sang, a kutatócsoport tagja elmondta, hogy a BK Hand Rehab játékait úgy fejlesztik, hogy azok a csukló, a kéz és az ujjak rehabilitációjának támogatására összpontosítsanak.

A játékot egy számítógép és egy Leap Motion Controller érzékelőeszköz tervezi és működteti. Kezdetben a játékosoknak kézmozdulatokat kell végrehajtaniuk az egyes játékbeli utasításoknak megfelelően. Az érzékelő képes fogadni és felismerni a kéz bizonyos pontjainak helyére vonatkozó információkat. Innen a csapat mesterséges intelligencia (MI) algoritmusokat használ a megfelelő kézformák és gesztusok generálására, és cselekvéseket hoz létre a játékban.

Diákok terveznek videojátékokat a kézfunkciók helyreállítására — A játék segít a felhasználóknak rugalmas kézreflexeket kialakítani. Videó : *Kutatócsoport*

A játékrendszer hierarchikus struktúrával, szint szerint lett kialakítva, ami azt jelenti, hogy minden játékban a játékosok a könnyűtől a nehéz szintekig terjedő élményeket tapasztalhatnak meg, egyre nagyobb kihívást jelentve. A játék sokféle alany számára alkalmas, például idősek, fogyatékkal élők vagy kézsérültek számára, akik fizikoterápiás szakaszban vannak. A kézmozdulat-felismerésnek köszönhetően a játékkal interakcióba léphetnek a fizikoterápián részt vevő betegek, így gyakorolhatnak és ellazulhatnak, így kellemes érzést keltve.

A kézrehabilitációra szoruló betegek jellemzően egyszerű mechanikai gyakorlatokat végeznek, vagy ápolók, illetve orvosok segítségével végzik a munkájukat. A csapat megoldása videojátékokon alapul, így a rehabilitációs folyamat érdekesebb és kevésbé unalmas.

A BK Hand Rehab jelenleg 3 alapjátékot kínál. A játékosok statikus játékokkal (formák és színek választása) vagy dinamikus játékokkal (tárgyak mozgatása a leeső tárgyak elkapásához vagy irányítás az akadályok elkerülése érdekében) gyakorolhatnak.

A játékokat a csapat egy ötlépéses folyamat szerint fejleszti: ötletelés, tervezés, finomítás, tesztelés és telepítés. Ami az egyes játékokhoz kiválasztott kézmozdulatokat illeti, a csapat olyan rangos szervezetek kutatásait konzultálja, mint a Harvard Egyetem és a skót kormány Nemzeti Egészségügyi Szolgálata.

A játékokon keresztüli gyakorláshoz a felhasználóknak kézenállásra, számítógépre és egy Leap Motion Controller érzékelőre van szükségük. A felhasználókat a játék műfajától függően meghatározott mozdulatokon keresztül vezetik végig, és a helyzet alapján döntik el, hogy mely mozdulatokat hajtsák végre a megfelelő kontextussal való interakcióhoz.

A felhasználók a való életben is megtapasztalhatják a játékot. Fotó: Kutatócsoport — A felhasználók a való életben is megtapasztalhatják a játékot. Fotó: *Kutatócsoport*

Néhány felhasználó a termékértékelés során azt tapasztalta, hogy a játékok formájában kínált gyakorlatok letisztultnak, kényelmesnek, könnyen telepíthetőnek és használhatónak bizonyulnak. A csapat további módszerek kutatását tervezi a kézmozdulatok felismerésének pontosságának és a nehezebb mozdulatoknak a növelése érdekében. Ugyanakkor a játékok grafikáját és mechanikáját is fejleszteni kell a felhasználói élmény javítása érdekében.

Dr. Quan Thanh Tho docens, a Műszaki Egyetem (VNU-HCM) Számítástechnikai és Mérnöki Karának tanszékvezető-helyettese és oktató úgy értékelte, hogy a BK Hand Rehab kiemelkedő megoldást kínál a hagyományos kézterápiás módszerekhez képest, mivel élvezetes felépülési élményt teremt, csökkenti az unalmat, segít a költségek megtakarításában, és nem igényli a betegek orvosi intézményekbe utazását.

Tho docens szerint a projektben nagy potenciál rejlik, annak ellenére, hogy a videojátékok kézrehabilitációt támogató alkalmazása nem új ötlet, és számos korábbi tanulmányban is említették és megvalósították. A korábbi tanulmányoknak azonban még mindig számos korlátjuk van, például a játékhoz nem megfelelő mozdulatok kiválasztása, és a kézmozdulatok felismerésének lépése nem érte el a várt pontosságot és sebességet. „A BK Hand Rehab számos olyan problémát megoldott, amelyekkel a korábbi tanulmányok találkoztak” – mondta.

Hozzátette azt is, hogy a felhasználók valós visszajelzései alapján a játékot a betegek igényeihez kell igazítani. Másodszor, a csapatnak elismernie kell a megoldás hatékonyságát a fizikoterápiás szakértőktől. „Ezeket a pontokat kell teljesíteni” – mondta, hozzátéve, hogy a Számítástechnikai és Mérnöki Tanszékkel együttműködve támogatja a csapatot az orvosi központokkal és ortopédiai kórházakkal való kapcsolatfelvételben, a szükséges kutatások elvégzése céljából.

A Hand Rehab projekt nemrégiben első díjat nyert a SonTa Alapítvány nonprofit szervezet által szervezett 2023-as Közösségi Kezdeményezési versenyen.