Studenti Technické univerzity v Ho Či Minově Městě vytvářejí hru na rehabilitaci rukou

Videohra, vyvinutá skupinou studentů, využívá umělou inteligenci k rozpoznávání gest rukou a podpoře rehabilitace v této části.

Výzkumná skupina (BK Hand Rehab) z katedry informatiky na Technologické univerzitě v Ho Či Minově městě začala v srpnu 2022 vyvíjet systém rozpoznávání gest rukou pro videohry. Skupina systém postupně vylepšila do podoby počítačové hry, která pomáhá obnovit a léčit funkci ruky.

Vo Ngoc Sang, člen výzkumného týmu, uvedl, že hry BK Hand Rehab jsou vyvíjeny tak, aby se zaměřily na podporu rehabilitace zápěstí, ruky a prstů.

Hra je navržena a ovládána pomocí počítače a senzorového zařízení Leap Motion Controller. Hráči nejprve provádějí gesta rukou podle pokynů v každé hře. Senzor je schopen přijímat a rozpoznávat informace o poloze určitých bodů na ruce. Tým poté pomocí algoritmů umělé inteligence (AI) generuje odpovídající tvary a gesta rukou, čímž vytváří akce ve hře.

Studenti navrhují videohry pro obnovení funkce ruky — Hra pomáhá uživatelům rozvíjet flexibilní reflexy rukou. Video : *Výzkumný tým*

Herní systém je navržen s hierarchickou strukturou podle úrovní, což znamená, že v každé hře hráči procházejí úrovně od lehkých po obtížné, čímž vznikají náročnější zážitky. Hra je vhodná pro mnoho různých subjektů, jako jsou senioři, osoby se zdravotním postižením nebo osoby se zraněními rukou, které jsou ve fázi fyzioterapie. Díky rozpoznávání gest rukou, které umožňuje interakci se hrou, mohou pacienti podstupující fyzioterapii cvičit a relaxovat, čímž si vytvoří příjemný pocit.

Pacienti potřebující rehabilitaci rukou obvykle procvičují jednoduchá mechanická cvičení s pomocí zdravotních sester či lékařů. Řešení týmu je založeno na videohrách, díky čemuž je rehabilitační proces zajímavější a méně nudný.

BK Hand Rehab v současné době nabízí 3 základní hry. Hráči si mohou procvičovat hry statické (výběr tvarů a barev) nebo dynamické hry (přesouvání předmětů k zachycení padajících předmětů nebo jejich ovládání k vyhýbání se překážkám).

Hry vyvíjí tým v pěti krocích: nápad, návrh, zdokonalování, testování a nasazení. Pokud jde o gesta rukou vybraná pro každou hru, tým konzultuje výzkum prestižních organizací, jako je Harvardská univerzita a Národní zdravotní služba skotské vlády.

Pro procvičování her potřebují uživatelé stojku, počítač a senzor Leap Motion Controller. Uživatelé jsou vedeni specifickými pohyby v závislosti na herním žánru a na základě situace se rozhodnou, které pohyby provést, aby interagovali s odpovídajícím kontextem.

Uživatelé zažívají hru v reálném životě. Foto: Výzkumný tým — Uživatelé zažívají hru v reálném životě. Foto: *Výzkumný tým*

Někteří uživatelé hodnotí produkt, cvičení ve formě her jsou efektivní, pohodlná, snadno se instalují a používají. Tým plánuje prozkoumat další metody pro zvýšení přesnosti rozpoznávání gest rukou a složitějších pohybů. Zároveň je třeba hry vylepšit z hlediska grafiky a mechaniky, aby se zvýšila uživatelská zkušenost.

Docent Dr. Quan Thanh Tho, zástupce vedoucího Fakulty informatiky a inženýrství Technické univerzity (VNU-HCM) a instruktor, zhodnotil, že rehabilitace rukou BK Hand Rehab nabízí ve srovnání s tradičními metodami terapie rukou vynikající řešení, a to díky vytváření příjemného procesu regenerace, snižování nudy, úspoře nákladů a odstraňování nutnosti cestovat do zdravotnických zařízení.

Docent Tho uvedl, že projekt má velký potenciál, přestože využití videoher k podpoře rehabilitace rukou není novou myšlenkou a bylo zmíněno a realizováno v mnoha předchozích studiích. Předchozí studie však stále mají mnoho omezení, jako je výběr nevhodných pohybů pro hru a krok rozpoznávání gest rukou nedosáhl očekávané přesnosti a rychlosti. „BK Hand Rehab vyřešil mnoho problémů, se kterými se předchozí studie potýkaly,“ řekl.

Dodal také, že na základě zpětné vazby od uživatelů v reálném životě je třeba hru upravit tak, aby vyhovovala pacientům. Za druhé, tým potřebuje uznání účinnosti řešení od odborníků na fyzioterapii. „Toto jsou body, které je třeba dokončit,“ řekl a dodal, že spolupracuje s katedrou informatiky a inženýrství na podpoře týmu v propojení s lékařskými centry a ortopedickými nemocnicemi s cílem provést nezbytný výzkum.

Projekt Hand Rehab nedávno získal první cenu v soutěži Community Initiative 2023, kterou pořádala nezisková organizace SonTa Foundation.