Studenter fra Ho Chi Minh City University of Technology lager et spill for håndrehabilitering

[annonse_1]

Videospillet, utviklet av en gruppe studenter, bruker kunstig intelligens til å gjenkjenne håndbevegelser og støtte rehabilitering for denne delen.

Forskningsgruppen (BK Hand Rehab), Institutt for informatikk , Ho Chi Minh City University of Technology, startet byggingen av et system for håndbevegelsesgjenkjenning for videospill fra august 2022. Gruppen oppgraderte gradvis systemet til et dataspill for å bidra til å gjenopprette og behandle håndfunksjon.

Vo Ngoc Sang, et medlem av forskerteamet, sa at BK Hand Rehabs spill utvikles for å fokusere på å støtte rehabilitering av håndledd, hånd og fingre.

Spillet er designet og operert via en datamaskin og en Leap Motion Controller-sensorenhet. I starten må spillerne utføre håndbevegelser i henhold til instruksjonene i hvert spill. Sensoren er i stand til å motta og gjenkjenne informasjon om plasseringen av bestemte punkter på hånden. Derfra bruker teamet kunstig intelligens (AI)-algoritmer for å generere tilsvarende håndformer og bevegelser, og skape handlinger i spillet.

Studenter designer videospill for å gjenopprette håndfunksjonen — Spillet hjelper brukerne med å ha fleksible håndreflekser. Video : *Forskningsteam*

Spillsystemet er utformet med en hierarkisk struktur etter nivå, noe som betyr at spillerne for hvert spill vil oppleve nivåer fra enkle til vanskelige, noe som skaper mer utfordrende opplevelser. Spillet passer for mange forskjellige personer, som eldre, funksjonshemmede eller de med håndskader som er i fysioterapifasen. Takket være håndbevegelsesgjenkjenning for å samhandle med spillet, kan pasienter som gjennomgår fysioterapi øve og slappe av for å skape en komfortabel følelse.

Vanligvis vil pasienter som trenger håndrehabilitering øve på enkle mekaniske øvelser, eller med støtte fra sykepleiere eller leger. Teamets løsning er basert på videospill, noe som gjør rehabiliteringsprosessen mer interessant og mindre kjedelig.

BK Hand Rehab tilbyr for øyeblikket tre grunnleggende spill. Spillere kan øve gjennom statiske spill (velg former og farger) eller dynamiske spill (flytt objekter for å fange fallende gjenstander eller kontroller for å unngå hindringer).

Spillene utvikles av teamet etter en femtrinnsprosess: idéutvikling, design, forbedring, testing og utrulling. Når det gjelder håndbevegelsene som velges for hvert spill, konsulterer teamet forskning fra prestisjetunge organisasjoner som Harvard University og den skotske regjeringens nasjonale helsetjeneste .

For å øve gjennom spill trenger brukerne en håndstående, en datamaskin og en Leap Motion Controller-sensor. Brukerne veiledes gjennom spesifikke bevegelser avhengig av spillsjangeren, og basert på situasjonen bestemmer de hvilke bevegelser de skal utføre for å samhandle med den tilsvarende konteksten.

Brukere opplever spillet i virkeligheten. Foto: Forskningsteamet — Brukere opplever spillet i virkeligheten. Foto: *Forskningsteamet*

Noen brukere opplever at produktevalueringen viser at øvelsene i form av spill er strømlinjeformede, komfortable og enkle å installere og bruke. Teamet planlegger å undersøke andre metoder for å øke nøyaktigheten av håndbevegelsesgjenkjenning og vanskeligere bevegelser. Samtidig må spillene forbedres når det gjelder grafikk og mekanikk for å forbedre brukeropplevelsen.

Førsteamanuensis Dr. Quan Thanh Tho, nestleder ved Fakultet for informatikk og ingeniørfag ved University of Technology (VNU-HCM), instruktør, vurderte at BK Hand Rehab tilbyr en fremragende løsning sammenlignet med tradisjonelle håndterapimetoder, takket være å skape en hyggelig restitusjonsopplevelse, redusere kjedsomhet, bidra til å spare kostnader og ikke kreve at pasientene reiser til medisinske fasiliteter.

Førsteamanuensis Tho sa at prosjektet har et stort potensial, selv om bruk av videospill for å støtte håndrehabilitering ikke er en ny idé, og har blitt nevnt og realisert i mange tidligere studier. Tidligere studier har imidlertid fortsatt mange begrensninger, som å velge upassende bevegelser for spillet, og trinnet med håndbevegelsesgjenkjenning har ikke nådd forventet nøyaktighet og hastighet. «BK Hand Rehab har løst mange problemer som tidligere studier har møtt på», sa han.

Han la også til at spillet må justeres for å passe pasientene gjennom tilbakemeldinger fra brukere i praksis. For det andre trenger teamet anerkjennelse av løsningens effektivitet fra fysioterapieksperter. «Dette er punktene som må fullføres», sa han, og la til at han samarbeider med Institutt for informatikk og ingeniørfag for å støtte teamet i å knytte kontakter med medisinske sentre og ortopediske sykehus, med sikte på å gjennomføre nødvendig forskning.

Håndrehabiliteringsprosjektet vant nylig førstepremien i 2023-konkurransen Community Initiative, organisert av den ideelle organisasjonen SonTa Foundation.