Studenten van de Technische Universiteit van Ho Chi Minhstad maken spel voor handrevalidatie

De videogame, ontwikkeld door een groep studenten, maakt gebruik van kunstmatige intelligentie om handgebaren te herkennen en de revalidatie hiervan te ondersteunen.

De onderzoeksgroep (BK Hand Rehab), afdeling Computerwetenschappen , Technische Universiteit Ho Chi Minhstad, is vanaf augustus 2022 begonnen met de bouw van een handgebarenherkenningssysteem voor videogames. De groep heeft het systeem geleidelijk aan geüpgraded tot een computerspel om de handfunctie te herstellen en te behandelen.

Vo Ngoc Sang, een lid van het onderzoeksteam, zei dat de spellen van BK Hand Rehab worden ontwikkeld ter ondersteuning van de revalidatie van de pols, hand en vingers.

De game is ontworpen en wordt aangestuurd door een computer en een Leap Motion Controller-sensor. Aanvankelijk moeten spelers handgebaren uitvoeren volgens de instructies in elke game. De sensor kan informatie ontvangen en herkennen over de locatie van bepaalde punten op de hand. Vervolgens gebruikt het team algoritmen voor kunstmatige intelligentie (AI) om bijbehorende handvormen en gebaren te genereren, wat leidt tot acties in de game.

Studenten ontwerpen videogames om handfunctie te herstellen — Het spel helpt gebruikers om flexibele handreflexen te ontwikkelen. Video : *Onderzoeksteam*

Het spelsysteem is ontworpen met een hiërarchische structuur per niveau. Dit betekent dat spelers bij elk spel van makkelijk naar moeilijk kunnen gaan, wat zorgt voor steeds uitdagendere ervaringen. Het spel is geschikt voor veel verschillende doelgroepen, zoals ouderen, mensen met een beperking of mensen met handblessures die zich in de fysiotherapiefase bevinden. Dankzij de herkenning van handgebaren tijdens de interactie met het spel kunnen patiënten die fysiotherapie ondergaan, oefenen en ontspannen, wat een comfortabel gevoel oplevert.

Patiënten die handrevalidatie nodig hebben, doen doorgaans eenvoudige mechanische oefeningen, of met ondersteuning van verpleegkundigen of artsen. De oplossing van het team is gebaseerd op videogames, waardoor het revalidatieproces interessanter en minder saai wordt.

BK Hand Rehab biedt momenteel 3 basisspellen aan. Spelers kunnen oefenen met statische spellen (vormen en kleuren kiezen) of dynamische spellen (objecten verplaatsen om vallende voorwerpen op te vangen of obstakels vermijden).

De games worden door het team ontwikkeld volgens een proces van vijf stappen: ideevorming, ontwerp, verfijning, testen en implementatie. Wat betreft de handgebaren die voor elke game worden geselecteerd, raadpleegt het team onderzoek van prestigieuze organisaties zoals Harvard University en de National Health Service van de Schotse overheid.

Om te oefenen met games hebben gebruikers een handstand, een computer en een Leap Motion Controller-sensor nodig. Gebruikers worden door specifieke bewegingen geleid, afhankelijk van het spelgenre, en op basis van de situatie bepalen ze welke bewegingen ze moeten maken om te interacteren met de bijbehorende context.

Gebruikers ervaren het spel in het echt. Foto: Onderzoeksteam — Gebruikers ervaren het spel in het echt. Foto: *Onderzoeksteam*

Sommige gebruikers ervaren de productevaluatie als gestroomlijnd, comfortabel, eenvoudig te installeren en te gebruiken. Het team is van plan om andere methoden te onderzoeken om de nauwkeurigheid van handgebarenherkenning en het herkennen van moeilijkere bewegingen te verbeteren. Tegelijkertijd moeten de games grafisch en mechanisch worden verbeterd om de gebruikerservaring te verbeteren.

Universitair hoofddocent Dr. Quan Thanh Tho, adjunct-hoofd van de faculteit Computerwetenschappen en Techniek van de Technische Universiteit (VNU-HCM), docent, gaf aan dat BK Hand Rehab een uitstekende oplossing biedt vergeleken met traditionele handtherapiemethoden. De methode zorgt voor een prettige herstelervaring, vermindert verveling, helpt kosten te besparen en vereist niet dat patiënten naar een medische instelling reizen.

Universitair hoofddocent Tho zei dat het project een groot potentieel heeft, hoewel het gebruik van videogames ter ondersteuning van handrevalidatie geen nieuw idee is en al in veel eerdere studies is genoemd en gerealiseerd. Eerdere studies hebben echter nog steeds veel beperkingen, zoals het kiezen van ongeschikte bewegingen voor het spel, en de stap voor het herkennen van handgebaren heeft niet de verwachte nauwkeurigheid en snelheid bereikt. "BK Hand Rehab heeft veel problemen opgelost die eerdere studies tegenkwamen", zei hij.

Hij voegde eraan toe dat de game, op basis van feedback uit de praktijk, aangepast moet worden aan de behoeften van patiënten. Ten tweede moet het team erkenning krijgen van de effectiviteit van de oplossing van fysiotherapeuten. "Dit zijn de punten die moeten worden afgerond", zei hij, eraan toevoegend dat hij samenwerkt met de afdeling Computerwetenschappen en Engineering om het team te ondersteunen bij de verbinding met medische centra en orthopedische ziekenhuizen, met als doel het nodige onderzoek uit te voeren.

Het Hand Rehab-project won onlangs de eerste prijs in de Community Initiative-wedstrijd van 2023, georganiseerd door de non-profitorganisatie SonTa Foundation.