Studenții Universității de Tehnologie din Ho Chi Minh City realizează un joc de reabilitare a mâinilor

Jocul video, dezvoltat de un grup de studenți, folosește inteligența artificială pentru a recunoaște gesturile mâinilor și a sprijini reabilitarea pentru această parte a corpului.

Grupul de cercetare (BK Hand Rehab), Departamentul de Informatică al Universității de Tehnologie din Ho Chi Minh City, a început să construiască un sistem de recunoaștere a gesturilor mâinii pentru jocuri video în august 2022. Grupul a modernizat treptat sistemul într-un joc pe calculator pentru a ajuta la restabilirea și tratarea funcției mâinii.

Vo Ngoc Sang, membru al echipei de cercetare, a declarat că jocurile BK Hand Rehab sunt dezvoltate pentru a se concentra pe sprijinirea reabilitării încheieturii mâinii, mâinii și degetelor.

Jocul este conceput și operat prin intermediul unui computer și al unui dispozitiv senzorial Leap Motion Controller. Inițial, jucătorii trebuie să execute gesturi cu mâna conform instrucțiunilor din fiecare joc. Senzorul este capabil să primească și să recunoască informații despre locația anumitor puncte de pe mână. De acolo, echipa folosește algoritmi de inteligență artificială (IA) pentru a genera forme și gesturi ale mâinilor corespunzătoare, creând acțiuni în joc.

Studenții proiectează jocuri video pentru a restabili funcția mâinii — Jocul îi ajută pe utilizatori să aibă reflexe flexibile la nivelul mâinilor. Video : *Echipa de cercetare*

Sistemul de joc este conceput cu o structură ierarhică pe niveluri, ceea ce înseamnă că pentru fiecare joc, jucătorii vor experimenta de la niveluri ușoare la niveluri dificile, creând experiențe mai provocatoare. Jocul este potrivit pentru o varietate de subiecți, cum ar fi vârstnicii, persoanele cu dizabilități sau cei cu leziuni la mâini care se află în etapa de kinetoterapie. Datorită recunoașterii gesturilor mâinilor pentru a interacționa cu jocul, pacienții care urmează kinetoterapie pot exersa și relaxa pentru a crea o senzație de confort.

De obicei, pacienții care au nevoie de reabilitare a mâinii vor practica exerciții mecanice simple sau cu sprijinul asistentelor medicale sau al medicilor. Soluția echipei se bazează pe jocuri video, ceea ce face ca procesul de reabilitare să fie mai interesant și mai puțin plictisitor.

BK Hand Rehab oferă în prezent 3 jocuri de bază. Jucătorii se pot exersa prin jocuri statice (alegerea formelor și culorilor) sau jocuri dinamice (mutarea obiectelor pentru a prinde obiectele care cad sau controlul pentru a evita obstacolele).

Jocurile sunt dezvoltate de echipă urmând un proces în cinci etape: ideație, design, rafinare, testare și implementare. În ceea ce privește gesturile cu mâna selectate pentru fiecare joc, echipa consultă cercetări de la organizații prestigioase precum Universitatea Harvard și Serviciul Național de Sănătate al Guvernului Scoțian.

Pentru a exersa prin jocuri, utilizatorii au nevoie de un suport pentru mâini, un computer și un senzor Leap Motion Controller. Utilizatorii sunt ghidați prin mișcări specifice în funcție de genul jocului și, în funcție de situație, vor decide ce mișcări să execute pentru a interacționa cu contextul corespunzător.

Utilizatorii experimentează jocul în viața reală. Fotografie: Echipa de cercetare — Utilizatorii experimentează jocul în viața reală. Fotografie: *Echipa de cercetare*

Unii utilizatori au observat, în urma evaluării produsului, că exercițiile sub formă de jocuri sunt simplificate, confortabile, ușor de instalat și de utilizat. Echipa intenționează să cerceteze alte metode pentru a crește precizia recunoașterii gesturilor mâinii și a mișcărilor mai dificile. În același timp, jocurile trebuie îmbunătățite din punct de vedere grafic și mecanicii pentru a îmbunătăți experiența utilizatorului.

Profesorul asociat, Dr. Quan Thanh Tho, director adjunct al Facultății de Informatică și Inginerie din cadrul Universității de Tehnologie (VNU-HCM), instructor, a evaluat că BK Hand Rehab oferă o soluție remarcabilă în comparație cu metodele tradiționale de terapie a mâinii, datorită creării unei experiențe de recuperare plăcute, reducerii plictiselii, economisirii costurilor și eliminării necesității deplasării pacienților la unități medicale.

Profesorul asociat Tho a declarat că proiectul are un potențial imens, chiar dacă utilizarea jocurilor video pentru a sprijini reabilitarea mâinii nu este o idee nouă și a fost menționată și realizată în multe studii anterioare. Cu toate acestea, studiile anterioare au încă multe limitări, cum ar fi alegerea mișcărilor nepotrivite pentru joc, iar etapa de recunoaștere a gesturilor mâinii nu a atins precizia și viteza așteptate. „BK Hand Rehab a rezolvat multe probleme pe care le-au întâmpinat studiile anterioare”, a spus el.

El a adăugat, de asemenea, că, prin feedback-ul din viața reală al utilizatorilor, jocul trebuie ajustat pentru a se potrivi pacienților. În al doilea rând, echipa are nevoie ca eficacitatea soluției să fie recunoscută de experții în kinetoterapie. „Acestea sunt punctele care trebuie finalizate”, a spus el, adăugând că lucrează cu Departamentul de Informatică și Inginerie pentru a sprijini echipa în conectarea cu centre medicale și spitale ortopedice, cu scopul de a efectua cercetările necesare.

Proiectul Hand Rehab a câștigat recent premiul întâi la concursul Inițiative Comunitare din 2023, organizat de organizația non-profit SonTa Foundation.