Des étudiants de l'Université de technologie de la ville d'Ho Chi Minh-Ville créent un jeu de rééducation de la main

Le jeu vidéo a été développé par un groupe d'étudiants, utilisant l'intelligence artificielle pour reconnaître les gestes de la main et soutenir la rééducation de cette partie.

Le groupe de recherche (BK Hand Rehab), Département d' informatique , Université de technologie de Ho Chi Minh-Ville a commencé à construire un système de reconnaissance des gestes de la main pour les jeux vidéo à partir d'août 2022. Le groupe a progressivement mis à niveau le système en un jeu informatique pour aider à restaurer et à traiter la fonction de la main.

Vo Ngoc Sang, membre de l'équipe de recherche, a déclaré que les jeux de BK Hand Rehab sont développés pour se concentrer sur le soutien à la rééducation du poignet, de la main et des doigts.

Le jeu est conçu et exploité via un ordinateur et un dispositif de capteur Leap Motion Controller. Au début, les joueurs doivent effectuer des gestes de la main comme indiqué dans chaque jeu. Le capteur est capable de recevoir et de reconnaître des informations sur l’emplacement de certains points de la main. À partir de là, l’équipe a utilisé des algorithmes d’intelligence artificielle (IA) pour générer des formes de main et des gestes correspondants, créant ainsi des actions dans le jeu.

Des étudiants conçoivent un jeu vidéo pour restaurer la fonction de la main — Le jeu aide les utilisateurs à avoir des réflexes de main flexibles. Vidéo : *Équipe de recherche*

Le système de jeu est conçu avec une structure hiérarchique par niveau, ce qui signifie que pour chaque jeu, les joueurs expérimenteront des niveaux allant du facile au difficile, créant des expériences plus stimulantes. Le jeu convient à de nombreux publics différents, tels que les personnes âgées, les personnes handicapées ou celles souffrant de blessures à la main et qui sont en phase de physiothérapie. Grâce à la reconnaissance des gestes de la main pour interagir avec le jeu, les patients suivant une thérapie physique peuvent s'entraîner et se détendre pour créer une sensation de confort.

Habituellement, les patients nécessitant une rééducation de la main pratiqueront des exercices mécaniques simples, ou avec le soutien d'infirmières ou de médecins. La solution de l’équipe est basée sur les jeux vidéo, rendant le processus de récupération plus amusant et moins ennuyeux.

BK Hand Rehab propose actuellement 3 jeux de base. Les joueurs peuvent s'entraîner à travers des jeux statiques (choisir des formes et des couleurs) ou des jeux dynamiques (déplacer des objets pour attraper des objets qui tombent ou contrôler pour éviter les obstacles).

Les jeux sont développés par l'équipe selon un processus en 5 étapes : idéation, conception, réalisation, test et déploiement. Pour les gestes de la main choisis pour chaque jeu, l'équipe a consulté des recherches provenant d'institutions réputées telles que l'Université de Harvard et le Service national de santé du gouvernement écossais.

Pour s'entraîner à travers des jeux, les utilisateurs ont besoin d'un support à main, d'un ordinateur et d'un capteur Leap Motion Controller. Les utilisateurs sont guidés à travers des actions spécifiques en fonction du genre de jeu et en fonction de la situation, ils décideront quelle action effectuer pour interagir avec le contexte correspondant.

Les utilisateurs vivent le jeu dans la vraie vie. Photo : Équipe de recherche — Les utilisateurs vivent le jeu dans la vraie vie. Photo : *Équipe de recherche*

Certains utilisateurs expérimentent le produit, les exercices sous la forme d'un jeu simplifié, confortable, facile à installer et à utiliser. L’équipe prévoit de rechercher d’autres méthodes pour augmenter la précision lors de la reconnaissance des gestes de la main et des mouvements plus difficiles. Dans le même temps, les jeux doivent être améliorés en termes de graphismes et de mécanismes pour améliorer l’expérience utilisateur.

Professeur agrégé Le Dr Quan Thanh Tho, directeur adjoint de la Faculté d'informatique et d'ingénierie de l'Université de technologie de Ho Chi Minh-Ville (VNU-HCM), instructeur, a estimé que BK Hand Rehab offre une solution exceptionnelle par rapport aux méthodes traditionnelles de thérapie de la main, grâce à la création d'une expérience de récupération intéressante, à la réduction de l'ennui, à la réduction des coûts et à l'absence de déplacement des patients vers des établissements médicaux.

Le professeur associé Tho a commenté que le projet a un grand potentiel, bien que l'utilisation de jeux vidéo pour soutenir la rééducation de la main ne soit pas une idée nouvelle et ait été mentionnée et réalisée dans de nombreuses études précédentes. Cependant, les études précédentes présentent encore de nombreuses limites, comme le choix de mouvements inappropriés pour le jeu, et l’étape de reconnaissance des gestes de la main n’a pas atteint la précision et la vitesse attendues. « BK Hand Rehab a résolu de nombreux problèmes rencontrés lors des études précédentes », a-t-il déclaré.

Il a également ajouté que, grâce aux retours réels des utilisateurs, le jeu doit être ajusté pour convenir aux patients. Deuxièmement, l’équipe avait besoin que les professionnels de la physiothérapie reconnaissent l’efficacité de la solution. « Ce sont les points qui doivent être complétés », a-t-il déclaré, ajoutant qu'il travaille avec le Département d'informatique et d'ingénierie pour aider l'équipe à se connecter avec les centres médicaux et les hôpitaux de traumatologie orthopédique, dans le but de mener les recherches nécessaires.

Le projet Hand Rehab a récemment remporté le premier prix du concours d'initiative communautaire 2023 organisé par l'organisation à but non lucratif SonTa Foundation.