Ce jeu vidéo, développé par un groupe d'étudiants, utilise l'intelligence artificielle pour reconnaître les gestes de la main et faciliter la rééducation de cette partie du corps.
Le groupe de recherche (BK Hand Rehab), du département d' informatique de l'université de technologie de Ho Chi Minh-Ville, a commencé à construire un système de reconnaissance des gestes de la main pour les jeux vidéo à partir d'août 2022. Le groupe a progressivement transformé le système en un jeu informatique pour aider à restaurer et à traiter la fonction de la main.
Vo Ngoc Sang, membre de l'équipe de recherche, a déclaré que les jeux de BK Hand Rehab sont développés pour soutenir la rééducation du poignet, de la main et des doigts.
Le jeu est conçu et fonctionne sur ordinateur grâce à un capteur Leap Motion Controller. Au départ, les joueurs doivent effectuer des gestes de la main selon les instructions de chaque jeu. Le capteur reçoit et reconnaît les informations relatives à la position de certains points sur la main. L'équipe utilise ensuite des algorithmes d'intelligence artificielle (IA) pour générer les formes et les gestes correspondants, créant ainsi les actions du jeu.
Ce jeu contribue à améliorer la souplesse des réflexes manuels. Vidéo : Équipe de recherche
Le système de jeu est conçu avec une structure hiérarchique par niveaux, ce qui signifie que pour chaque partie, les joueurs progresseront d'un niveau facile à un niveau difficile, offrant ainsi une expérience de jeu de plus en plus stimulante. Le jeu convient à un large public, notamment aux personnes âgées, aux personnes en situation de handicap ou à celles souffrant de blessures à la main et suivant une rééducation. Grâce à la reconnaissance des gestes de la main permettant d'interagir avec le jeu, les patients en rééducation peuvent s'exercer et se détendre, pour un confort optimal.
En général, les patients nécessitant une rééducation de la main pratiquent des exercices mécaniques simples, parfois avec l'aide d'infirmières ou de médecins. La solution proposée par l'équipe repose sur les jeux vidéo, ce qui rend la rééducation plus ludique et moins ennuyeuse.
BK Hand Rehab propose actuellement 3 jeux de base. Les joueurs peuvent s'entraîner à travers des jeux statiques (choisir des formes et des couleurs) ou des jeux dynamiques (déplacer des objets pour attraper des éléments qui tombent ou contrôler le mouvement pour éviter les obstacles).
L'équipe développe les jeux selon un processus en cinq étapes : idéation, conception, perfectionnement, tests et déploiement. Pour le choix des gestes de la main associés à chaque jeu, elle s'appuie sur les recherches d'organismes prestigieux tels que l'Université Harvard et le Service national de santé écossais.
Pour s'entraîner par le jeu, les utilisateurs ont besoin d'un équilibre sur les mains, d'un ordinateur et d'un capteur Leap Motion Controller. Ils sont guidés à travers des mouvements spécifiques selon le genre du jeu et, en fonction de la situation, ils choisissent les mouvements à effectuer pour interagir avec le contexte correspondant.
Les utilisateurs découvrent le jeu en situation réelle. Photo : Équipe de recherche
Certains utilisateurs ont testé le produit et trouvé les exercices ludiques et intuitifs, faciles à installer et à utiliser. L'équipe prévoit d'explorer d'autres méthodes pour améliorer la précision de la reconnaissance des gestes de la main et la prise en charge de mouvements plus complexes. Parallèlement, les jeux doivent être optimisés au niveau des graphismes et des mécanismes afin d'enrichir l'expérience utilisateur.
Le professeur agrégé, Dr Quan Thanh Tho, directeur adjoint de la faculté d'informatique et d'ingénierie de l'Université de technologie (VNU-HCM), a estimé que BK Hand Rehab offre une solution exceptionnelle par rapport aux méthodes traditionnelles de thérapie de la main, grâce à la création d'une expérience de récupération agréable, la réduction de l'ennui, la contribution à la réduction des coûts et l'absence de déplacement des patients vers des établissements médicaux.
Le professeur agrégé Tho a déclaré que le projet recèle un grand potentiel, même si l'utilisation des jeux vidéo pour la rééducation de la main n'est pas une idée nouvelle et a déjà été évoquée et mise en œuvre dans de nombreuses études. Cependant, ces études présentent encore de nombreuses limitations, comme le choix de mouvements inappropriés dans le jeu et une reconnaissance des gestes de la main dont la précision et la rapidité restent insuffisantes. « BK Hand Rehab a résolu de nombreux problèmes rencontrés par les études précédentes », a-t-il affirmé.
Il a également ajouté que, grâce aux retours concrets des utilisateurs, le jeu doit être adapté aux patients. Par ailleurs, l'équipe a besoin de la reconnaissance de l'efficacité de la solution par des experts en physiothérapie. « Ce sont les points qu'il reste à finaliser », a-t-il déclaré, précisant qu'il collabore avec le département d'informatique et d'ingénierie pour aider l'équipe à établir des liens avec les centres médicaux et les hôpitaux orthopédiques, dans le but de mener les recherches nécessaires.
Le projet de rééducation de la main a récemment remporté le premier prix du concours « Initiative communautaire 2023 » organisé par l'organisation à but non lucratif SonTa Foundation.
Les membres de l'équipe ont remporté le premier prix dans la catégorie « Application de l'intelligence artificielle à l'amélioration de la qualité de l'éducation pour les groupes défavorisés ». Photo : NVCC
Bich Thao
Lien source
Comment (0)