Le jeu vidéo a été développé par un groupe d'étudiants, utilisant l'intelligence artificielle pour reconnaître les gestes de la main et soutenir la rééducation de cette partie.
Le groupe de recherche (BK Hand Rehab), Département d' informatique , Université de technologie de Ho Chi Minh-Ville a commencé à construire un système de reconnaissance des gestes de la main pour les jeux vidéo à partir d'août 2022. Le groupe a progressivement mis à niveau le système en un jeu informatique pour aider à restaurer et à traiter la fonction de la main.
Vo Ngoc Sang, membre de l'équipe de recherche, a déclaré que les jeux de BK Hand Rehab sont développés pour se concentrer sur le soutien à la rééducation du poignet, de la main et des doigts.
Le jeu est conçu et exploité grâce à un ordinateur et un capteur Leap Motion Controller. Au départ, les joueurs doivent effectuer des gestes de la main selon les instructions de chaque jeu. Le capteur est capable de recevoir et de reconnaître des informations sur la position de certains points de la main. Ensuite, l'équipe utilise des algorithmes d'intelligence artificielle (IA) pour générer les formes et les gestes de la main correspondants, créant ainsi des actions dans le jeu.
Le jeu aide les utilisateurs à développer des réflexes manuels flexibles. Vidéo : Équipe de recherche
Le système de jeu est conçu selon une structure hiérarchique par niveau, permettant aux joueurs de progresser du plus facile au plus difficile pour des expériences toujours plus stimulantes. Le jeu est adapté à de nombreux publics, tels que les personnes âgées, handicapées ou souffrant de blessures à la main et suivant une thérapie physique. Grâce à la reconnaissance gestuelle, les patients en thérapie physique peuvent s'entraîner et se détendre pour un confort optimal.
En général, les patients qui ont besoin de récupérer la fonction de leur main pratiquent des exercices mécaniques simples ou bénéficient du soutien d'infirmières ou de médecins. La solution proposée par l'équipe repose sur les jeux vidéo, rendant le processus de récupération plus intéressant et moins ennuyeux.
Actuellement, BK Hand Rehab propose trois jeux de base. Les joueurs peuvent s'entraîner avec des jeux statiques (choisir des formes et des couleurs) ou dynamiques (déplacer des objets pour attraper ceux qui tombent ou contrôler pour éviter les obstacles).
Les jeux sont développés par l'équipe selon un processus en cinq étapes : idéation, conception, perfectionnement, tests et déploiement. Pour la sélection des gestes de chaque jeu, l'équipe s'appuie sur des recherches menées par des organisations prestigieuses telles que l'Université Harvard et le Service national de santé écossais.
Pour s'entraîner au jeu, les utilisateurs ont besoin d'un support, d'un ordinateur et d'un capteur Leap Motion Controller. Ils sont guidés à travers des mouvements spécifiques selon le genre du jeu et, en fonction de la situation, ils décident des mouvements à effectuer pour interagir avec le contexte correspondant.
Les utilisateurs découvrent le jeu en situation réelle. Photo : Équipe de recherche
Certains utilisateurs apprécient les exercices sous forme de jeux compacts, pratiques et faciles à installer et à utiliser. L'équipe prévoit de rechercher d'autres méthodes pour améliorer la précision de la reconnaissance gestuelle et des mouvements plus complexes. Parallèlement, les jeux doivent être améliorés en termes de graphisme et de mécanique afin d'améliorer l'expérience utilisateur.
Le professeur associé, Dr Quan Thanh Tho, directeur adjoint de la Faculté d'informatique et d'ingénierie de l'Université de technologie de Ho Chi Minh-Ville (VNU-HCM), instructeur, a estimé que BK Hand Rehab offre une solution exceptionnelle par rapport aux méthodes traditionnelles de thérapie de la main, grâce à la création d'une expérience de récupération agréable, à la réduction de l'ennui, à la réduction des coûts et à l'absence de déplacement des patients vers des établissements médicaux.
Le professeur agrégé Tho a déclaré que le projet présentait un grand potentiel, même si l'utilisation des jeux vidéo pour soutenir la rééducation de la main n'est pas une idée nouvelle et a été mentionnée et mise en œuvre dans de nombreuses études antérieures. Cependant, ces études présentent encore de nombreuses limites, notamment le choix de mouvements inappropriés pour le jeu, et la reconnaissance des gestes de la main n'atteint pas la précision et la rapidité attendues. « BK Hand Rehab a résolu de nombreux problèmes rencontrés par les études précédentes », a-t-il déclaré.
Il a également ajouté que le jeu devait être adapté aux besoins des patients grâce aux retours des utilisateurs. Ensuite, l'équipe doit obtenir la validation de l'efficacité de la solution par des kinésithérapeutes. « Ce sont des points à améliorer », a-t-il déclaré, ajoutant qu'il travaillait avec le département d'informatique et d'ingénierie pour aider l'équipe à établir des contacts avec des centres médicaux et des hôpitaux orthopédiques afin de mener les recherches nécessaires.
Le projet Hand Rehab a récemment remporté le premier prix du concours d'initiative communautaire 2023 organisé par l'organisation à but non lucratif SonTa Foundation.
Les membres de l'équipe ont reçu le premier prix dans la catégorie « Application de l'intelligence artificielle pour améliorer la qualité de l'éducation des groupes défavorisés ». Photo : NVCC
Bich Thao
Lien source
Comment (0)