Студенты Технологического университета города Хошимин создают игру для реабилитации рук

Видеоигра была разработана группой студентов с использованием искусственного интеллекта для распознавания жестов рук и поддержки реабилитации в этой части.

Исследовательская группа (BK Hand Rehab) кафедры компьютерных наук Технологического университета Хошимина приступила к созданию системы распознавания жестов рук для видеоигр с августа 2022 года. Постепенно группа модернизировала систему до уровня компьютерной игры, чтобы помочь восстановить и лечить функцию рук.

Во Нгок Санг, член исследовательской группы, сообщил, что игры BK Hand Rehab разрабатываются с целью поддержки реабилитации запястья, кисти и пальцев.

Игра разработана и управляется с помощью компьютера и сенсорного устройства Leap Motion Controller. Изначально игрокам предлагается выполнять жесты рукой в соответствии с инструкциями в каждой игре. Датчик способен получать и распознавать информацию о местоположении определённых точек на руке. Затем команда использует алгоритмы искусственного интеллекта (ИИ) для генерации соответствующих форм рук и жестов, создавая действия в игре.

Студенты разрабатывают видеоигру для восстановления функции руки — Игра развивает гибкие рефлексы рук. Видео : *Исследовательская группа*

Игровая система имеет иерархическую структуру уровней, что означает, что в каждой игре игроки будут проходить от простого к сложному, создавая более сложные условия. Игра подходит для самых разных людей, таких как пожилые люди, люди с ограниченными возможностями или люди с травмами рук, проходящие курс физиотерапии. Благодаря распознаванию жестов рук для взаимодействия с игрой пациенты, проходящие курс физиотерапии, могут практиковаться и расслабляться, создавая комфортные условия.

Как правило, пациенты, нуждающиеся в восстановлении функции руки, выполняют простые механические упражнения или получают поддержку медсестёр или врачей. Решение команды основано на видеоиграх, что делает процесс восстановления более интересным и менее скучным.

В настоящее время BK Hand Rehab предлагает три базовые игры. Игроки могут практиковаться в статических играх (выбирая формы и цвета) или динамических (перемещая предметы, чтобы поймать падающие, или управляя ими, чтобы избежать препятствий).

Разработка игр командой осуществляется в пять этапов: идея, дизайн, доработка, тестирование и внедрение. Что касается выбора жестов для каждой игры, команда консультируется с исследованиями авторитетных организаций, таких как Гарвардский университет и Национальная служба здравоохранения правительства Шотландии.

Для игровых тренировок пользователям понадобится стойка на руках, компьютер и датчик Leap Motion Controller. В зависимости от жанра игры, пользователи получают инструкции по выполнению определённых движений, и, исходя из ситуации, они сами решают, какие движения выполнить для взаимодействия с соответствующим контекстом.

Пользователи сталкиваются с игрой в реальной жизни. Фото: Исследовательская группа — Пользователи сталкиваются с игрой в реальной жизни. Фото: *Исследовательская группа*

Некоторые пользователи, опробовавшие продукт, отмечают компактность, удобство, простоту установки и использования игровых упражнений. Команда планирует исследовать другие методы повышения точности распознавания жестов рук и более сложных движений. В то же время, для повышения удобства использования игр необходимо улучшить графику и механику.

Доцент, доктор Куан Тхань То, заместитель заведующего кафедрой компьютерных наук и инженерии Хошиминского технологического университета (VNU-HCM), преподаватель, оценил, что BK Hand Rehab предлагает выдающееся решение по сравнению с традиционными методами терапии рук, поскольку создает приятный процесс восстановления, снижает скуку, помогает сэкономить средства и не требует от пациентов посещения медицинских учреждений.

Доцент То отметил, что проект обладает большим потенциалом, хотя использование видеоигр для реабилитации рук не является новой идеей и уже упоминалось и реализовывалось во многих предыдущих исследованиях. Однако предыдущие исследования по-прежнему имеют ряд ограничений, таких как выбор неподходящих движений для игры, а распознавание жестов рук не достигло ожидаемой точности и скорости. «BK Hand Rehab решил многие проблемы, с которыми сталкивались предыдущие исследования», — сказал он.

Он также добавил, что игру необходимо адаптировать к потребностям пациентов, основываясь на отзывах реальных пользователей. Во-вторых, команде необходимо получить подтверждение эффективности решения от физиотерапевтов. «Вот эти области требуют доработки», — сказал он, добавив, что сотрудничает с Департаментом компьютерных наук и инженерии, чтобы помочь команде наладить связи с медицинскими центрами и ортопедическими больницами для проведения необходимых исследований.

Недавно проект Hand Rehab занял первое место на конкурсе общественных инициатив 2023 года, организованном некоммерческой организацией SonTa Foundation.