Видеоигра, разработанная группой студентов, использует искусственный интеллект для распознавания жестов рук и поддержки реабилитации в этой части тела.
Исследовательская группа (BK Hand Rehab) кафедры компьютерных наук Технологического университета Хошимина начала разработку системы распознавания жестов рук для видеоигр с августа 2022 года. Постепенно группа модернизировала систему до уровня компьютерной игры, чтобы помочь восстановить и лечить функцию рук.
Во Нгок Санг, член исследовательской группы, сообщил, что игры BK Hand Rehab разрабатываются с целью поддержки реабилитации запястья, кисти и пальцев.
Игра разработана и управляется с помощью компьютера и сенсорного устройства Leap Motion Controller. Изначально игрокам предлагается выполнять жесты рукой в соответствии с инструкциями в каждой игре. Датчик способен получать и распознавать информацию о местоположении определённых точек на руке. Затем команда использует алгоритмы искусственного интеллекта (ИИ) для генерации соответствующих форм рук и жестов, создавая действия в игре.
Игра развивает гибкие рефлексы рук. Видео : Исследовательская группа
Игровая система имеет иерархическую структуру уровней, что означает, что в каждой игре игроки будут проходить от простого к сложному, создавая более сложные условия. Игра подходит для самых разных людей, таких как пожилые люди, люди с ограниченными возможностями или люди с травмами рук, проходящие курс физиотерапии. Благодаря распознаванию жестов рук для взаимодействия с игрой пациенты, проходящие курс физиотерапии, могут практиковаться и расслабляться, создавая комфортные условия.
Как правило, пациенты, нуждающиеся в реабилитации кисти, выполняют простые механические упражнения или при поддержке медсестёр или врачей. Решение команды основано на видеоиграх, что делает процесс реабилитации более интересным и менее скучным.
В настоящее время BK Hand Rehab предлагает 3 базовые игры. Игроки могут практиковаться в статичных (выбирать формы и цвета) или динамичных (перемещать предметы, чтобы поймать падающие, или управлять ими, чтобы избегать препятствий).
Разработка игр командой осуществляется в пять этапов: идея, дизайн, доработка, тестирование и внедрение. Что касается выбора жестов для каждой игры, команда консультируется с исследованиями авторитетных организаций, таких как Гарвардский университет и Национальная служба здравоохранения правительства Шотландии.
Для игровых тренировок пользователям понадобится стойка на руках, компьютер и датчик Leap Motion Controller. В зависимости от жанра игры, пользователи получают инструкции по выполнению определённых движений, и, исходя из ситуации, они сами решают, какие движения выполнить для взаимодействия с соответствующим контекстом.
Пользователи сталкиваются с игрой в реальной жизни. Фото: Исследовательская группа
По мнению некоторых пользователей, игровые упражнения просты в установке и использовании, а также отличаются простотой и удобством. Команда планирует исследовать другие методы повышения точности распознавания жестов рук и более сложных движений. В то же время, для повышения удобства пользователей, игры нуждаются в улучшении графики и механики.
Доцент, доктор Куан Тхань То, заместитель заведующего кафедрой компьютерных наук и инженерии Технологического университета (VNU-HCM), преподаватель, оценил, что BK Hand Rehab предлагает выдающееся решение по сравнению с традиционными методами терапии рук, поскольку создает приятный опыт восстановления, снижает скуку, помогает сэкономить средства и не требует от пациентов посещения медицинских учреждений.
Доцент То отметил, что проект обладает большим потенциалом, несмотря на то, что использование видеоигр для реабилитации рук не является новой идеей и уже упоминалось и реализовывалось во многих предыдущих исследованиях. Однако предыдущие исследования по-прежнему имеют ряд ограничений, таких как выбор неподходящих движений для игры, а распознавание жестов рук не достигло ожидаемой точности и скорости. «BK Hand Rehab решил многие проблемы, с которыми столкнулись предыдущие исследования», — сказал он.
Он также добавил, что, опираясь на отзывы реальных пользователей, игру необходимо адаптировать к потребностям пациентов. Во-вторых, команде необходимо получить признание эффективности решения от экспертов по физиотерапии. «Вот эти пункты необходимо проработать», — сказал он, добавив, что совместно с Департаментом компьютерных наук и инженерии он помогает команде наладить связи с медицинскими центрами и ортопедическими больницами для проведения необходимых исследований.
Недавно проект Hand Rehab занял первое место на конкурсе общественных инициатив 2023 года, организованном некоммерческой организацией SonTa Foundation.
Участники команды получили первую премию в категории «Применение искусственного интеллекта для повышения качества образования для социально незащищённых групп». Фото: NVCC
Бич Тао
Ссылка на источник
Комментарий (0)