Студенти Технологічного університету міста Хошимін створили гру для реабілітації рук

Відеогра, розроблена групою студентів, використовує штучний інтелект для розпізнавання жестів рук та підтримки реабілітації в цій частині.

Дослідницька група (BK Hand Rehab) кафедри комп'ютерних наук Технологічного університету міста Хошимін розпочала розробку системи розпізнавання жестів рук для відеоігор у серпні 2022 року. Група поступово вдосконалила систему до рівня комп'ютерної гри, щоб допомогти відновити та лікувати функцію руки.

Во Нгок Санг, член дослідницької групи, сказав, що ігри BK Hand Rehab розробляються з метою підтримки реабілітації зап'ястя, кисті та пальців.

Гра розроблена та керується за допомогою комп’ютера та сенсорного пристрою Leap Motion Controller. Спочатку гравці повинні виконувати жести руками відповідно до інструкцій у кожній грі. Датчик здатний отримувати та розпізнавати інформацію про розташування певних точок на руці. Далі команда використовує алгоритми штучного інтелекту (ШІ) для генерації відповідних форм рук та жестів, створюючи дії в грі.

Студенти розробляють відеоігри для відновлення функцій рук — Гра допомагає користувачам розвивати гнучкі рефлекси рук. Відео : *Дослідницька група*

Ігрова система розроблена з ієрархічною структурою за рівнями, що означає, що в кожній грі гравці проходитимуть від легких до складних рівнів, створюючи більш складні враження. Гра підходить для багатьох різних людей, таких як люди похилого віку, інваліди або люди з травмами рук, які проходять стадію фізіотерапії. Завдяки розпізнаванню жестів рук для взаємодії з грою, пацієнти, які проходять фізіотерапію, можуть практикуватися та розслаблятися, створюючи комфортні відчуття.

Зазвичай пацієнти, які потребують реабілітації рук, виконують прості механічні вправи або за допомогою медсестер чи лікарів. Рішення команди базується на відеоіграх, що робить процес реабілітації цікавішим та менш нудним.

BK Hand Rehab наразі пропонує 3 основні ігри. Гравці можуть практикуватися в статичних іграх (вибирайте форми та кольори) або динамічних іграх (переміщуйте предмети, щоб ловити падаючі предмети, або контролюйте їх, щоб уникати перешкод).

Ігри розробляються командою за п'ятиетапним процесом: розробка ідеї, дизайн, удосконалення, тестування та розгортання. Щодо жестів рук, обраних для кожної гри, команда консультується з дослідженнями престижних організацій, таких як Гарвардський університет та Національна служба охорони здоров'я уряду Шотландії.

Щоб практикуватися в іграх, користувачам потрібна стійка на руках, комп’ютер і датчик руху Leap Motion Controller. Користувачі отримують інструкції щодо певних рухів залежно від жанру гри, і залежно від ситуації вони вирішують, які рухи виконувати для взаємодії з відповідним контекстом.

Користувачі відчувають гру в реальному житті. Фото: Дослідницька група — Користувачі відчувають гру в реальному житті. Фото: *Дослідницька група*

Деякі користувачі оцінюють продукт, вправи у формі ігор є спрощеними, зручними, простими в установці та використанні. Команда планує дослідити інші методи для підвищення точності розпізнавання жестів рук та складніших рухів. Водночас, ігри потребують покращення графіки та механіки, щоб покращити користувацький досвід.

Доцент, доктор Куан Тхань Тхо, заступник декана факультету комп'ютерних наук та інженерії Технологічного університету (VNU-HCM), викладач, оцінив, що BK Hand Rehab пропонує видатне рішення порівняно з традиційними методами терапії рук завдяки створенню приємного процесу відновлення, зменшенню нудьги, економії коштів та відсутності потреби в поїздках пацієнтів до медичних закладів.

Доцент Тхо сказав, що проєкт має великий потенціал, хоча використання відеоігор для підтримки реабілітації рук не є новою ідеєю, і її згадували та реалізували в багатьох попередніх дослідженнях. Однак попередні дослідження все ще мають багато обмежень, таких як вибір невідповідних рухів для гри, а етап розпізнавання жестів рук не досяг очікуваної точності та швидкості. «BK Hand Rehab вирішив багато проблем, з якими стикалися попередні дослідження», – сказав він.

Він також додав, що завдяки реальним відгукам користувачів гру потрібно адаптувати до потреб пацієнтів. По-друге, команді потрібне визнання ефективності рішення з боку експертів з фізичної терапії. «Це ті пункти, які потрібно виконати», – сказав він, додавши, що співпрацює з кафедрою комп’ютерних наук та інженерії, щоб підтримати команду у зв’язку з медичними центрами та ортопедичними лікарнями з метою проведення необхідних досліджень.

Проєкт «Реабілітація рук» нещодавно отримав перший приз у конкурсі громадських ініціатив 2023 року, організованому некомерційною організацією SonTa Foundation.