Движимый обеспокоенностью трудностями, с которыми сталкиваются люди с нарушениями зрения и слуха в повседневной жизни, Фан Хай Данг, ученик средней школы для одаренных детей имени Луонг Тхе Виня (провинция Донг Най ), разработал приложение под названием «Многофункциональная система поддержки глухих и слепых с использованием технологии глубокого обучения».
Фан Хай Данг, ученик средней школы для одаренных детей имени Луонг Тхе Виня (провинция Донг Най), представляет свою заявку. Фото: AX
Хотя Данг не учился на специализированном факультете компьютерных наук, у него есть особая страсть к программированию, особенно к технологиям глубокого обучения. В отличие от многих других молодых людей, которые выбирают разработку развлекательных или образовательных приложений, Данг выбрал более сложный путь: создание приложений, помогающих глухим и слепым людям общаться и интегрироваться в общество.
Приложение, разработанное Дангом, способно преобразовывать язык жестов в текст и речь, а также переводить устную речь в соответствующий текст или жесты, облегчая взаимодействие между двумя сторонами. Система интегрирует различные технологии искусственного интеллекта, такие как алгоритм Yolv8, распознавание лиц ArcFace и оптическое распознавание символов (OCR) и др.
Просто коснитесь значка микрофона и нажмите «Говорить», и приложение запишет вашу речь, а затем отобразит видеоурок с использованием соответствующего языка жестов. Глухие пользователи могут посмотреть это видео, чтобы визуально понять сообщение. В свою очередь, камера запишет жесты рук пользователя, преобразует их в текст и воспроизведет в аудиоформате, чтобы слышащие пользователи могли их понять.
«Приложение также может распознавать эмоции по зрительному контакту и выражению лица, точно отражая отношение общающегося человека, тем самым повышая эффективность взаимодействия и установления связей в обществе», — поделился Данг.
Для пользователей с нарушениями зрения система навигации использует встроенную камеру для распознавания объектов впереди, измерения расстояний и подачи звуковых предупреждений, помогающих пользователям избегать столкновений во время вождения. Кроме того, функция распознавания лиц позволяет пользователям идентифицировать близких и совершать экстренные вызовы через Google Assistant с помощью голосовых команд.
Кроме того, приложение включает в себя множество полезных вспомогательных функций, таких как распознавание светофоров, считывание номиналов валют, чтение книг, отслеживание местоположения и т. д.
В основе пути Данга по приближению технологий к людям с ограниченными возможностями лежит самоотверженная поддержка его учителя, Буй Ким Миня, который непосредственно направлял, вдохновлял и открывал двери к практическому применению технологий для этого увлеченного программированием студента.
По словам г-на Миня, с того момента, как Данг задумал создать приложение на основе искусственного интеллекта для поддержки общения людей с ограниченными возможностями, г-н Минь увидел творческий потенциал проекта. Вместо того чтобы ограничиваться теорией, он активно связался с Центром образования детей с ограниченными возможностями в провинции Донг Най, чтобы получить практический опыт.
«Я считаю, что если вы хотите, чтобы технология имела реальную ценность, ее необходимо тестировать в реальных условиях, где она действительно нужна пользователям. Будучи сам преподавателем, я поддерживаю Данга и помогаю ему осваивать созданную им технологию, чтобы он мог применять ее на практике», — поделился г-н Минь.
Учителя из средней школы для одаренных детей имени Луонг Тхе Виня поздравляют Хай Данга с завоеванием первого приза на провинциальном уровне и третьего приза на национальном уровне. Фото: AX
В провинциальном центре Донг Най по образованию детей с ограниченными возможностями учителя и ученики провели несколько недель, слушая, наблюдая, экспериментируя и внося корректировки. Постоянно обновляемые версии улучшались на основе отзывов детей с ограниченными возможностями и тех, кто непосредственно использовал продукт.
После многочисленных испытаний, оценок и усовершенствований система теперь достигает точности распознавания языка жестов приблизительно в 95%. Для г-на Миня радость заключается не в наградах или признании, а в том, чтобы видеть, как его ученики взрослеют в своем мышлении и поступках.
«Научить ученика пользоваться технологиями несложно. Но научить их использовать технологии на благо общества — вот конечная цель педагогов », — подчеркнул г-н Минь.
Благодаря своей идее применения технологии глубокого обучения для преобразования языка жестов в речь и наоборот, Данг с блеском завоевал первое место на провинциальном уровне и третье место на национальном уровне в конкурсе науки и техники для старшеклассников.
Девушка из детской деревни SOS получила редкую стипендию и окончила университет с отличием. Выросшая в детской деревне SOS в Хайфоне, Фуонг Ань никогда не чувствовала себя несчастной или жалкой. В 18 лет Фуонг Ань получила редкую стипендию, а затем с отличием окончила университет.
Источник: https://vietnamnet.vn/nam-sinh-o-dong-nai-gianh-giai-quoc-gia-voi-ung-dung-ho-tro-nguoi-khuyet-tat-2490981.html
Комментарий (0)