Аспирант ИТИС изучает инструменты определения поз человека на мобильных устройствах для реабилитации спортсменов
Егор Ярко выступил на научно-практической конференции «Технологии дополненной и виртуальной реальности» в МГТУ им. Н.Э. Баумана, где участвовали еще 150 спикеров со всей России. Конференция была посвящена современным исследованиям в области систем дополненной, виртуальной и смешанной реальности, которые включают особенности разработки и принципов построения подобных устройств, проектирование оптических модулей и синтез оптических компонентов, перспективную элементную базу и технологические аспекты изготовления, разработку AR/VR/MR-приложений, а также опыт их практического применения.
Определение позы человека - одна из ключевых задач в области компьютерного зрения. Сейчас она применяется в видеонаблюдении, дополненной реальности, медицине и анализе спортивной активности. С развитием скелетно-ориентированных алгоритмов, реализованных в удобных программных решениях, появились целые библиотеки для Human Pose Estimation (HPE) способных эффективно функционировать на мобильных устройствах iOS и Android: Lightweight OpenPose, PoseNet, MoveNet и BlazePose для анализа положения тела человека в пространстве.
Аспирант ИТИС представил в докладе «Сравнительное исследование инструментов детекции поз на мобильных платформах» (научный руководитель – заведующая кафедрой индустрии разработки видеоигр Влада Кугуракова) сравнительный анализ популярных библиотек оценки позы человека, чтобы выбрать для дальнейшей работы наиболее информативную и стабильную.
«Область применения моего решения, скорее, медицинская реабилитация и тренировочный процесс спортсменов. Например, для того, чтобы люди после травм могли проходить реабилитацию — с помощью этих библиотек на экране смартфона будет построен образный скелет человека, который повторяет его движения. Эти данные помогут проанализировать аномалии и скорректировать движения» - рассказал аспирант ИТИС Егор Ярко.
Некоторые HPE библиотеки не имеют достаточно точной детализации, а другие могут выделять до 33 ключевых точек, включая лицо, кисти и стопы, что позволяет создавать наиболее функциональные мобильные приложения (спортивные трекеры, приложения для фитнеса и т.д.). Также важна высокая точность и адаптация под слабое оборудование. В дальнейшем аспирант ИТИС планирует проведение экспериментального тестирования на мобильных устройствах.
