Разработка и исследование цифровых объектов робототехнических симуляторов, включая динамические модели человека

Номер государственного контракта по гранту: №24-29-00564

Руководитель проекта: Магид Евгений Аркадьевич

О проекте

Робототехнические системы (РТС) являются не только дорогостоящими объектами, которые взаимодействуют с людьми и окружающей средой, но и объектами, которые при неправильных действиях становятся опасными для своего окружения. Поэтому прежде, чем новые робототехнические протоколы взаимодействия и алгоритмы могут быть интегрированы в реальную РТС, они проходят тщательную проверку путем испытаний сначала в лабораторных условиях, а затем, по мере возможности, в реальной целевой среде. При проведении робототехнических тестов, помимо тестирования в реальной окружающей среде, активно используется виртуальное тестирование в симуляторах. В настоящее время виртуальное тестирование новых подходов в симуляторах стало неотъемлемой частью процесса создания новых технологий в области РТС, которое применяется на начальных этапах разработки и экономит огромное количество человеко-часов и финансовых затрат при создании первых прототипов программного и аппаратного обеспечения РТС.

Подавляющее большинство цифровых моделей реальных РТС создаются производителями этих РТС или ассоциированными с ними научными группами в вузах и научных организациях. Однако, при тестировании робототехнических проектов, особенно в области взаимодействия робота и человека, в симуляторе важно иметь не только качественные цифровые модели самих РТС, но и цифровые объекты окружающей среды и цифровые модели людей, выполняющих различные действия в данной среде. К сожалению, на сегодняшний день в виртуальных средах популярных симуляторов для РТС присутствует достаточно ограниченный по количеству и качеству объем цифровых объектов окружающей среды. И если для примитивных нефункциональных цифровых объектов (например, геометрические 3D фигуры или стационарная мебель), для которых достаточно простой программной реализации цифровой модели, количество и качество таких моделей в наиболее популярных симуляторах (например, Gazebo или Webots) является удовлетворительным, то более сложные модели для функциональных цифровых объектов или полностью отсутствуют, и пользователь должен каждый раз создавать их самостоятельно для своего конкретного проекта (например, функциональный цифровой объект «открывающиеся двери»), или он должен довольствоваться примитивными низкокачественными моделями (например, стандартная модель человека в Gazebo).

Проект направлен на качественные улучшения в сфере моделирования и виртуальной валидации прототипов РТС, которые позволят более реалистично и эффективно моделировать протоколы взаимодействия и алгоритмы для РТС в виртуальной среде популярных робототехнических симуляторов с открытым исходным кодом (open-source). В рамках заявляемого проекта будут оценены имеющиеся в наиболее популярных симуляторах цифровые объекты окружающей среды, включая модели человека. Будут определены наиболее остро необходимые для типовых виртуальных экспериментов сложные цифровые объекты и оценены возможности их создания в популярных симуляторах. Проект акцентирует внимание на исследовании двух типов цифровых объектов: примитивные функциональные цифровые объекты и типовые динамические функциональные цифровые объекты. Научная новизна заключается в: разработке конкретных требований к моделям предложенных цифровых объектов и их функционалу, которые обеспечат их реалистичность и эффективность; разработке критериев оценки качества модели; разработке методики экспериментов для оценки качества модели; моделировании цифровых объектов в соответствии с предложенными требованиями. Большое практическое значение имеют разрабатываемые в рамках проекта библиотеки цифровых объектов и графические интерфейсы пользователя, которые помогут пользователю создавать собственные новые объекты на базе создаваемых командой КФУ объектов, а также настраивать готовые объекты созданных библиотек.

В ходе реализации первого года проекта произведены следующие работы:

1) Выполнен обзор литературы по заявленной тематике, направленный на анализ и систематизацию знаний о цифровых объектах, робототехнических симуляторах и цифровых моделях человека. 

2) Выполнен анализ популярных робототехнических симуляторов, используемых для математического и физического моделирования роботов. Особое внимание уделено типовым цифровым объектам, применяемым в виртуальных средах. Изучены возможности и ограничения существующих симуляторов в контексте предоставления готовых цифровых объектов для моделирования.

3) Проведён анализ функциональных возможностей популярных робототехнических симуляторов. На основе характеристик симуляторов и соответствия требованиям к цифровым моделям человека и роботов были выбраны два наиболее перспективных робототехнических симулятора: Gazebo и Webots.

4) Для выполнения задач Проекта были выбраны два ключевых типа сложных цифровых объектов: цифровая модель человека и модель всенаправленного мобильного робота ArtBul (разработан ранее при участии команды Проекта) (Рис. 1).

Рис. 1. Цифровая модель мобильного робота «ArtBul», разработанная при участии членов команды Проекта.

5) Проведена апробация и анализ существующих цифровых моделей человека, используемых в робототехнических симуляторах, выявлены их достоинства и недостатки, проведена оценка их способности моделировать физические, когнитивные и визуальные параметры.

6) Разработаны функциональные требования, ориентированные на обеспечение интеграции цифровых объектов с симуляторами, реалистичности движения цифровых объектов, взаимодействия с окружающей средой и управления. Также разработаны нефункциональные требования к цифровым объектам для робототехнических симуляторов.

7) Для структурированного подхода к анализу и разработке архитектуры цифровых моделей предложена классификация, которая включает в себя такие аспекты, как визуальная структура, функциональность, визуальная и коллизионная детализация, сфера применения, способы управления, степени интерактивности. Для оценки качества цифровых моделей человека в робототехнических симуляторах разработана методика тестирования, направленная на проверку характеристик моделей.

8) Разработана модульная архитектура цифровых объектов, которая обеспечивает гибкость применения разрабатываемых цифровых моделей и упрощает интеграцию дополнительных компонентов.

9) Разработаны сложные цифровые модели человека для Gazebo и Webots. Создано 20 пилотных моделей, по 10 для каждого из двух симуляторов (примеры приведены на рис. 2-3).

Рис. 2. Первые пилотные версии цифровых объектов в Gazebo, созданные в рамках Проекта. 

Рис. 3. Пилотные версии цифровых объектов в Webots.

10) Для проведения экспериментов были созданы и адаптированы 5 виртуальных миров. Для оценки моделей разработано 13 сценариев тестирования, направленных на проверку функциональности, оптимизацию и соответствие требованиям симуляторов.

11) По полученным в первый год промежуточным результатам опубликовано и уже проиндексировано 4 публикации в изданиях, индексируемых в БД «Scopus» или «Web of Science».
 

В ходе реализации второго года проекта произведены следующие работы:
 

1) Проведено тестирование пилотных цифровых моделей, разработанных и апробированных на первом этапе исследований. Проведена комплексная аналитическая работа по данным, полученных в ходе тестирования пилотных моделей. 

2) Выполнено проектирование и документирование функциональных требований к программному обеспечению для создания ЦМЧ.

3) Выполнен дизайн графического интерфейса в соответствии с утвержденными функциональными требованиями (Рис. 4).
 

Рис. 4. Окно с результатом создания цифровой модели человека.
 

4) Разработана архитектура ПО для создания цифровых объектов для робототехнического симулятора с графическим интерфейсом.

5) Разработано ПО для создания уифровых объектов для робототехнического симулятора с графическим интерфейсом.

6) Создана библиотека цифровых объектов для робототехнического симулятора с использованием разработанного ПО (пример ЦМЧ на рис. 5). Библиотека также была протестирована в созданных виртуальных мирах с использованием созданных сценариев тестирования цифровых объектов в соответствии с разработанными методиками экспериментов оценки качества цифровых объектов.
 

Рис. 5. (сверху) Базовая модель человека в Gazebo; (снизу) Пример ЦМЧ из базы данных.
 

7) Разработана и апробирована инструкция использования ПО для создания цифровых объектов для робототехнического симулятора, а также инструкция по использованию цифровых объектов для робототехнического симулятора.

8) Подготовлено 5 публикаций с промежуточными результатами проекта. Из них 4 — в изданиях, индексируемых в БД «Scopus», 1 — в «Белом списке». Результаты представлены на 1 национальной и 3 международных конференциях.

9) Получены свидетельства о государственной регистрации программы для ЭВМ №2025693684 «Программа создания цифровых моделей человека для симулятора Gazebo» и №2025623586 «Библиотека LIRS.DHM.1 цифровых моделей человека для робототехнического симулятора Gazebo».

В ходе реализации проекта были получены следующие результаты:

1) Подробный обзор литературы по тематике проекта. Обзор популярных робототехнических симуляторов для математического и физического моделирования роботов с акцентом на типовых цифровых объектах для робототехнических симуляторов. 

2) Критерии оценки качества модели цифровых объектов для робототехнических симуляторов и ее функционала.

3) Требования к моделям предложенных цифровых объектов для робототехнических симуляторов и их функционалу, которые обеспечат их реалистичность и эффективность на уровне, существенно превосходящим существующие на сегодня аналоги.

4) Методики экспериментов для оценки качества цифрового объекта для робототехнических симуляторов и ее функционала. Сценарии тестирования.

5) Архитектура цифровых объектов для робототехнического симулятора.

6) Пилотные цифровые объекты для робототехнического симулятора.

7) Виртуальные пилотные среды для робототехнического симулятора, для тестирования разрабатываемых цифровых объектов.

8) Типовые сценарии тестирования цифровых объектов.

9) Функциональные требования к графическому интерфейсу ПО для создания цифровых объектов для робототехнического симулятора.

10) Дизайн графического интерфейса.

11) ПО для создания цифровых объектов для робототехнического симулятора, с графическим интерфейсом.

12) Библиотека цифровых объектов для робототехнического симулятора (содержит 300 уникальных объектов).

13) Инструкции использования цифровых объектов для робототехнического симулятора из созданной библиотеки и ПО для создания новых цифровых объектов для робототехнического симулятора.

14) Подготовлено 9 публикаций, 8 из которых опубликованы в изданиях, индексируемых в БД «Scopus», и 1 – в издании «Белого списка». Результаты представлены на одной национальной и шести международных конференциях.

15) Материалы для РИД на ПО для графического интерфейса. Получены свидетельства о государственной регистрации программы для ЭВМ №2025693684 «Программа создания цифровых моделей человека для симулятора Gazebo» и №2025623586 «Библиотека LIRS.DHM.1 цифровых моделей человека для робототехнического симулятора Gazebo».

Публикации

[1] Sulaiman S., Pillai A., Eryomin A., Tsoy T., Magid E. Kinematic Modelling, Workspace Analysis and Static Structural Analysis of a 3 DoF Manipulator for an Elevator Automation // The 4th International Conference on Computer, Control and Robotics (ICCCR 2024). – 2024. – pp. 300-304.

[2] Sulaiman S., Eryomin A., Tsoy T., Magid E. Methodology of Design and Modelling Projects for Robotics and Mechatronics Course of Intelligent Robotics Master Program // 2024 IEEE 7th Eurasian Conference on Educational Innovation (IEEE ECEI 2024). – 2024. – pp. 410-413.

[3] Abbyasov B., Zagirov A., Gamberov T., Li H., Magid E. Vision-based autonomous navigation for medical examination using a UR3e manipulator // International Conference on Artificial Life and Robotics (ICAROB 2024). – 2024. – Vol.29. – pp. 308-311.

[4] Celiker B., Sulaiman S., Tsoy T. A Design of a Modular Mobile Robot for Rescue Operations // International Conference on Artificial Life and Robotics (ICAROB 2024). – 2024. – Vol. 29. – pp. 267-271.

[5] Gamberov T., Safin R., Tsoy T., Li H., Magid E. Holistic Digital Human Models in Gazebo: A Case Study on Agricultural Workflows // 5th International Conference on Agriculture Digitalization and Organic Production (ADOP 2025). – 2025.

[6] Gataullin R., Abbyasov B., Zhukova V., Martinez-Garcia E.A., Magid E. A Graphical User Interface for Controlling a Group of Service Mobile Robots // CIT&DS 2025: Creativity in Intelligent Technologies & Data Science. – 2025.

[7] Dobrokvashina A., Gamberov T., Lavrenov R., Tsoy T. Crawler Robot Model Development for Mobile Robotics Research Using the Gazebo Simulator // International Conference on Information, Control, and Communication Technologies (ICCT 2025). – 2025.

[8] Gamberov T., Safin R., Chebotareva E., Tsoy T., Svinin M., Magid E. Human Tracking Algorithm Evaluation with Digital Human Models in Gazebo // International Conference on Information, Control, and Communication Technologies (ICCT 2025). – 2025.

[9] Гамберов Т.Р., Сафин Р.Н., Цой Т.Г., Магид Е.А. Моделирование агросценариев с цифровыми моделями человека в симуляторе Gazebo // Вестник РГГУ. Серия «Информатика. Информационная безопасность. Математика». – 2025. – №4. – С. 39-50.

Результаты интеллектуальной деятельности

[1] Свидетельство о государственной регистрации базы данных №2025623586. «Библиотека LIRS.DHM.1 цифровых моделей человека для робототехнического симулятора Gazebo». Авторы: Гамберов Тимур Рустамович, Магид Евгений Аркадьевич, Сафин Рамиль Набиуллович, Цой Татьяна Григорьевна. Дата регистрации: 02.09.2025

[2] Свидетельство о государственной регистрации программы для ЭВМ №2025693684. «Программа создания цифровых моделей человека для симулятора Gazebo». Авторы: Гамберов Тимур Рустамович, Исламова Рената Рамилевна, Магид Евгений Аркадьевич, Сафин Рамиль Набиуллович, Цой Татьяна Григорьевна. Дата регистрации: 18.11.2025