Навигация мобильных робототехнических комплексов в динамическом трехмерном пространстве

Номер государственного контракта по гранту:  № 22-21-20033

Руководитель проекта: Лавренов Роман Олегович

Рис. 1. Виртуальная модель робота «Сервосила Инженер», используемая для виртуального тестирования алгоритмов в симуляторе Gazebo. 

О проекте

В современной робототехнике существует тенденция к повышению автономности мобильных комплексов. Научные исследования направлены на увеличение числа задач, которые роботы могли бы выполнять самостоятельно, без ручного управления оператором.

К числу таких задач относится и автономная навигация в условиях отсутствии сигнала GPS\Глонасс. Актуальность данной задачи подчеркивается тем, что её решением занимаются передовые научные лаборатории и коммерческие компании (Google, Tesla, Yandex), с целью реализации автономных функций в автомобилях и роботах-доставщиках. Также вышеуказанная задача актуальна при использовании робототехнических устройств в опасных для людей условиях: в зоне пожара, химического или радиационного загрязнения. В случае, если мобильный робототехнический комплекс в подобных задачах управляется оператором в ручном режиме, есть вероятность разрыва связи с ним и потери дорогостоящего оборудования, в связи с чем снова возникает проблема автономной навигации для возвращения робота.

Для решения задачи навигации в динамических условиях при отсутствии сигнала GPS/ГЛОНАСС, когда карта окружающей среды заранее неизвестна или известна лишь частично, приходится решать прочие задачи, связанные с компьютерным зрением: задачи локализации и картографирования. Современным направлением является объединение этих задач в единую задачу одновременной локализации и картографирования (англ. simultaneous localization and mapping – SLAM).

Для решения задач построения карты, локализации на ней робота и дальнейшего планирования пути по ней в условиях отсутствия сигнала GPS/ГЛОНАСС применяются различные бортовые датчики: лазерные дальномеры, цифровые оптические камеры и стереокамеры. Используя лазерные дальномеры, можно построить двумерную карту для навигации, а с помощью оптических камер строится трехмерная карта, представленная в виде облаков точек или вокселей. Недостатки таких подходов известны – при применении двухмерной карты пропадает прочая информация, находящаяся выше и ниже рабочей плоскости лазерного дальномера, а при использовании оптических устройств - велика ошибка измерений, даже в случае идеальной калибровки и настройке камер. Научной новизной данного проекта является разработка алгоритма планирования оптимальной, согласно заданной штрафной функции, траектории для мобильного робота с использованием комплексированных данных, то есть данных и от лазерного дальномера, и от камер, уточненных благодаря друг другу. Вследствие подобного комплексирования будет получена более точная трехмерная карта окружающей среды, в которой появится возможность более безопасно и оптимально рассчитывать путь для сложных мобильных робототехнических платформ, в том числе в задачах автономного возвращения.

В ходе реализации первого года проекта произведены следующие работы:

1. Обзор и исследование последних разработок в области локализации и картографирования по данным бортовых датчиков.

2. Вычисление и обоснование формул оптимального совмещения двух- и трехмерных карт, используя калибровочную информацию источников данных.

3. Вычисление и обоснование формул уточнения и смещения данных в трехмерной карте (облако точек), используя двумерную карту (построенную по данным с лазерного дальномера).

4. Разработка программного обеспечения для совмещения двумерной и трехмерной карты на основе фреймворка ROS.

5. Проведен ряд работ по анализу критериев оптимальности маршрута на трехмерной карте, параметризация критериев относительно траектории, заданной параметрически в виде составного сплайна

6. Подготовлены модели робота для виртуального тестирования.

7.  Разработана новая модель мобильного робота, который не будет накладывать дополнительные ограничения на алгоритмы картографирования из-за специфики бортовой системы очувствления или движения.

8. Подготовлены нетривиальные реалистичные кейсы и среды для тестирования алгоритмов, которые смогут обеспечить условия для интеграции динамики поведения объектов инфраструктуры сцены или других активных агентов.

а) Кейс, в котором робот «Сервосила Инженер» должен в автономном режиме выйти из закрытого помещения.

б) Кейс, в котором робот ЛИРС-АртБул должен осуществить проезд через автоматические распашные двери в роботизированной больнице.

в) Кейс, в котором система стационарных инфраструктурных IoT-камер позволяет улучшить управление беспилотными летательными аппаратами (БЛА).

В ходе реализации второго года проекта произведены следующие работы:

1. Составлен расширенный список критериев оценки оптимальности маршрута, построенного на базе графа Вороного и кубического B-сплайна, на двухмерных и трехмерных картах. Проведен анализ критериев из расширенного списка, в результате чего составлен список наиболее важных критериев оценки. 

2. Разработана методика проведения пилотных экспериментальных исследований для выявления наиболее оптимальной мобильной платформы среди списка кандидатов. 

3. Получены результаты тестирования алгоритмов комплексирования данных с оптических сенсоров для построения и обновления общей трехмерной карты и реализующего их в виртуальной среде симулятора программного обеспечения:

а) Проведены пилотные эксперименты в соответствии с разработанными методиками тестирования с использованием виртуальных моделей мобильных роботов «Сервосила Инженер», «Tiago Base», «ЛИРС-АртБул-1», «Husky», «Turtlebot».

б) Анализ результатов экспериментальных исследований позволил выявить и обосновать наиболее оптимальную по ряду критериев мобильную платформу «Husky». Модель робота является наиболее производительной с точки зрения фактора реального времени, обладает устойчивой колесной базой и необходимым набором бортовых датчиков.

в) Проведены виртуальные экспериментальные исследования по оценке качества построенной трехмерной карты окружения на базе выбранной модели мобильной платформы «Husky».

4. Разработан алгоритм планирования оптимальной согласно заданной функции стоимости траектории для мобильного робота в трехмерной среде. 

5. Разработано программное обеспечение для алгоритма планирования оптимальной траектории для мобильного робота в трехмерной среде. Модульное программное обеспечение разработано в виртуальной среде симулятора Gazebo на основе робототехнической операционной системы ROS на языке С++. Реализован программный интерфейс для динамического изменения параметров алгоритма планирования пути. 

В ходе выполнения проекта подготовлена 21 научная публикация, из которых 18 – в изданиях, индексируемых в международных базах данных научного цитирования Scopus, Web of Science, и 3 – тезисы, индексируемые в РИНЦ. Подготовлены материалы для одного РИД.

 Публикации по теме проекта:

[1] Magid, E., Matsuno, F., Suthakorn, J., Svinin, M., Bai, Y., Tsoy, T., Safin, R., Lavrenov, R., Zakiev, A., Nakanishi, H., Hatayama, M., Endo, T. (2022). e‑ASIA Joint Research Program: development of an international collaborative informational system for emergency situations management of food and land slide disaster areas. Artificial Life and Robotics, 27(4), pp. 613–623.

[2] Safarova, L., Abbyasov, B., Tsoy, T., Li, H., Magid, E. (2022). Comparison of Monocular ROS-based Visual SLAM Methods. Interactive Collaborative Robotics 7th International Conference, 2022.

[3] Apurin, A., Dobrokvashina, A., Abbyasov, B., Tsoy, T., Martinez-Garcia, E., Magid, E.(2022). LIRS-ArtBul: Design, modelling and construction of an omnidirectional chassis for a modular multipurpose robotic platform. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), № 13719, p. 70-80.

[4] Abdulganeev, R., Lavrenov, R., Safin, R., Bai, Y., Magid, E. (2022). Door handle detection modelling for Servosila Engineer robot in Gazebo simulator. Siberian Conference on Control and Communications, (SIBCON 2022), p. 1-4.

[5] Lychko, S., Tsoy, T., Li, H., Martinez-Garcia, E.A., Magid, E. (2022). ROS network security for a swing doors automation in a robotized hospital. Siberian Conference on Control and Communications (SIBCON 2022), p. 1-6.

[6] Dubelschikov, A., Tsoy, T., Bai, Y., Svinin, M., Magid, E. (2022). IOT cameras network based approach for improving unmanned aerial vehicle control. International Scientific Forum on Control and Engineering,  p. 169-171.

[7] Safin, R., Tsoy, T., Lavrenov, R., Afanasyev, I., Magid, E. (2023). Modern Methods of Map Construction Using Optical Sensors Fusion. International Conference on Artificial Life and Robotics (ICAROB 2023), pp. 167-170.

[8] Dobrokvashina A., Lavrenov R., Magid E., Bai Y., Svinin M. How to Create a New Model of a Mobile Robot in ROS/Gazebo Environment: An Extended Tutorial // International Journal of Mechanical Engineering and Robotics Research. – 2023. – Vol. 12. – No. 4. – pp. 192-199.

[9] Iskhakova A. LIRS-Mazegen: An Easy-to-Use Blender Extension for Modeling Maze-Like Environments for Gazebo Simulator / B. Abbyasov, T. Tsoy, T. Mironchuk, M. Svinin, E. Magid // Frontiers in Robotics and Electromechanics. – 2023. – Vol. 329. – pp. 147-161.

[10] Mustafin M., Chebotareva E., Li H., Magid E. Experimental Validation of an Interface for a Human-Robot Interaction Within a Collaborative Task // International Conference on Interactive Collaborative Robotics. – Cham : Springer Nature Switzerland, 2023. – pp. 23-35.

[11] Apurin A., Abbyasov B., Martinez-Garcia E. A., Magid E. Comparison of ROS Local Planners for a Holonomic Robot in Gazebo Simulator // International Conference on Interactive Collaborative Robotics. – Cham : Springer Nature Switzerland, 2023. – pp. 116-126.

[12] Eryomin A., Safin R., Tsoy T., Lavrenov R.,  Magid E. Optical Sensors Fusion Approaches for Map Construction: A Review of Recent Studies // Journal of Robotics, Networking and Artificial Life. – 2023. – Vol. 10(2). – pp. 127-130.

[13] Dubelschikov A., Tsoy T., Li H., Magid E. IoT Cameras Network Based Motion Tracking for an Unmanned Aerial Vehicle Control Interface // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 2023. 

[14] Kidiraliev E., Lavrenov R. Stereo Visual System for Ensuring a Safe Interaction of an Industrial Robot and a Human // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 2023. 

[15] Sultanov R., Lavrenov R., Sulaiman S., Bai Y., Svinin M., Magid E. Object Detection Methods for a Robot Soccer // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 2023. 

[16] Zagirov A., Chebotareva E., Tsoy T., Martinez-Garcia E. A. A New Virtual Human Model Based on AR-601M Humanoid Robot for a Collaborative HRI Simulation in the Gazebo Environment // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 2023. 

[17] Dubelschikov A. A., Tsoy T. G., Li H., Magid E. A. Intelligent System Concept of an IoT Cameras Network Application with a Motion Tracking Function for an Unmanned Aerial Vehicle Teleoperation // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023). – 2023 (в печати).

[18] Zagirov A. I., Chebotareva E. V., Tsoy T. G., Martinez-Gracia E. A. A Virtual Human Model Based on Anthropomorphic Robot for Collaborative HRI Simulation in Gazebo Environment // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 202  (в печати).

[19] Sultanov R. R., Lavrenov R. O., Sulaiman S., Bai Y., Svinin M. M., Magid E. A. Open CV library-based robot detection methods // 7th International Scientific Conference on Information, Control, and Communication Technologies (ICCT-2023) (online; October 02-06 2023). – 2023 (в печати).

[20] Abdulganeev R., Lavrenov R., Dobrokvashina A., Bai Y., Magid E. Autonomous door opening with a rescue robot. 10th International Conference on Automation, Robotics and Applications (ICARA 2024), 2024. (принята к публикации)

[21] Tukhtamanov, N., Lavrenov, R., Chebotareva, E., Svinin, M., Tsoy, T., Magid, E. (2022). Open source library of human models for Gazebo simulator. Siberian Conference on Control and Communications,(SIBCON 2022), p. 1-5.