Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов
Работы осуществляются при поддержке Российского фонда фундаментальных исследований (РФФИ) и Министерства науки, технологии и космоса Израиля (совместный проект ID 15-57-06010).
Руководитель проекта: Магид Евгений Аркадьевич
Цель и задачи фундаментального исследования:
В настоящее время одной из самых актуальных задач робототехники является задача взаимодействия между беспилотными наземными роботами (БНР) и беспилотными летательными аппаратами (БПЛА). Благодаря различной специфике установленных сенсорных систем и неоднородному оперативному пространству роботов, гетерогенные группы роботов, работающих как одна команда, могут более успешно решать задачи сбора информации и обеспечения безопасности, а также более частные поисково-спасательные и транспортно-логистические задачи.
Данный проект направлен на теоретические и экспериментальные исследование взаимодействия гетерогенной группы роботов. Группа состоит из одного БНР и нескольких БПЛА, выполняющих совместно поисково-спасательные задачи в заранее неизвестной среде и в неопределённой обстановке. Понятие неопределённой обстановки включает в себя одну или несколько факторов, существенно осложняющих задачу поиска. Например:
Для обеспечения надежной автономной работы группы роботов, роботы совместно выполняют следующие операции:
Важнейшие результаты, полученные в ходе реализации Проекта:
1) Создана полная архитектура системы автономного наземного робота. Разработана симуляция автономного транспортного средства с рулевым управлением Акермана в среде ROS/Gazebo. Создан реальный прототип автономного транспортного средства для отработки алгоритмов.
2) В фреймворке ROS/Gazebo создан симулятор российского гусеничного робота «Инженер», включая верхний манипулятор и захват.
3) Проведена работа по оценке и сравнительному анализу методов моноSLAM, выбран наиболее подходящий метод для использования на БПЛА-квадрокоптерах в помещениях при отсутствии сигнала ГЛОНАСС/GPS.
4) Проведен анализ критериев оценки качества пути и его оптимизации при построении маршрутов для глобальных (в том числе класса диаграмм Вороного и глобальных потенциальных полей) и локальных методов планирования маршрута (в том числе класса алгоритмов семейства BUG и локальных потенциальных полей).
5) Разработан алгоритм построения пути для автономных роботов с учетом мультикритериальной функции, при этом алгоритм работает с глобальным и локальным построением пути, изменяя маршрут в реальном времени. Создан прототип симулятора в MATLAB.
6) Разработана симуляция квадрокоптера с прикрепленной на шарнир камерой с регулируемым углом наклона. Смоделирована работа созданного наземного робота с несколькими летательными аппаратами для совместной локализации и построения 3D-карты, а также построение в реальном времени пути по созданному алгоритму. Создан и реализован алгоритм по генерации 3D-сред для экспериментов в ROS/Gazebo.
7) Проведенные нами исследования позволили определить поведение выбранных систем координатных меток (ARTag, AprilTag и CALTag) в различных условиях их перекрытия для определения лучшей метки в дальнейшем использовании по калибровке камер робота. По результатам реальных и симуляционных исследований было установлено, что система CALTag является основным кандидатом на использовании метки для калибровки камер робота и нанесении ее на поверхность робота.
8) Исследование методы калибровки и проведены эксперименты на стереокамере робота «Инженер». Реализован сервер многопоточного транслирования с камер робота.
9) Исследованы алгоритмы SLAM по данным лазерного дальномера. Проведены исследования алгоритмов SLAM на мобильном роботе российского производства «Сервосила «Инженер» [5]. В ходе исследований выяснилось преимущество алгоритма “hector_slam”.
10) Разработан и протестирован алгоритм автономного исследования роботом окружающей среды. Алгоритм сопоставлен с другими подобными методами и существенно превосходит аналоги.
11) Подготовлен и опубликован цикл статей по результатам исследований (29 публикаций и 1 авторское свидетельство на программу ЭВМ).
12) Налажена совместная работа с Израильской командой, ведется обмен данными и результатами. Имеется 2 совместные публикации.
13) Дополнительно, по направлению исследований, указанных в пп. 1), проведены совместные исследования с японскими коллегами (2 совместные публикации).
14) В настоящий момент готовятся к публикации дополнительные статьи по результатам проведенных и продолжающихся исследований, включая статью в журнал первого квартиля Q1 БД «Сеть науки» (Web of Science) c обобщенными результатами исследований и экспериментов (в случае принятия статей, благодарность Фонду будет указана во всех публикациях, содержащих полученные при поддержке Фонда результаты).
Методы и подходы, использованные в ходе реализации Проекта:
В ходе работы над проектом мы основывались на современном уровне исследований в области автономной локализации, картографирования и планирования пути роботов. В качестве научной составляющей были использованы работы по алгоритмам построения маршрута и SLAM не позднее последних пяти лет. Функция построения маршрута представляет из себя новое видение алгоритмов построения путей для автономного робота, так как использует многокритериальную функцию построения с использованием множества гомотопий и рассчитывается в реальном времени. Для тестирования создаваемых алгоритмов мы пользовались популярным на сегодняшний день во всем мире фреймворком ROS\Gazebo. В нем мы в различных средах смогли испытать групповое взаимодействие гетерогенной группы роботов – совместное картографирование и планирование пути. В ходе исследований параллельно с научными исследованиями мы решили множество научно-прикладных задач для новейшего отечественного гусеничного робота «Сервосила Инженер». Задачи при этом решались комплексно – разрабатывались алгоритмы планирования пути в среде Matlab, ROS\Gazebo, параллельно с этим были разработаны методы SLAM для одной камеры и стереопары, которые исследовались на реальном роботе. Одновременно, решалась задача поиска наилучшего метода калибровки камер робота и тестировались алгоритмы планирования пути с помощью лазерного дальномера, установленного на роботе.
Участие в научных мероприятиях по тематике Проекта за период, на который предоставлен грант:
С целью освещения и популяризации промежуточных и итоговых результатов работ по проекту, выполняемых за счет гранта № 15-57-06010 «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов», предоставленного Российским Фондом Фундаментальных Исследований, в 2015-2017 гг. было принято участие в мероприятиях, включая выступления на конференциях и открытых лекциях:
Участие в мероприятиях в 2015 г.:
1. Профессор Магид E.A. принял участие в открытой лекции «Искусственный интеллект: когда и как роботы придут нам на смену», которая прошла 13 ноября в г. Казань в рамках фестиваля премии «Просветитель».
2. Профессор Магид E.A. принял участие в качестве эксперта в области робототехники в заседании Временной комиссии Совета Федерации Федерального Собрания РФ по развитию информационного общества, посвященного развитию робототехники в России. Заседание состоялось в г. Москва 9 ноября 2015 года
Участие в мероприятиях в 2016 г.:
1. Рабочая встреча с партнерами из университета Технион (Technion IIT - Israel Institute of Technology, Хайфа, Израиле) по проекту «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов». На встрече прошло обсуждение текущих результатов и планируемых работ в рамках проекта, а также была разработана совместная дорожная карта исследований.
Доклад руководителя проекта Магида Е.А. на рабочей встрече с
исследовательской группой из университета Технион. Хаифа, Израиль
2. Принято участие в Международной конференции по машиностроению, системотехнике и системам автоматического управления (International Conference on Mechanical, System and Control Engineering, ICMSC 2016), 18-20 мая 2016, Москва, Россия. Выступление с презентацией научной статьи «Разработка прототипа гольф-машины и моделирование навигации с использованием ROS и Gazebo» (“Golf cart prototype development and navigation simulation using ROS and Gazebo”), подготовленной в рамках выполнения проекта «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов». Данная статья демонстрирует результаты, полученные в ходе реализации проекта по Договору № НК 15-57-06010-16 от 04.04.16. Статья опубликована в материалах конференции ICMSC (International Conference on Mechanical, System and Control Engineering; ICMSC, Proceedings), которая индексируется в базах данных Scopus и Web of Science.
3. Участие в конференции по робототехнике и мехатронике (The Robotics and Mechatronics Conference 2016, ROBOMECH), 8 – 11 июня, 2016, Йокогама, Япония. Профессор Магид Е.А. выступил на конференции ROBOMECH 2016 с представлением текущих результатов проекта с двумя постерными докладами.
Руководитель проекта профессор Магид Е.А. на постерной сессии
конференции ROBOMECH 2016
4. Принято участие в III Всеросиийском научно-практическом семинаре «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2016), 22-23 сентября 2016, Иннополис, Россия. Исследователями научной группы Лавреновым Р.О. и Габдуллиным А.Р. были представлены доклады с презентацией научных статей, подготовленных в рамках проекта «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов» по договору № НК 15-57-06010-16 от 04.04.16. Лавренов Р.О. презентовал научную статью «Планирование маршрута для беспилотного наземного робота с учетом множества критериев оптимизации», Габдуллин А.Р. представил презентацию «ROS-моделирование взаимодействия БПЛА и наземного беспилотного робота для решения задачи планирования маршрута в статической среде».
Представление доклада с презентацией статьи «Планирование маршрута для
беспилотного наземного робота с учетом множества критериев оптимизации» младшим
научным сотрудником Лавреновым Р.О.
5. Принято участие в IX международной конференции по машинному зрению (The 9th International Conference on Machine Vision), 18-20 ноября 2016г., Ницца, Франция. Руководитель проекта Магид Е.А. выступил с презентацией научной статьи «Comparative analysis of ROS-based Monocular SLAM methods for indoor navigation», подготовленной в рамках работ над проектом «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов» по договору № НК 15-57-06010-16 от 04.04.16.
Выступление с докладом руководителя проекта профессора Е.Магида
с презентацией научной статьи «Comparative analysis of ROS-based Monocular SLAM methods
for indoor navigation»
6. Руководитель проекта израильской стороны Вадим Индельман (университет Технион) принял участие в международной конференции по интеллектуальным роботам и системам (IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS), 9-14 октября 2016, Теджон, Южная Корея. Вадим Индельман выступил с докладом, представляющим научную статью «Multi-Robot Decentralized Belief Space Planning in Unknown Environments via Efficient Re-Evaluation of Impacted Paths», подготовленной в рамках совместного проекта «Локализация, картографирование и поиск пути для беспилотного наземного робота (БНР) при помощи группы беспилотных летательных аппаратов (БПЛА) с использованием активного коллективного технического зрения и планированием в общем доверительном пространстве группы роботов». Труды конференции индексируются в базах данных Scopus и Web of Science.
Выступление Вадима Индельмана (руководителя проекта израильской
стороны) с презентацией научной статьи «Multi-Robot Decentralized Belief Space Planning in
Unknown Environments via Efficient Re-Evaluation of Impacted Paths»
Участие в мероприятиях в 2017 г.
1. Профессор Магид Е.А. принял участие в XII Всероссийской научно-практической конференции «Перспективные системы и задачи управления», на которой представил доклад «Опыт разработки Симулятора для мобильного робота «Сервосила «Инженер».
Профессор Магид Е.А. и участник экипажа серии советских лунных
дистанционно-управляемых аппаратов-планетоходов «Луноход», полковник ВКС в отставке,
кандидат военных наук, профессор Вячеслав Георгиевич Довгань на XII Всероссийской
научно-практической конференции «Перспективные системы и задачи управления»
2. Профессор Магид Е.А. принял участие во Второй Военно-научной конференции «Роботизация вооруженных сил Российской федерации», где выступил с докладом «Моделирование взаимодействия группы БПЛА и наземного робота для задачи планирования пути с учетом изменяющихся критериев оценки качества маршрута».
Профессор Магид Е.А. на Второй Военно-научной конференции
«Роботизация вооруженных сил Российской федерации»
3. Профессор Магид Е.А. и младший научный сотрудник Лавренов Р.О. приняли участие в 21 форуме «Безопасность. Связь. Интернет», который был организован МЧС Республики Татарстан. На мероприятии сотрудники продемонстрировали использование мобильного робота "Сервосила "Инженер" для ликвидации последствий катастроф.
Магид Е.А. и Лавренов Р.О. на 21 форуме «Безопасность. Связь. Интернет»
4. Профессор Магид Е.А. принял участие в международной конференции по информатике, автоматизации и робототехнике (ICINCO 2017 - 14th International Conference on Informatics in Control, Automation and Robotics. Мадрид, Испания, 26-28 июля 2017), где представил 2 доклада:
- “ARTag, AprilTag and CALTag fiducial marker systems: Comparison in a presence of partial marker occlusion and rotation”
- “Modified spline-based path planning for autonomous ground vehicle”.
Выступление профессора Магида Е.А. на конференции ICINCO-2017
5. Профессор Магид Е.А. принял участие в международной конференции по интерактивной коллаборативной робототехнике (2nd International Conference on Interactive Collaborative Robotics. Хатфилд, Великобритания, 12-16 сентября 2017), где представил доклад “Modified spline-based navigation: Guaranteed safety for obstacle avoidance”.
Выступление профессора Магида Е.А. на конференции ICR-2017
6. Профессор Магид Е.А. принял участие в международной конференции по электромеханике и робототехнике «Завалишинские чтения» (12th International Scientific-Technical Conference on Electromechanics and Robotics "Zavalishin's Reading". Санкт-Петербург, Россия, 18-22 апреля 2017), где представил доклад “Towards heterogeneous robot team path planning: Acquisition of multiple routes with a modified spline-based algorithm”.
7. Младший научный сотрудник Лавренов Р.О. принял участие в международной конференции по механической, системной и управляющей инженерии (International Conference on Mechanical, System and Control Engineering, ICMSC 2017. Санкт-Петербург, Россия, 19-21 мая 2017), где представил 2 доклада на тему “Automatic mapping and filtering tool: From a sensor-based occupancy grid to a 3D Gazebo octomap” и “Voronoi-based trajectory optimization for UGV path planning”.
Младший научный сотрудник Роман Лавренов на постерной сессии
конференции ICMSC
8. Младший научный сотрудник Лавренов Р.О. представил 2 доклада на IV Всероссийском научно-практическом семинаре «Беспилотные транспортные средства с элементами искусственного интеллекта» (Казань, Россия, 5-6 октября 2017) на тему «Программный инструмент для создания 3D карт в Gazebo на основе произвольных изображений и данных лазерного сканирования» и «Поиск маршрута для наземного робота: модифицированный алгоритм планирования на основе сплайнов»
9. Младший научный сотрудник Сагитов А.Г. представил доклад на IV Всероссийском научно-практическом семинаре «Беспилотные транспортные средства с элементами искусственного интеллекта» (Казань, Россия, 5-6 октября 2017) на тему «Моделирование трехосного подвеса камеры квадкоптера DJI и радиоуправления в среде ROS/ Gazebo»
IV Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»
10. Профессор Магид Е.А. принял участие в Международной конференции по искусственной жизни и робототехнике (International Conference on Artificial ALife and Robotics – ICAROB 2018. Беппу, Япония, 1-4 февраля 2018), где представил 5 докладов.
Международная конференция по искусственной жизни и робототехнике (International Conference on Artificial ALife and Robotics – ICAROB 2018
Библиографический список всех публикаций по Проекту:
Индексация в БД WoS и Scopus:
1. R. Lavrenov, A. Zakiev, E. Magid. Automatic mapping and filtering tool: From a sensor-based occupancy grid to a 3D Gazebo octomap. International Conference on Mechanical, System and Control Engineering, 2017, pp.190-195.
2. E. Magid, R. Lavrenov, I. Afanasyev. Voronoi-based trajectory optimization for UGV path planning. International Conference on Mechanical, System and Control Engineering, 2017, pp. 383-387.
3. A. Buyval, I. Afanasyev, E. Magid. Comparative analysis of ROS-based Monocular SLAM methods for indoor navigation. Ninth International Conference on Machine Vision. International Society for Optics and Photonics, 2017, pp. 103411K-103411K-6.
Индексация в БД WoS (без индексации в БД Scopus):
4. M. Sokolov, I. Afanasyev, R. Lavrenov, A. Sagitov, L. Sabirova. Magid, E. Modelling a crawler-type UGV for urban search and rescue in Gazebo environment. The 2017 International Conference on Artificial Life and Robotics, 2017, pp. 360-363.
5. N. Alishev, R. Lavrenov, Y. Gerasimov. Russian mobile robot Servosila Engineer: designing an optimal integration of an extra laser range finder for SLAM purposes. The 2018 International Conference on Artificial ALife and Robotics, 2018, pp.204-207.
6. K. Shabalina, A. Sagitov, H. Li, E.A. Martinez-Garcia, E. Magid. Virtual Experimental Stand for Automated Fiducial Marker Comparison in Gazebo Environment. The 2018 International Conference on Artificial ALife and Robotics 2018, pp. 411-414.
7. R. Safin, R. Lavrenov. Implementation of ROS package for simultaneous video streaming from several different cameras. The 2018 International Conference on Artificial ALife and Robotics, 2018, pp.220-223.
8. A. Zakiev, R. Lavrenov, E. Magid, V. Indelman. Path planning for Indoor Partially Unknown Environment Exploration and Mapping. The 2018 International Conference on Artificial ALife and Robotics, 2018, pp. 299-302.
9. R. Lavrenov. Smart Spline-Based Robot Navigation on Several Homotopies: Guaranteed Avoidance of Potential Function Local Minima. The 2018 International Conference on Artificial Alife and Robotics, 2018, pp. 407-410.
Индексация в БД Scopus (без индексации в БД WoS):
10. M. Sokolov, R. Lavrenov, A. Gabdullin, I. Afanasyev, E. Magid. 3D modelling and simulation of a crawler robot in ROS/Gazebo. Proceedings of the 4th International Conference on Control, Mechatronics and Automation, 2016, pp. 61-65.
11. I. Shimchik, A. Sagitov, I. Afanasyev, F. Matsuno, E. Magid. Golf cart prototype development and navigation simulation using ROS and Gazebo, MATEC Web of Conferences, EDP Sciences, vol. 75, 2016, pp. 09005.
12. R. Lavrenov, A. Zakiev. Tool for 3D Gazebo map construction from arbitrary images and laser scans. International Conference on Developments in eSystems Engineering, 2017
13. A. Sagitov, Y. Gerasimov. Towards DJI Phantom 4 Realistic Simulation with Gimbal and RC Controller in ROS/Gazebo Environment. International Conference on Developments in eSystems Engineering, 2017
14. E. Magid, R. Lavrenov, A. Khasianov. Modified spline-based path planning for autonomous ground vehicle. 14th International Conference on Informatics in Control, Automation and Robotics, 2017, pp.132-141.
15. A. Sagitov, K. Shabalina, L. Sabirova, Li H., E. Magid. ARTag, AprilTag and CALTag fiducial marker systems: Comparison in a presence of partial marker occlusion and rotation. Proceedings of the 14th International Conference on Informatics in Control, Automation and Robotics, vol. 2, 2017, pp. 182-191.
16. R. Lavrenov, F. Matsuno, E. Magid. Modified spline-based navigation: Guaranteed safety for obstacle avoidance. Lecture Notes in Computer Science, The 2nd International Conference on Interactive Collaborative Robotics, Hatfield, United Kingdom, vol. 10459, 2017, pp. 123-133.
17. R. Lavrenov, E. Magid. Towards heterogeneous robot team path planning: Acquisition of multiple routes with a modified spline-based algorithm. MATEC Web of Conferences, EDP Sciences, vol. 113, 2017, №02015.
18. R. Safin, R. Lavrenov, S. Saha, E. Magid. Experiments on mobile robot stereo vision system calibration under hardware imperfection. 13th International Scientific-Technical Conference on Electromechanics and Robotics "Zavalishin's Reading", 2018 (в печати)
Индексация в БД РИНЦ:
19. А. Габдуллин, A. Буйвал, P. Лавреновa, Е. Магид. ROS-моделирование взаимодействия БПЛА и наземного беспилотного робота для решения задачи планирования маршрута в статической среде. Третий Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»: Труды семинара, 2016, c. 21-31.
20. Е. Магид, Р. Лавренов, А. Газизов, М. Соколов, И. Афанасьев. Опыт разработки симулятора для мобильного робота «Сервосила «Инженер». Сборник материалов XII Всероссийской научно-практической конференции «Перспективные системы и задачи управления», 2017, с. 1-17.
21. А. Закиев, О. Лавренов, Е. Магид. Программный инструмент для создания 3D карт в Gazebo на основе произвольных изображений и данных лазерного сканирования. IV Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»: Труды семинара, 2017, c. 76-86.
22. Р. Лавренов, Е. Магид. Поиск маршрута для наземного робота: модифицированный алгоритм планирования на основе сплайнов. IV Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»: Труды семинара, 2017, c. 96-106.
23. P. Лавренов, И. Афанасьев, Е. Магид. Планирование маршрута для беспилотного наземного робота с учетом множества критериев оптимизации. III Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»: Труды семинара, 2016, c. 10-20.
24. А. Сагитов, Ю. Герасимов, Е. Магид. Моделирование трехосного подвеса камеры квадкоптера DJI и радиоуправления в среде ROS/ Gazebo. IV Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта»: Труды семинара, 2017, c. 87-95.
25. Р. Сафин, Р. Лавренов, Р. Боби, С. Саха, Е. Магид. Эксперименты по калибровке камер мобильного робота при наличии аппаратных дефектов в системе технического зрения. Научно-методический и информационный журнал Вестник НЦБЖД, 2018 (в печати)
26. К. Шабалина, Е. Магид, А. Сагитов. Виртуальный подход для проведения автоматизированных экспериментов сравнения систем координатных меток в среде GAZEBO. Научно-методический и информационный журнал Вестник НЦБЖД, 2018 (в печати)
Другое:
27. R. Lavrenov, A. Gabdullin, I. Afanasyev, V. Indelman, E. Magid. Towards heterogeneous robot team path planning in dynamic search and rescue scenarios. The Proceedings of JSME annual Conference on Robotics and Mechatronics (ROBOMECH). The Japan Society of Mechanical Engineers, 2016, pp. 1A1-03b1.
28. I. Shimchik, A. Sagitov, I. Afanasyev, F. Matsuno. Magid, E. Developing an autonomous service car: golf-cart prototype modelling. The Robotics and Mechatronics Conference (ROBOMECH), 2016, pp. 1P1-07a3.
29. Р. Лавренов, Е. Магид, А. Габдуллин. Моделирование взаимодействия группы БПЛА и наземного робота для задачи планирования пути с учетом изменяющихся критериев оценки качества маршрута. Вторая Военно-научная конференция «Роботизация вооруженных сил Российской федерации», 2017
Патенты:
30. Авторское свидетельство на программу ЭВМ «Программный комплекс с графическим интерфейсом для дистанционного управления гусеничным роботом»
