Информационная система управления ликвидациями последствий стихийных бедствий в зонах наводнений и оползней при помощи распределенной гетерогенной группы роботов
Номер государственного контракта по гранту: № 19-58-70002
Общее руководство проектом: Евгений Аркадьевич Магид (РФ)
Руководители национальных команд: Е.А. Магид (РФ), Fumitoshi Matsuno (Япония), Jackrit Suthakorn (Таиланд)
Рисунок 1. Гетерогенные распределенные группы роботов собирают информацию, необходимую для создания отдельных тематических карт, которые затем будут объединены в многослойную карту зоны бедствия
На Рис. 1 представлена общая идея предлагаемого проекта. Гетерогенные группы роботов будут работать как отдельные национальные команды (которые в свою очередь могут быть разбиты на распределенные подгруппы), снабжая данными централизованную информационную систему управления чрезвычайными ситуациями. Роботы будут выполнять задачи построения тематических карт района бедствия с поверхности воды, под водой, с воздуха и с земли, включая исследования разрушенных зданий. На Рис. 2 представлено распределение независимых задач между национальными командами и их взаимодействие по общим задачам в рамках проекта. Сами задачи, взаимодействие и синергия национальных команд в целях успешного выполнения общей задачи проекта подробно описаны в основной части заявки.
Рисунок 2. Предлагаемая информационная система и план совместных исследований: значком R отмечены задачи российской команды, J - задачи японской команды, T - задачи команды Таиланда
В странах Азии, включая Азиатскую часть Российской Федерации, наблюдается высокий уровень риска возникновения стихийных бедствий, среди которых наводнения являются наиболее частыми и несущими самые тяжелые потери с точки зрения человеческих жертв и экономики. Поэтому разработка информационной системы (ИС) управления процессом ликвидации последствий стихийных бедствий, позволяющей повысить эффективность и скорость устранения последствий, является сегодня одной из самых актуальных и востребованных задач, стоящих перед научным сообществом.
Три страны, участвующие в выполнении проекта - Российская Федерация, Таиланд и Япония - в определенные времена года находятся в зоне риска наводнений и оползней, вызванных проливными дождями и быстрым таянием больших объемов снежного покрова. Используя многолетний опыт наших трех национальных команд в поисково-спасательной робототехнике для ликвидации последствий стихийных бедствий, в рамках предлагаемого проекта будет разработана роботизированная ИС сбора данных для эффективного управления чрезвычайными ситуациями в зоне стихийных бедствий. Основной целью проекта является разработка и апробация прототипа ИС, которая затем может стать международным стандартом при ликвидации как национальных, так и международных стихийных бедствий.
ИС будет осуществлять сбор данных при помощи распределенных гетерогенных групп робототехнических комплексов, включающих различные типы беспилотных летательных аппаратов (БЛА), беспилотных наземных роботов (БНР), автономных безэкипажных кораблей (БЭК) и автономных необитаемых подводных аппаратов (АНПА). Отдельные карты, построенные распределенными группами роботов, будут объединены в единую многослойную тематическую карту зоны бедствия, которая поможет поисково-спасательным группам ускорить процессы эвакуации выживших, позволит оценить уровень опасности дальнейшего разрушения зданий и загрязнения окружающей среды, что в свою очередь значительно повысит шансы спасения выживших и увеличит безопасность спасателей во время поисковых работ.
Разрабатываемые в рамках проекта новые стратегии управления, интерфейсы, модели роботов, алгоритмы и программное обеспечение будут тестироваться как при помощи моделирования, так и в рамках полевых экспериментов. Для демонстрации эффективности ИС, разрабатываемой в рамках проекта, ее апробация будет проводиться в сотрудничестве с местными органами власти каждой из трех стран. В результате проекта будет усовершенствовано понимание механизмов, связанных с технологически обоснованным принятием решений для эффективного управления чрезвычайными ситуациями. Разработка и внедрение роботизированных инструментов нового поколения для борьбы со стихийными бедствиями, остро востребованных международными и национальными агентствами по чрезвычайным ситуациям, внесут огромный вклад в научное, технологическое и промышленное развитие общества.
Научная новизна исследования, заявленного в Проекте:
В рамках проекта будет разработан и апробирован уникальный прототип не имеющей аналогов роботизированной информационной системы (ИС) управления процессом ликвидации последствий стихийных бедствий.
Нашими международными коллективами будет разработана новая рабочая платформа и новые стратегии управления совместным поведением гетерогенных роботов при выполнении задач сбора информации, мониторинга и картографирования крупномасштабных зон стихийного бедствия, включающей в себя наземные, подводные и воздушные области, подверженные стихийным бедствиям, в частности наводнениям и оползням, вызванными проливными дождями. Новые стратегии управления и новые интерфейсы будут протестированы в моделировании и верифицированы в рамках полевых экспериментов.
На более низком уровне иерархии проекта мы планируем разработку новых алгоритмов одновременной локализации и построения карты (SLAM) для гетерогенной группы роботов в условиях стихийного бедствия, новых алгоритмов планирования маршрута для эффективного покрытия площадей в неструктурированной среде после стихийного бедствия и новых алгоритмов автономного возвращения роботов при потере связи. Более того, мы ожидаем, что наше совместное исследование роботизированных систем, работающих в условиях оползней, в перспективе приведет к созданию нового класса мобильных транспортных средств с использованием новых принципов управления. Также как разработка макросимуляторов (находящихся в зоне ответственности японской команды) на основе ГИС и графического пользовательского интерфейса может создать условия для нового направления в области виртуальной реальности, занимающегося моделированием чрезвычайных ситуаций. В случае успешного выполнения проекта, при помощи новых научно-практических решений, будет усовершенствовано понимание механизмов, участвующих в технологически обоснованных решениях для эффективного управления чрезвычайными ситуациями в международном масштабе.
За период первого этапа (2019-2020 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Мобильные робототехнические комплексы (РТК) лаборатории были реализованы в среде ROS\Gazebo:
Данные роботы были впервые реализованы в среде моделирования ROS\Gazebo.
2. Было разработано программное обеспечение для генерации сред и загрязнений (микросимулятор №1). Данное ПО было протестировано согласно разработанным методикам тестирования на реализованных в среде моделирования РТК. Разработка велась на языке программирования С++ в операционной системе Ubuntu 16, основанной на ядре Linux. В его функционал входят:
Микросимулятор является модульным программным обеспечением, в который можно добавлять новый функционал. Его код задокументирован и открыт для использования.
Данное ПО является оригинальным и не имеет аналогов.
3. Было разработано программное обеспечение для моделирования ошибок и сбоев датчиков (микросимулятор №2). Данное ПО было интегрировано в микросимулятор №1 и протестировано согласно разработанным методикам тестирования на реализованных в среде моделирования РТК.
Разработка велась на языке программирования С++ в операционной системе Ubuntu 16, основанной на ядре Linux. В его функционал входят:
Данное ПО является оригинальным и не имеет аналогов.
4. Было подобрано и приобретено специальное оборудование и комплектующие. Помимо этого, национальная команда России провела пуско-наладочные работы и пилотные испытания оборудования в тех случаях, когда они были необходимы.
5. Были подведены итоги работы за 2019 год. Публикации, собранные в рамках отчета по гранту за 1 год, сотрудничество с зарубежными партнерами, а также научные мероприятия, направленные на освещение и популяризацию промежуточных результатов проекта, были проанализированы.
За период второго этапа (2020-2021 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Российской командой проекта был доработан и протестирован многофункциональный микросимулятор, моделирующий зону чрезвычайных бедствий, и позволяющий тестировать различные алгоритмы автономной и полуавтономной работы как отдельных мобильных роботов, так и гетерогенных групп мобильных роботов. По мере появления принципиально нового функционала в ходе постепенно развития микросимулятора, ему присваивался новый порядковый номер. Так, в конце первого этапа нами был представлен базовый микросимулятор №2, а к концу второго этапа – завершена разработка финальной версии микросимулятора - микросимулятор №5.
2. Был проведен сравнительный анализ в виртуальной среде Gazebo внутри трех групп существующих на сегодняшний день алгоритмов одновременной локализации и картографирования (англ. «simultaneous localization and mapping», SLAM):
Все рассмотренные методы были представлены исследователями после 2015 года и являются в настоящее время активно развиваемыми, а подобного сравнения данных методов с использованием качественных и количественных характеристик алгоритмов ранее не проводились. Российской командой был разработан и реализован новый алгоритм одновременной локализации и картографирования MultiCam-SLAM, основанный на комплексировании данных с трех бортовых камер робота. Разработанный алгоритм был протестирован в среде Gazebo и в ходе сравнительного анализа показал более высокую точность работы относительно оригинального алгоритма ORB-SLAM2. Все протестированные сторонние алгоритмы и новый собственный алгоритм были имплементированы в микросимуляторе №3 в виде дополнительных вкладок, обеспечивающих подключение любого из перечисленных алгоритмов к любому из роботов, добавленных в симуляции (Рис. 3). Разработанная архитектура микросимулятора №3 с новым функционалом представляет из себя новый подход к симуляции и ранее не разрабатывалась другими научными коллективами. При тестировании микросимулятора №3 по заранее подготовленным методикам и программам экспериментов были использованы модели роботов Hector-Quadrotor (БЛА), Husky (БНР), Jackal (БНР), Turtlebot3 (БНР).
Рисунок 3. Результат выполнения коллаборативного SLAM алгоритма двумя мобильными роботами
3. Был разработан алгоритм обнаружения разрыва связи и автономного возвращения мобильного робота в случае сбоя систем связи с учетом возможных изменений окружающей среды. Алгоритм был добавлен в микросимулятор №4 и протестирован на роботах различной конструкции в разнообразных средах, созданных в симуляторе Gazebo. Также алгоритм был протестирован на реальных мобильных роботах PMB-2 и «Сервосила Инженер»; алгоритм может быть применен для большинства мобильных роботов с различным типом управления и позволит уменьшить вероятность потери дорогостоящего оборудования. Для проведения тестирования на реальных робототехнических устройствах, в них были интегрированы дополнительные датчики и оборудование. При этом были решены возникшие программного-аппаратные задачи.
4. Между руководителями и сотрудниками национальных исследовательских групп было организовано плотное взаимодействие, которое в связи с неблагополучной эпидемиологической обстановкой проходило в онлайн формате в виде постоянных совещаний и рабочих встреч в ПО Zoom (Рис. 5), и совместного участия в ряде конференций. 19 марта 2020 г. было подписано четырехстороннее международное соглашение о научном сотрудничестве между Университетом Рицумейкан (Япония), Киотским Университетом (Япония), Казанским федеральным университетом и Университетом Махидол (Таиланд), которое позволит расширить дальнейшее сотрудничество в том числе и вне рамок проекта. Организация совместных секций на международных конференциях «Developments in eSystems Engineering 2020» и «Siberian Conference on Control and Communications 2021» помогла привлечь дополнительный интерес к промежуточным результатам проекта. Руководители всех трех команды вошли в состав организационных, программных и технических комитетов ряда международных конференций (ICAROB-2020 и ICAROB-2021, DeSE-2020, DARS-2021 и SWARM-2021, SIBCON-2021 и др.), что позволило укрепить их позиции и международное признание в научной среде. За второй этап российской командой было опубликовано 17 научных статей (15 в изданиях с индексацией в БД Scopus, 1 - в БД РИНЦ), из которых 10 - в соавторстве с зарубежными командами Проекта.
Рисунок 5. Руководители и ключевые сотрудники национальных команд во время онлайн совещания в ПО Zoom, 12 марта 2021 г.
Важным научным результатом второго этапа Проекта является формулировка критериев оценки качества маршрута для оптимизации алгоритмов планирования маршрута одиночными роботами и роботами, действующими в группе. На основе проведенного обзора алгоритмов планирования пути для оптимального покрытия карты одним роботом и группой роботов, с использованием двумерных (лидар) и трехмерных (камеры) данных, был разработан новый метод планирования целей для роботов, решающий задачу оптимального покрытия карты. Финальный Микросимулятор №5 с интегрированными в него алгоритмами (Рис. 6) служит основой взаимодействия с научными группами Японии и Тайланда, а также позволил опубликовать ряд научных статей в журналах и сборниках трудов конференций.
Рисунок 6. Созданная в Микросимуляторе №5 среда, имитирующая зону ЧС
За период третьего этапа (2021-2022 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Российской национальной командой была проведена тщательная работа по улучшению системы дистанционного управления для полуавтономного телеуправляемого робота «Сервосила Инженер» и для полуавтономного телеуправляемого БЛА PX. Для робота «Сервосила Инженер» был разработан новый концепт графического интерфейса по причине реализации некоторых алгоритмов (работа с сенсорами и навигация) с помощью робототехнической операционной системы (ROS), в то время как управление роботом осуществляется без использования ROS, что затрудняет систему управления и создает сложности в работе алгоритмов. Концепция была расширена путем модернизации вкладок, при помощи которых возможно контролировать мобильность робота, движения манипулятора, имеющегося на базе робота, автономное движение с опорой на данные, поступающие с лазерного дальномера, настройку скорости движения сочленений. Разработанный графический интерфейс для БЛА написан на C++\Qt Framework и предназначен для управления квадрокоптерами с помощью ROS. Он показывает данные о компасе, высоте, высоте, крене, углах тангажа. Обе разработанные системы графических интерфейсов были успешно протестированы в соответствии с разработанными российской командой методиками.
2. Участниками российской команды была проведена разработка и имплементация алгоритмов комплексирования тематических карт национальных команд в единую модель зоны бедствия в микросимуляторе №5. В рамках данной задачи была смоделирована комплексная 3Д-модель города Шанхай, Китай. На полученной 3Д-карте зоны бедствия расположены радиационное и химическое загрязнения, представляющие собой опасные участки местности.
Рисунок 7. Среда «Шанхай» с радиационным загрязнением в симуляторе Gazebo
3. Была проведена имплементация связи между микросимулятором №5 и макросимулятором, разработанного японской командой и представляющего собой моделирование поведения воды при наводнении. Разработки японской команды включают в себя 3D-модель водного пространства и формулы, описывающие процесс симуляции волн при наводнении и уравнения подъема воды. Разработанный прототип наработок японской команды был интегрирован в микросимулятор №5.
Рисунок 8. Пример симуляции воды в состоянии слабого волнения в среде ROS/Gazebo
Также российской группой была осуществлена разработка и имплементация алгоритмов комплексирования тематических карт национальных команд в единую модель зоны бедствия в виде городского круга Манхэттен (г. Нью-Йорк) в среде ROS для реальных робототехнических комплексов (Рис. 9). В качестве роботов были использованы Warthog, Hector Quadrotor, Jackal, Husky.
Рисунок 9. Виртуальная модель округа Манхэттен в симуляторе Gazebo
4. Был разработан и интегрирован в систему управления мобильных роботов Tiago Base и "Сервосила Инженер" программный модуль автономного возвращения, позволяющий вернуть робота на его начальную позицию, с которой он начал свое движение. Это может быть необходимым в случаях обрыва связи на некоторый временной промежуток или полной потери связи между роботом и оператором (режим удаленного управления робота).
5. В связи с эпидемией коронавируса и рекомендациями Роспотребнадзора по ограничению посещения зарубежных стран между руководителями и участниками национальных исследовательских групп было установлено плодотворное сотрудничество в дистанционном формате. Серия рабочих встреч, проводимых каждые три месяца, позволила участникам демонстрировать текущие промежуточные результаты, проводимые в рамках текущего Проекта. Научные разработки были также представлены на международных и российских научных конференциях. Были подготовлены публикации, подготовленные совместно с руководителями и сотрудниками иностранных национальных групп. За третий этап российской командой было опубликовано 16 научных статей (14 в изданиях с индексацией в БД Scopus, 2 - в БД РИНЦ), из которых 13 было подготовлено и опубликовано в соавторстве с зарубежными командами Проекта.
