Информационная система управления ликвидациями последствий стихийных бедствий в зонах наводнений и оползней при помощи распределенной гетерогенной группы роботов
Номер государственного контракта по гранту: № 19-58-70002
Общее руководство проектом: Евгений Аркадьевич Магид (РФ)
Руководители национальных команд: Е.А. Магид (РФ), Fumitoshi Matsuno (Япония), Jackrit Suthakorn (Таиланд)
Рисунок 1. Гетерогенные распределенные группы роботов собирают информацию, необходимую для создания отдельных тематических карт, которые затем будут объединены в многослойную карту зоны бедствия
На Рис. 1 представлена общая идея предлагаемого проекта. Гетерогенные группы роботов будут работать как отдельные национальные команды (которые в свою очередь могут быть разбиты на распределенные подгруппы), снабжая данными централизованную информационную систему управления чрезвычайными ситуациями. Роботы будут выполнять задачи построения тематических карт района бедствия с поверхности воды, под водой, с воздуха и с земли, включая исследования разрушенных зданий. На Рис. 2 представлено распределение независимых задач между национальными командами и их взаимодействие по общим задачам в рамках проекта. Сами задачи, взаимодействие и синергия национальных команд в целях успешного выполнения общей задачи проекта подробно описаны в основной части заявки.
Рисунок 2. Предлагаемая информационная система и план совместных исследований: значком R отмечены задачи российской команды, J - задачи японской команды, T - задачи команды Таиланда
В странах Азии, включая Азиатскую часть Российской Федерации, наблюдается высокий уровень риска возникновения стихийных бедствий, среди которых наводнения являются наиболее частыми и несущими самые тяжелые потери с точки зрения человеческих жертв и экономики. Поэтому разработка информационной системы (ИС) управления процессом ликвидации последствий стихийных бедствий, позволяющей повысить эффективность и скорость устранения последствий, является сегодня одной из самых актуальных и востребованных задач, стоящих перед научным сообществом.
Три страны, участвующие в выполнении проекта - Российская Федерация, Таиланд и Япония - в определенные времена года находятся в зоне риска наводнений и оползней, вызванных проливными дождями и быстрым таянием больших объемов снежного покрова. Используя многолетний опыт наших трех национальных команд в поисково-спасательной робототехнике для ликвидации последствий стихийных бедствий, в рамках предлагаемого проекта будет разработана роботизированная ИС сбора данных для эффективного управления чрезвычайными ситуациями в зоне стихийных бедствий. Основной целью проекта является разработка и апробация прототипа ИС, которая затем может стать международным стандартом при ликвидации как национальных, так и международных стихийных бедствий.
ИС будет осуществлять сбор данных при помощи распределенных гетерогенных групп робототехнических комплексов, включающих различные типы беспилотных летательных аппаратов (БЛА), беспилотных наземных роботов (БНР), автономных безэкипажных кораблей (БЭК) и автономных необитаемых подводных аппаратов (АНПА). Отдельные карты, построенные распределенными группами роботов, будут объединены в единую многослойную тематическую карту зоны бедствия, которая поможет поисково-спасательным группам ускорить процессы эвакуации выживших, позволит оценить уровень опасности дальнейшего разрушения зданий и загрязнения окружающей среды, что в свою очередь значительно повысит шансы спасения выживших и увеличит безопасность спасателей во время поисковых работ.
Разрабатываемые в рамках проекта новые стратегии управления, интерфейсы, протоколы, модели роботов, алгоритмы и программное обеспечение будут тестироваться как при помощи моделирования, так и в рамках полевых экспериментов. Для демонстрации эффективности ИС, разрабатываемой в рамках проекта, ее апробация будет проводиться в сотрудничестве с местными органами власти каждой из трех стран. В результате проекта будет усовершенствовано понимание механизмов, связанных с технологически обоснованным принятием решений для эффективного управления чрезвычайными ситуациями. Разработка и внедрение роботизированных инструментов нового поколения для борьбы со стихийными бедствиями, остро востребованных международными и национальными агентствами по чрезвычайным ситуациям, внесут огромный вклад в научное, технологическое и промышленное развитие общества.
Научная новизна исследования, заявленного в Проекте:
В рамках проекта будет разработан и апробирован уникальный прототип не имеющей аналогов роботизированной информационной системы (ИС) управления процессом ликвидации последствий стихийных бедствий.
Нашими международными коллективами будет разработана новая рабочая платформа и новые стратегии управления совместным поведением гетерогенных роботов при выполнении задач сбора информации, мониторинга и картографирования крупномасштабных зон стихийного бедствия, включающей в себя наземные, подводные и воздушные области, подверженные стихийным бедствиям, в частности наводнениям и оползням, вызванными проливными дождями. Новые стратегии управления, новые интерфейсы, новые протоколы взаимодействия и обмена данными между гетерогенными роботами будут протестированы в моделировании и верифицированы в рамках полевых экспериментов.
На более низком уровне иерархии проекта мы планируем разработку новых алгоритмов одновременной локализации и построения карты (SLAM) для гетерогенной группы роботов в условиях стихийного бедствия, новых алгоритмов планирования маршрута для эффективного покрытия площадей в неструктурированной среде после стихийного бедствия и новых алгоритмов автономного возвращения роботов при потере связи. Более того, мы ожидаем, что наше совместное исследование роботизированных систем, работающих в условиях оползней, в перспективе приведет к созданию нового класса мобильных транспортных средств с использованием новых принципов управления. Также как разработка макросимуляторов (находящихся в зоне ответственности японской команды) на основе ГИС и графического пользовательского интерфейса может создать условия для нового направления в области виртуальной реальности, занимающегося моделированием чрезвычайных ситуаций. В случае успешного выполнения проекта, при помощи новых научно-практических решений, будет усовершенствовано понимание механизмов, участвующих в технологически обоснованных решениях для эффективного управления чрезвычайными ситуациями в международном масштабе.
За период первого этапа (2019-2020 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Был разработан протокол обмена данными, включающий в себя мотивацию разработки протокола обмена данными в условиях поисково-спасательной операции, условия поисково-спасательной операции. Данный протокол был представлен группами ученых из Японии и Таиланда. Протокол базируется на анализе и систематизации условий, в которых он должен использоваться, и требований, которые к нему выдвигаются. Требования к протоколу мотивированы условиями, в которых он должен быть применим: они включают в себя и технические требования, и соображения применимости на практике большим количеством специалистов из разных стран. Большое внимание уделяется избеганию ошибок, допущенных в сходных проектах, и обеспечению простоты имплементации на большом количестве роботов с разным аппаратным и программным обеспечением.
Данный протокол является универсальным, и планируется к внедрению в Японской и Тайландской командах исследователей.
2. Мобильные робототехнические комплексы (РТК) лаборатории были реализованы в среде ROS\Gazebo:
Данные роботы были впервые реализованы в среде моделирования ROS\Gazebo.
3. Было разработано программное обеспечение для генерации сред и загрязнений (микросимулятор №1). Данное ПО было протестировано согласно разработанным методикам тестирования на реализованных в среде моделирования РТК. Разработка велась на языке программирования С++ в операционной системе Ubuntu 16, основанной на ядре Linux. В его функционал входят:
Микросимулятор является модульным программным обеспечением, в который можно добавлять новый функционал. Его код задокументирован и открыт для использования.
Данное ПО является оригинальным и не имеет аналогов.
4. Было разработано программное обеспечение для моделирования ошибок и сбоев датчиков (микросимулятор №2). Данное ПО было интегрировано в микросимулятор №1 и протестировано согласно разработанным методикам тестирования на реализованных в среде моделирования РТК.
Разработка велась на языке программирования С++ в операционной системе Ubuntu 16, основанной на ядре Linux. В его функционал входят:
Данное ПО является оригинальным и не имеет аналогов.
5. Было подобрано и приобретено специальное оборудование и комплектующие. Помимо этого, национальная команда России провела пуско-наладочные работы и пилотные испытания оборудования в тех случаях, когда они были необходимы.
6. Были подведены итоги работы за 2019 год. Публикации, собранные в рамках отчета по гранту за 1 год, сотрудничество с зарубежными партнерами, а также научные мероприятия, направленные на освещение и популяризацию промежуточных результатов проекта, были проанализированы.
За период второго этапа (2020-2021 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Российской командой проекта был доработан и протестирован многофункциональный микросимулятор, моделирующий зону чрезвычайных бедствий, и позволяющий тестировать различные алгоритмы автономной и полуавтономной работы как отдельных мобильных роботов, так и гетерогенных групп мобильных роботов. По мере появления принципиально нового функционала в ходе постепенно развития микросимулятора, ему присваивался новый порядковый номер. Так, в конце первого этапа нами был представлен базовый микросимулятор №2, а к концу второго этапа – завершена разработка финальной версии микросимулятора - микросимулятор №5.
2. Был проведен сравнительный анализ в виртуальной среде Gazebo внутри трех групп существующих на сегодняшний день алгоритмов одновременной локализации и картографирования (англ. «simultaneous localization and mapping», SLAM):
Все рассмотренные методы были представлены исследователями после 2015 года и являются в настоящее время активно развиваемыми, а подобного сравнения данных методов с использованием качественных и количественных характеристик алгоритмов ранее не проводились. Российской командой был разработан и реализован новый алгоритм одновременной локализации и картографирования MultiCam-SLAM, основанный на комплексировании данных с трех бортовых камер робота. Разработанный алгоритм был протестирован в среде Gazebo и в ходе сравнительного анализа показал более высокую точность работы относительно оригинального алгоритма ORB-SLAM2. Все протестированные сторонние алгоритмы и новый собственный алгоритм были имплементированы в микросимуляторе №3 в виде дополнительных вкладок, обеспечивающих подключение любого из перечисленных алгоритмов к любому из роботов, добавленных в симуляции (Рис. 3). Разработанная архитектура микросимулятора №3 с новым функционалом представляет из себя новый подход к симуляции и ранее не разрабатывалась другими научными коллективами. При тестировании микросимулятора №3 по заранее подготовленным методикам и программам экспериментов были использованы модели роботов Hector-Quadrotor (БЛА), Husky (БНР), Jackal (БНР), Turtlebot3 (БНР).
Рисунок 3. Результат выполнения коллаборативного SLAM алгоритма двумя мобильными роботами
3. Разработанные на первом этапе Проекта протоколы обмена данными между гетерогенными роботами внутри одной команды, а также протоколы обмена данными между разными командами роботов (в коллаборации с зарубежными партнерами Проекта) были имплементированы в микросимулятор №3 в качестве дополнительной вкладки. Протокол был протестирован в микросимуляторе №3 с использованием готовых моделей роботов, на реальных роботах в задаче взаимодействия отечественного гусеничного робота «Сервосила Инженер» и робота Tiago Base (PMB-2) испанского производства (Рис. 4) и на реальных роботах в задаче обмена данными между разными группами роботов, сформированных из робота PMB-2 и нескольких самодельных робототехнических устройств на платформе Artik10. Тестирование экспериментально подтвердило возможности протокола по обеспечению кооперированной работы гетерогенной группы роботов в задаче планирования пути и в задаче одновременной локализации и картографирования SLAM.
Рисунок 4. Роботы PMB-2 (слева) и «Сервосила» Инженер» (справа) в эксперименте по апробации протокола взаимодействия
4. Был разработан алгоритм обнаружения разрыва связи и автономного возвращения мобильного робота в случае сбоя систем связи с учетом возможных изменений окружающей среды. Алгоритм был добавлен в микросимулятор №4 и протестирован на роботах различной конструкции в разнообразных средах, созданных в симуляторе Gazebo. Также алгоритм был протестирован на реальных мобильных роботах PMB-2 и «Сервосила Инженер»; алгоритм может быть применен для большинства мобильных роботов с различным типом управления и позволит уменьшить вероятность потери дорогостоящего оборудования. Для проведения тестирования на реальных робототехнических устройствах, в них были интегрированы дополнительные датчики и оборудование. При этом были решены возникшие программного-аппаратные задачи.
5. Между руководителями и сотрудниками национальных исследовательских групп было организовано плотное взаимодействие, которое в связи с неблагополучной эпидемиологической обстановкой проходило в онлайн формате в виде постоянных совещаний и рабочих встреч в ПО Zoom (Рис. 5), и совместного участия в ряде конференций. 19 марта 2020 г. было подписано четырехстороннее международное соглашение о научном сотрудничестве между Университетом Рицумейкан (Япония), Киотским Университетом (Япония), Казанским федеральным университетом и Университетом Махидол (Таиланд), которое позволит расширить дальнейшее сотрудничество в том числе и вне рамок проекта. Организация совместных секций на международных конференциях «Developments in eSystems Engineering 2020» и «Siberian Conference on Control and Communications 2021» помогла привлечь дополнительный интерес к промежуточным результатам проекта. Руководители всех трех команды вошли в состав организационных, программных и технических комитетов ряда международных конференций (ICAROB-2020 и ICAROB-2021, DeSE-2020, DARS-2021 и SWARM-2021, SIBCON-2021 и др.), что позволило укрепить их позиции и международное признание в научной среде. За второй этап российской командой было опубликовано 17 научных статей (15 в изданиях с индексацией в БД Scopus, 1 - в БД РИНЦ), из которых 10 - в соавторстве с зарубежными командами Проекта.
Рисунок 5. Руководители и ключевые сотрудники национальных команд во время онлайн совещания в ПО Zoom, 12 марта 2021 г.
Важным научным результатом второго этапа Проекта является формулировка критериев оценки качества маршрута для оптимизации алгоритмов планирования маршрута одиночными роботами и роботами, действующими в группе. На основе проведенного обзора алгоритмов планирования пути для оптимального покрытия карты одним роботом и группой роботов, с использованием двумерных (лидар) и трехмерных (камеры) данных, был разработан новый метод планирования целей для роботов, решающий задачу оптимального покрытия карты. Финальный Микросимулятор №5 с интегрированными в него алгоритмами (Рис. 6) служит основой взаимодействия с научными группами Японии и Тайланда, а также позволил опубликовать ряд научных статей в журналах и сборниках трудов конференций.
Рисунок 6. Созданная в Микросимуляторе №5 среда, имитирующая зону ЧС
За период третьего этапа (2021-2022 гг.) были получены следующие результаты, направленные на реализацию Проекта:
1. Российской национальной командой была проведена тщательная работа по улучшению системы дистанционного управления для полуавтономного телеуправляемого робота «Сервосила Инженер» и для полуавтономного телеуправляемого БЛА PX. Для робота «Сервосила Инженер» был разработан новый концепт графического интерфейса по причине реализации некоторых алгоритмов (работа с сенсорами и навигация) с помощью робототехнической операционной системы (ROS), в то время как управление роботом осуществляется без использования ROS, что затрудняет систему управления и создает сложности в работе алгоритмов. Концепция была расширена путем модернизации вкладок, при помощи которых возможно контролировать мобильность робота, движения манипулятора, имеющегося на базе робота, автономное движение с опорой на данные, поступающие с лазерного дальномера, настройку скорости движения сочленений. Разработанный графический интерфейс для БЛА написан на C++\Qt Framework и предназначен для управления квадрокоптерами с помощью ROS. Он показывает данные о компасе, высоте, высоте, крене, углах тангажа. Обе разработанные системы графических интерфейсов были успешно протестированы в соответствии с разработанными российской командой методиками.
2. Участниками российской команды была проведена разработка и имплементация алгоритмов комплексирования тематических карт национальных команд в единую модель зоны бедствия в микросимуляторе №5. В рамках данной задачи была смоделирована комплексная 3Д-модель города Шанхай, Китай. На полученной 3Д-карте зоны бедствия расположены радиационное и химическое загрязнения, представляющие собой опасные участки местности.
Рисунок 7. Среда «Шанхай» с радиационным загрязнением в симуляторе Gazebo
3. Была проведена имплементация протоколов связи между микросимулятором №5 и макросимулятором, разработанного японской командой и представляющего собой моделирование поведения воды при наводнении. Разработки японской команды включают в себя 3D-модель водного пространства и формулы, описывающие процесс симуляции волн при наводнении и уравнения подъема воды. Разработанный прототип наработок японской команды был интегрирован в микросимулятор №5.
Рисунок 8. Пример симуляции воды в состоянии слабого волнения в среде ROS/Gazebo
Также российской группой была осуществлена разработка и имплементация алгоритмов комплексирования тематических карт национальных команд в единую модель зоны бедствия в виде городского круга Манхэттен (г. Нью-Йорк) в среде ROS для реальных робототехнических комплексов (Рис. 9). В качестве роботов были использованы Warthog, Hector Quadrotor, Jackal, Husky.
Рисунок 9. Виртуальная модель округа Манхэттен в симуляторе Gazebo
4. Был разработан и интегрирован в систему управления мобильных роботов Tiago Base и "Сервосила Инженер" программный модуль автономного возвращения, позволяющий вернуть робота на его начальную позицию, с которой он начал свое движение. Это может быть необходимым в случаях обрыва связи на некоторый временной промежуток или полной потери связи между роботом и оператором (режим удаленного управления робота).
5. В связи с эпидемией коронавируса и рекомендациями Роспотребнадзора по ограничению посещения зарубежных стран между руководителями и участниками национальных исследовательских групп было установлено плодотворное сотрудничество в дистанционном формате. Серия рабочих встреч, проводимых каждые три месяца, позволила участникам демонстрировать текущие промежуточные результаты, проводимые в рамках текущего Проекта. Научные разработки были также представлены на международных и российских научных конференциях. Были подготовлены публикации, подготовленные совместно с руководителями и сотрудниками иностранных национальных групп. За третий этап российской командой было опубликовано 16 научных статей (14 в изданиях с индексацией в БД Scopus, 2 - в БД РИНЦ), из которых 13 было подготовлено и опубликовано в соавторстве с зарубежными командами Проекта.
