Автономная калибровка бортовых камер робототехнической системы с использованием координатных меток
Номер государственного контракта по гранту: 18-58-45017
Полное название проекта: "Автономная калибровка бортовых камер робототехнической системы с использованием координатных меток, нанесенных на поверхность робота".
Руководитель проекта: профессор Магид Евгений Аркадьевич
Надежность и отказоустойчивость сложных робототехнических систем (РТС) напрямую связана с надежной работой бортовых датчиков РТС, которые требуют периодической калибровки в рамках типового технического обслуживания. Калибровкой измерительных приборов называется установление зависимости между показаниями прибора и размером измеряемой входной величины. Стандартный набор бортовых датчиков РТС может существенно варьироваться в зависимости от конкретных типов и целевых задач РТС, но в подавляющем большинстве случаев в состав набора включено не менее одного оптического датчика, которые, в свою очередь, по типу устройства оптические датчики делятся на моноблочные (например, камеры) и двухблочные (состоящие из источника излучения и приёмника). В настоящее время именно камеры являются самым распространенным оптическим датчиком, используемым в робототехнике.
Под калибровкой моноблочного оптического датчика типа «камера» понимается процесс определения и настройки внешних и внутренних параметров камеры, в результате чего эталонная величина оптических сигналов на входе будет согласована, с учётом оговоренной точности, с показаниями выходной величины. Калибровка бортовых камер роботов является обязательной процедурой для возможности использования РТС алгоритмов компьютерного зрения, успешного комплексирования и последующей обработки информации, которые, в свою очередь, являются ключевыми элементами для решения основополагающих задач автономного управления РТС.
В настоящее время процедура калибровка камер РТС проводится сервисными инженерами в лабораторных условиях с использованием классического метода «шахматной доски». Однако, в результате эксплуатации РТС, особенно при работе в неблагоприятных условиях, со временем происходят изменения этих параметров, например, под воздействием механических сил. Подобные изменения вызывают необходимость проведения повторной диагностики технического состояния РТС и, соответственно, повторной калибровки камер, что затруднительно в полевых условиях. Для проведения такой калибровки, помимо классического метода «шахматной доски», в последнее время становятся все более популярными другие, менее традиционные методы калибровки с использованием координатных меток - например, таких как AprilTag. Тем не менее, на сегодняшний день работы по автономной калибровке всех типов роботов при помощи альтернативных (нетрадиционных) методов находятся фактически в зачаточном состоянии как в России, так и за рубежом.
Наш проект нацелен на развитие альтернативных методов калибровки при помощи координатных меток для осуществления автономной калибровки РТС в полевых условиях. Метки размещаются на поверхности конструктивных составляющих РТС, а сама процедура калибровки автоматизируется. Таким образом, будут устранены негативные воздействия человеческого фактора при стандартной, неавтоматизированной (то есть, приводимой вручную) процедуре калибровки и необходимость внешнего оборудования.
Ключевые задачи, которые были решены в рамках проекта в целях повышения надежности и отказоустойчивости РТС, заключаются в разработке системы математических расчетов и методики экспериментов для анализа и многопараметрической оценки выбора оптимальной координатной метки для калибровки камер мобильной РТС, в разработке методики и системы расчета оптимального расположения метки на поверхности РТС для дальнейшей возможности осуществления автономной калибровки. Таким образом, используемые в неблагоприятных условиях РТС получат способность самостоятельной корректировки параметров бортовых оптических датчиков, что увеличит точность анализа и распознавания изображений, в свою очередь являющуюся критически важной не только для точности манипуляций и передвижений, но и для надежности и отказоустойчивости РТС в целом.
За период первого этапа (2018 г.) были получены следующие результаты, направленные на реализацию Проекта:
За период второго этапа (2019 г.) были получены следующие результаты, направленные на реализацию Проекта:
Мобильный робот «Сервосила Инженер»
На первом и втором этапах Проекта было принято участие в научных мероприятиях с целью популяризации результатов исследований:
С целью освещения и популяризации промежуточных результатов проекта, выполняемых в рамках гранта по Договору № 18-58-45017/18 по теме: «Автономная калибровка бортовых камер робототехнической системы с использованием координатных меток, нанесенных на поверхность робота», сотрудники исследовательской группы приняли участие в ряде мероприятий, включая выступления с докладом на международных конференциях.
Первый этап Проекта:
1. Научный доклад представлен на V Всероссийском научно-практическом семинаре «Беспилотные транспортные средства с элементами искусственного интеллекта», БТС-ИИ-2019. В 2019-м году семинар был организован Российской ассоциацией искусственного интеллекта (РАИИ) совместно с Санкт-Петербургским институтом информатики и автоматизации Российской академии наук (СПИИРАН).
Профессор Евгений Магид выступил с докладом на тему: «Пилотные виртуальные эксперименты по сравнению систем координатных меток Aruco и AprilTag на устойчивость к вращению». Авторы: А.А. Закиев, К.С. Шабалина, Т.Г. Цой, Е.А. Магид.
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/uchastie-lirs-v-v-vserossijskom-nauchno-367280.html
Ссылка на конференцию: http://2019.ai-uv.ru/
2. С 17 по 20 апреля 2019 г. в г. Курск, Россия, прошла XIV международная конференция по электромеханике и робототехнике "Завалишинские чтения. Конференция в 2019г. проводилась совместно с XIII Международной научно-технической конференцией "ВИБРАЦИЯ-2019. Вибрационные технологии, мехатроника и управляемые машины" в Юго-Западном государственном университете.
Профессор Евгений Магид представил статью: «Сравнение виртуальных экспериментов систем ArUco и ArTag на устойчивость к ротации координатной метки» (Virtual Experiments on ArUco and ArTag Systems Comparison for Fiducial Marker Rotation Resistance). Авторы: Ауфар Закиев, Ксения Шабалина, Татьяна Цой, Евгений Магид.
Ссылка на сборник трудов: https://www.springer.com/gp/book/9789811392665
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/predstavlenie-dokladov-lirs-na-xiv-mezhdunarodnoj_366043.html
Ссылка на конференцию: http://confs.guap.ru/zav-read
3. С 10 по 13 января 2019 в японском городе Беппу (префектура Оита) проходила ежегодная конференция по искусственной жизни и робототехнике (International Conference on Artificial Life and Robotics, ICAROB 2019).
Профессор Евгений Магид представил доклад на тему: «Пилотные виртуальные эксперименты по сравнению систем координатных меток ArUco и AprilTag на устойчивость распознания при вращении». (“Pilot Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance”). Авторы: Ауфар Закиев, Ксения Шабалина, Куо-Лань Су, Куо-Хсиень Хсиа, Евгений Магид.
Ссылка на сборник трудов: http://alife-robotics.co.jp
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/lirs-predstavila-rezultaty-nauchnoj-raboty-na.html
Ссылка на конференцию: http://alife-robotics.co.jp/
4. Со 2-го по 5-е сентября в Кембридже (Великобритания) проходила11-ая международная конференция по разработкам в области инжиниринга электронных систем (Developments in e-Systems engineering”, DeSE2018) Института инженеров электротехники и электроники (Institute of Electrical and Electronics Engineers, IEEE). IEEE является мировым лидером в области разработки стандартов по электротехнике и аппаратному обеспечению вычислительных систем и сетей.
Наряду с другими докладами профессор Евгений Магид выступил с докладом на тему: «Реализация видео-сервера реального времени для мобильного робота» (Real-time Video Server Implementation for a Mobile Robot). Авторы: Магид Е., Лавренов Р., Цой Т., Свинин М., Сафин Р.
Ссылка на сборник трудов: https://ieeexplore.ieee.org/xpl/conhome/8638647/proceeding
Ссылка на новость: https://media.kpfu.ru/news/uchenye-kfu-vystupili-s-dokladami-na-mezhdunarodnoy-ezhegodnoy-konferencii-dese-v-kembridzhe
Ссылка на конференцию: https://dese.org.uk/city-of-cambridge/
5. С 18 по 22 сентября в Лейпциге (Германия) совместно проходили 20-ая Международная конференция по речи и компьютерам 2018 (International Conference on Speech and Computer, SPECOM 2018) и 3-я конференция по интерактивной и коллаборативной робототехнике (International Conference on Interactive Collaborative Robotics, ICR 2018).
Профессор Евгений Магид представил доклад на тему: «Сравнение эффективности координатных меток для задачи самодиагностики манипуляторов антропоморфного робота: пилотное экспериментальное исследование» (“Comparing Fiducial Markers Performance for a Task of a Humanoid Robot Self-Calibration of Manipulators: a Pilot Experimental Study”). Авторы: Шабалина К., Сагитов А., Свинин М., Магид Е.
Ссылка на сборник трудов: https://www.springer.com/gp/book/9783319995816
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/komanda-lirs-predstavila-rezultaty-svoih-342379.html
Ссылка на конференцию: http://specom.nw.ru/icr2019/
6. Научный доклад представлен на 2018 Международной научно-практической конференции Прогресс транспортных средств и систем.
Профессор Евгений Магид выступил с секционным научным докладом на тему:
«Калибровка дефектной стереопары мобильного робота с использованием типовых шаблонов»
Авторы: Сафин Р.Н., Лавренов Р.О., Магид Е.А.
Ссылка на сборник трудов: https://istina.msu.ru/collections/163112997/
Второй (Итоговый) этап Проекта:
1. С 7 по 10 октября 2019 года в Высшей школе Информационных технологий и интеллектуальных систем (ИТИС) КФУ прошла 12-я Международная конференция IEEE Developments in e-Systems Engineering (DeSE), организованная совместно Liverpool John Moores University, IEEE, Высшей школой ИТИС и Набережночелнинским институтом КФУ.
Сотрудник ЛИРС Ауфар Закиев представил статью по теме Проекта: «Проверка систем координатных меток с помощью встроенной камеры мобильного робота Сервосила "Инженер" в лабораторных условиях» (Validation of Fiducial Marker Systems Performance with Rescue Robot Servosila Engineer Onboard Camera in Laboratory Environment). Авторы: Татьяна Цой, Ауфар Закиев. Ксения Шабалина, Рамиль Сафин, Евгений Магид, Субир Кумар Саха.
Старший сотрудник ЛИРС Роман Лавренов представил доклад на тему: «Рисование лица с помощью шести осевого робота-манипулятора KUKA». (Face drawing by KUKA 6 axis robot manipulator). Авторы: Максим Пичкалев, Роман Лавренов, Рамиль Сафин, Куо-Хсьен Хсиа.
Ссылка на сборник трудов: https://ieeexplore.ieee.org/xpl/conhome/9058621/proceeding
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/v-vysshej-shkole-informacionnyh-tehnologij-i_378780.html
Новости КФУ: https://media.kpfu.ru/news/v-kfu-prokhodit-12-ya-mezhdunarodnaya-konferenciya-ieee-developments-e-systems-engineering
Ссылка на конференцию: https://dese.org.uk/developments-in-esystems-engineering-2019/
2. С 10 по 13 января 2019 в японском городе Беппу (префектура Оита) проходила ежегодная конференция по искусственной жизни и робототехнике (International Conference on Artificial Life and Robotics, ICAROB 2019). Профессор Евгений Магид представил доклад на тему: «Перенос изученных стратегий исследования мобильного робота из виртуальной среды в реальную». (Transfer of learned exploration strategies for a mobile robot from a simulated world to real environments). Авторы: Артур Сагитов, Тетсуто Такано, Шохей Муто, Евгений Магид.
Ссылка на сборник трудов: http://alife-robotics.co.jp/
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/lirs-predstavila-rezultaty-nauchnoj-raboty-na.html
Ссылка на конференцию: http://alife-robotics.co.jp/
3. В 2019 году сотрудниками ЛИРС был представлен доклад на XIV Всероссийской научно-практической конференции «Перспективные системы и задачи управления» на тему: «Разработка системы оптимальной передачи видеоданных с камер мобильного робота “Сервосила Инженер”».
Ссылка на сборник трудов: https://yadi.sk/i/qMcrJCkEzd3X9Q
Ссылка на конференцию: http://www.psct.ru/
4. С 15 по 18 апреля 2020 г. в Санкт-Петербургском государственном университете аэрокосмического приборостроения проходила XV международная конференция по электромеханике и робототехнике «Завалишинские чтения 2020» совместно с XIV международной научно-технической конференцией «ВИБРАЦИЯ-2020 Вибрационные технологии, мехатроника и управляемые машины» в Уфимском государственном нефтяном техническом университете». В 2020 году конференция проводилась в очном формате на платформе Leader-ID согласно Приказу Министерства науки и высшего образования Российской Федерации от 14 марта 2020 г. №398 в условиях сложившейся эпидемиологической ситуации в мире и на территории Российской Федерации в частности. Сотрудник и учащийся магистратуры Рамиль Сафин представил работу на тему: «Оценка визуальных методов SLAM в приложениях USAR в среде ROS / Gazebo» (Evaluation of visual SLAM methods in USAR applications using ROS/Gazebo simulation», Авторы: Safin R., Lavrenov R., Martinez-Garcia E.).
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/na-xv-mezhdunarodnoj-konferencii-po-388390.html
Ссылка на конференцию: http://confs.guap.ru/zav-read
5. С 19 по 24 июля в связи с эпидемиологической ситуацией в мире в онлайн режиме совместно проходили три основные конференции Сообщества по вычислительному интеллекту (IEEE World Сongress on Сomputational Intelligence WCCI 2020): Международная объединенная конференция по нейронным сетям 2020 года (International Joint Conference on Neural Networks, IJCNN 2020); Международная конференция IEEE по нечетким системам 2020 года (IEEE International Conference on Fuzzy Systems, FUZZ-IEEE 2020); и Конгресс IEEE 2020 года по эволюционным вычислениям (IEEE Congress on Evolutionary Computation, IEEE CEC 2020).
Сотрудник ЛИРС Ауфар Закиев представил доклад в одной из секций Международной объединенной конференции по нейронным сетям (IJCNN 2020) на тему: «Виртуальные эксперименты по сравнению систем ArUco и AprilTag для определения устойчивости вращения координатных меток при наличии шумовых сенсорных данных» (Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance under Noisy Sensory Data). Авторы: А. Закиев, Т. Цой, К. Шабалина, Е. Магид, С.К. Саха.
Ссылка на новость: https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/sotrudnik-lirs-vystupil-s-dokladom-na-vsemirnom.html
Ссылка на конференцию: https://wcci2020.org/
6. C 3 по 8 февраля в Национальном технологическом институте Каликут (National Institute of Technology Calicut, NITC, г. Кожикоде, Индия) прошел симпозиум по робототехнике, искусственному интеллекту и управлению (FDP on Robotics, Artificial Intelligence and Control, RAIAC-2020), организованный руководителем индийской команды Проекта профессором С.К.Саха при поддержке Индийского общества робототехники (Indian Robotics Society), Индо-корейской объединенной сети по робототехнике (Indo-Korean Joint Network for Robotics) и Индийского технологического института Дели (IITD). В рамках симпозиума руководитель российской команды Проекта профессор Е.А. Магид выступил с ключевыми лекциями «Взаимодействие робота и человека» и «Поисково-спасательная робототехника при землетрясениях, наводнениях и стихийных бедствиях». Промежуточные результаты Проекта были интегрированы в лекцию «Взаимодействие робота и человека».
Докладчик: Е.А.Магид
Тип доклада: ключевой доклад (лекция).
Ссылка на новость:
https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratori
i/uchastie-sotrudnikov-lirs-v-simpoziume-po-384400.html
Список научно-исследовательских статей, опубликованных в рамках работ по текущему проекту:
- Zakiev A., Shabalina K., Tsoy T., Magid E. Pilot Virtual Experiments on ArUco and ArTag Systems Comparison for Fiducial Marker Rotation Resistance // 14th International Conference on Electromechanics and Robotics "Zavalishin's Readings" (Kursk, Russia; 17-20 April 2019) - р. 455-464.
- Закиев А.А., Шабалина К.С., Цой Т.Г., Магид Е.А. Пилотные виртуальные эксперименты по сравнению систем координатных меток ArUcO и Apriltag по устойчивости к вращению. V Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2019), 2019, c. 211-220.
- Zakiev A., Shabalina K, Magid E. Pilot Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance. International Conference on Artificial Life and Robotics (ICAROB 2019), р. 132-135.
- Сафин Р.Н., Лавренов Р.О., Магид Е.А.КАЛИБРОВКА ДЕФЕКТНОЙ СТЕРЕОПАРЫ МОБИЛЬНОГО РОБОТА С ИСПОЛЬЗОВАНИЕМ ТИПОВЫХ ШАБЛОНОВ// Прогресс транспортных средств и систем, материалы международной научно-практической конференции, 2018, с. 166-167.
- Safin, R, Lavrenov, R, Martinez-Garcia, EA, Magid, E. ROS-based Multiple Cameras Video Streaming for a Teleoperation Interface of a Crawler Robot. JOURNAL OF ROBOTICS NETWORKING AND ARTIFICIAL LIFE, Vol. 5, Issue 3, р. 184-189.
- Magid Е., Lavrenov R., Tsoy Т., Svinin M., Safin R. Real-time Video Server Implementation for a Mobile Robot. DeSE 2018: The 11th International Conference on the Developments in eSystems Engineering. 201 , с. 180-185.
- Shabalina K., Sagitov A., Svinin M., Magid E. Comparing Fiducial Markers Performance for a Task of a Humanoid Robot Self-calibration of Manipulators: A Pilot Experimental Study. International Conference on Interactive Collaborative Robotics, Springer International Publishing, eBook ISBN 978-3-319-99582-3, DOI 10.1007/978-3-319-99582-3, р. 249-258.
- Tsoy T., Zakiev A., Shabalina K., Safin R., Magid E., Saha S.K. Validation of Fiducial Marker Systems Performance with Rescue Robot Servosila Engineer Onboard Camera in Laboratory Environment // The 12th International Conference on Developments in eSystems Engineering (Kazan, Russia; 7-10 October 2019) - p. 495-499.
- Pichkalev M., Lavrenov R., Safin R., Hsia K.-H. Face drawing by KUKA 6 axis robot manipulator // The 12th International Conference on Developments in eSystems Engineering (Kazan, Russia; 7-10 October 2019) - p. 709-714.
- Sagitov A., Takano T., Muto S., Magid E. Transfer of learned exploration strategies of a mobile robot from a simulated to real environments // International Conference on Artificial Life and Robotics (ICAROB 2019) (Oita, Japan; 10-12 January 2019) - p. 120-123.
- Сафин Р.Н., Цой Т.Г., Лавренов Р.О., Магид Е.А. Разработка системы оптимальной передачи видеоданных с камер мобильного робота Сервосила Инженер // XIV Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», с. 304-313.
- Safin R., Lavrenov R., Martinez-Garcia E. A. Evaluation of Visual SLAM Methods in USAR Applications Using ROS/Gazebo Simulation // Proceedings of the 15th International Conference on Electromechanics and Robotics «Zavalishin's Readings» (ER(ZR)-2020) (Ufa, Russia; 15-18 April 2020) – p 371-382.
- Zakiev A., Shabalina K., Magid E., Saha S.K. Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance under Noisy Sensory Data // Proceedings of the International Joint Conference on Neural Networks (IJCNN 2020) (Glasgow, Scotland; 19-24 July 2020) – in press.
, Магид Евгений Аркадьевич , Закиев Ауфар Азатович , Шабалина Ксения Сергеевна, Цой Татьяна Григорьевна , Лавренов Роман Олегович , Сагитов Артур Газизович