Для достижения цели нашего исследования, калибровки манипулятора антропоморфного робота с помощью встроенных камер и разработанного алгоритма автономной калибровки, первоочередной задачей является непосредственно калибровка бортовых камер робота. Исследование, сфокусировано на вопросах автономной калибровки камеры и определению необходимого для процесса калибровки инструментария и алгоритмов.

Работы были осуществлены при финансовой поддержке РФФИ и Правительства Республики Татарстан в рамках научного проекта № 17-48-160879

Руководитель проекта: Магид Евгений Аркадьевич

Антропоморфный робот AR-601M

Цель проекта:

Целью проекта является разработка фундаментальных методов автономной калибровки (т.е. самой калибровки робота без участия человека) суставов конечностей линейки антропоморфных роботов российского производства АR-600 с использованием встроенных в робота камер на основе передовых алгоритмов машинного зрения. В дальнейшем, разрабатываемые фундаментальные методы могут быть использованы для калибровки манипуляторов различных мобильных интеллектуальных робототехнических комплексов и систем, в том числе и промышленного, военного, специального и двойного назначения, а их программная реализация интегрирована в управляющие системы этих комплексов.

Методы и подходы, использованные в ходе реализации Проекта (описать, уделив особое внимание степени оригинальности и новизны):

По результатам анализа российской и зарубежной литературы по теме исследования как наиболее перспективное направление для решения поставленной задачи нами был выделен метод автономной калибровки моно- и стерео- камер с помощью систем координатных меток. Данная технология позволяет автоматически обнаруживать метки в кадре с помощью соответствующего индивидуального алгоритма распознавания. Координатные метки имеют широкий спектр применения и, вследствие вариативности возможностей технологии, могут быть эффективно использованы в одной области, но совершенно не подходить для другой. Существует ряд критериев оценки производительности этих систем, чтобы определить метку, подходящую под сценарий использования и условия работы с ней. В рамках исследования был выбран критерий устойчивости метки к перекрытиям (англ. Occlusion) различной интенсивности посторонними объектами. Данный критерий является критичным в предполагаемом сценарии использования метки при закреплении её на манипуляторе робота; вследствие этого метка может быть частично перекрыта другими частями робота и иметь различные углы поворота относительно камеры робота.
Из нескольких десятков рассмотренных систем координатных меток для сравнения были отобраны три системы: ARTag, AprilTag и CALTag.

Системы ARTag, AprilTag и CALTag (слева направо)

После проектирования дизайна экспериментов на исследование производительности меток в отношении перекрытия, мы провели пилотные эксперименты с помощью простой веб-камеры Genius FaceCam 1000X, за которыми последовали уже эксперименты с реальным роботом AR-601M. По результатам экспериментальной работы, были выявлены следующие свойства каждой из систем меток:

1. Система AprilTag показала высокую чувствительность к перекрытию границ метки. Перекрытие границ не позволяет детектировать края метки (англ. Edges), что приводит к невозможности дальнейшего распознавания метки. Однако, система показала удовлетворительные результаты при перекрытии её внутреннего рисунка.
2. Система ARTag также обладает чувствительностью к перекрытию границ метки. Эта система применима для ряда задач, в которых вероятность перекрытия метки сводится к минимуму и допускается только незначительное перекрытие внутреннего рисунка метки.
3. Система CALTag показала высокие результаты в ходе всех экспериментов. Эта система устойчива к любому исследованному типу перекрытия и может быть использована в условиях возможного частичного перекрытия метки и различных поворотах метки относительно камеры.

В результате проведенного исследования мы выбрали систему CALTag для дальнейших дополнительных исследований в целях оценки потенциала дальнейшей интеграции системы в систему управления робота AR-601M. Также планируется исследовать системы BlurTag и RuneTag в отношении перекрытия меток, так как авторы этих систем указывают на устойчивость к перекрытию и большим углам поворота метки относительно камеры, но отсутствуют документальные подтверждения из независимых источниках о качественных результатах экспериментальных работ по данным системам.

Важнейшие результаты, полученные в ходе реализации Проекта:

В результате проведенной экспериментальной работы наиболее подходящей меткой для калибровки камеры робота AR-601M из трех кандидатов (AprilTag, ARTag, CALTag) оказалась система CALTag. Выбранная система обладает высокой устойчивостью к различным типам вращения и перекрытия меток, что необходимо для выполнения задачи калибровки. Благодаря проделанной работе были не только актуализированы данные о выборе оптимальной системы координатных меток, но и разработана методика экспериментальной работы для оценки систем координатных меток, которая применима для любых типов координатных меток и камер стационарных и мобильных роботов.

Краткое назначение конечной продукции, технологии или услуг, которые будут производиться с применением полученных результатов:

Разработанные и апробированные нами модели дизайна экспериментов для оценки качества систем координатных меток представляют собой законченный продукт, который будет широко востребован в прикладных научных исследованиях, а также для решения задач по экспериментальному выбору оптимальных систем координатных меток для конкретных задач потребителя с конкретными моделями бортовых датчиков технического зрения робототехнических систем или отдельных камер. 
Полученные результаты исследования могут быть использованы в автономной калибровке манипуляторов робототехнических систем. 
Опубликованные и представленные на конференциях результаты вызвали большой интерес у научной общественности, так как наша работа стала первой работой, демонстрирующей систематический подход и методику экспериментального выбора оптимальной системы координатных меток, а также дающей конкретные рекомендации по применению меток.​

Участие в научных мероприятиях по тематике Проекта:

С целью освещения и популяризации промежуточных результатов проекта, выполняемых в рамках гранта по Договору №17-48-160879, сотрудники исследовательской группы приняли участие в ряде мероприятий, включая выступления на конференциях:

Профессор Евгений Магид принял участие в международной конференции International Conference on Informatics in Control, Automation and Robotics, ICINCO 2017 (26-28 июля 20107, Мадрид, Испания), где представил доклад по научной статье, подготовленной в рамках проекта №17-48-160879 на тему: ARTag, AprilTag and CALTag fiducial marker systems: Comparison in a presence of partial marker occlusion and rotation. Труды семинара индексируются в базе данных Web of Science и Scopus. 

 
XIV Международная конференция по информатике в управлении, автоматизации и робототехнике (14th International Conference on Informatics in Control, Automation and Robotics, ICINCO)

Профессор Евгений Магид принял участие в международной конференции International Conference Developments in eSystems Engineering, DESE 2017 (14-16 июня 2017, Париж, Франция), где представил доклад по научной статье, подготовленной в рамках проекта №17-48-160879 на тему: Comparing Fiducial Marker Systems Occlusion Resilience Through a Robot Eye. Труды семинара индексируются в базе данных Scopus.

10-ая международная конференция «Developments in eSystems Engineering»

Профессор Евгений Магид принял участие в международной конференции 12th International Scientific-Technical Conference on Electromechanics and Robotics "Zavalishin's Reading" (18 апреля 2017, Санкт-Петербург, Россия), где представил доклад по научной статье, подготовленной в рамках проекта №17-48-160879 на тему: Effects of rotation and systematic occlusion on fiducial marker recognition. Труды конференции индексируются в базе данных Scopus. 

Младший научный сотрудник Ксения Шабалина приняла участие в IV Всероссийском семинаре по беспилотным транспортным системам с элементами искусственного интеллекта (5-6 октября 2017, Казань), где представила доклад по научной статье, подготовленной в рамках проекта №17-48-160879 на тему: Cравнение систем координатных меток для калибровки камер мобильного робота в условиях перекрытий. Труды семинара индексируются в базе данных РИНЦ.

Библиографический список всех публикаций по Проекту:

1. A. Sagitov, K. Shabalina, E. Magid. ARTag, AprilTag and CALTag Fiducial Marker Systems: Comparison in a Presence of Partial Marker Occlusion and Rotation. International Conference on Informatics in Control, Automation and Robotics, pp.182-191, 2017.

2. K. Shabalina, A. Sagitov, E. Magid, "Comparing Fiducial Marker Systems Occlusion Resilience Through a Robot Eye." Int. Conf. Developments in eSystems Engineering, 2017.

3. A. Sagitov, K. Shabalina, L. Hongbing, E. Magid. "Effects of rotation and systematic occlusion on fiducial marker recognition." In MATEC Web of Conferences, vol. 113, p. 02006, 2017

4. К. Шабалина, А. Сагитов, Е. Магид. «Сравнение систем координатных меток для калибровки камер мобильного робота в условиях перекрытий» Беспилотные транспортные средства с элементами искусственного интеллекта, с. 65-75, 2017

5. K.Shabalina, A. Sagitov, H. Li, Edgar A. Martinez-Garcia, E. Magid. Virtual Experimental Stand for Automated Fiducial Marker Comparison in Gazebo Environment. The 2018 International Conference on Artificial ALife and Robotics (ICAROB 2018), pp. 411-414, 2018.

6. Р.Н. Сафин, Р.О. Лавренов, С.К. Саха, Е.А. Магид. Эксперименты по калибровке камер мобильного робота при наличии аппаратных дефектов в системе технического зрения. Научно-методический и информационный журнал Вестник НЦБЖД, 2018 (в печати)

7. К. Шабалина, Е. Магид, А. Сагитов. Виртуальный подход для проведения автоматизированных экспериментов сравнения систем координатных меток в среде GAZEBO. Научно-методический и информационный журнал Вестник НЦБЖД, 2018 
8. Е. Магид, А. Сагитов, К. Шабалина, Р. Лавренов, Л. Сабирова. Исследование методов автономной калибровки камеры антропоморфного робота AR-601M. Сборник докладов Научно-технической конференции по итогам совместного конкурса фундаментальных исследований РФФИ – РТ, с.173-177, 2017.