Разработка системы управления роботизированным лапароскопическим инструментом для автономного сшивания
Номер государственного контракта по гранту: № 18-48-160037
Руководитель проекта: Магид Евгений Аркадьевич
Согласно статистике Министерства здравоохранения, в России на сегодня существуют большой дефицит опытных специалистов, включая хирургов, который носит особенно катастрофический характер в удаленной сельской местности. Успешная разработка хирургических роботов позволит частично решить эту проблему и будет существенным шагом к автоматизации медицинских услуг, ведущим к персонализированной медицине будущего. Поэтому создание автоматизированных хирургических комплексов является одним из важнейших и перспективных направлений развития робототехники в области медицины в рамках перехода к высокотехнологичному здравоохранению.
Лапароскопическая (минимально инвазивная) хирургия по сравнению с открытой хирургией является более экономически эффективной и безопасной альтернативой, которая обеспечивает быстрое восстановление после операции, в разы сокращают частоту осложнений и минимизируют косметический дефект кожи. В то же время лапароскопическая хирургия имеет пространственные, моторные и гаптические ограничения, которые в конечном счете существенно ограничивают успешные действия хирурга его опытом и способностями выполнить операцию точно и эффективно. Хирурги работают с длинными жесткими хирургическими инструментами через троакары, которые ограничивают процедуры четырьмя степенями свободы. Для визуальной обратной связи хирурги ориентируются на двумерную эндоскопическую камеру с отсутствием информации о глубине. В результате эти проблемы вызывают сложности у недостаточно опытных хирургов при выполнении основных задач наложения швов, включая операции по связыванию узлов, сшиванию и рассечению тканей.
Цели и основные задачи Проекта:
Целью данного проекта является разработка алгоритмов и системы управления манипулятора хирургического комплекса, оснащенного лапароскопическим инструментом, для автономного сшивания тканей. Прототип хирургического комплекса создан на базе имеющегося у Казанского федерального университета робота KUKA LBR IIWA.
Основными задачами трехлетнего проекта являются:
Общий план работ на весь срок реализации Проекта:
2018
2019
2020
В рамках Проекта на первом этапе его выполнения мы успешно выполнили следующие задачи:
Рис. 1. Архитектрура симулятора
Рис. 2. Точки входа и выхода на ткани
В рамках Проекта на первом этапе был подготовлен ряд научных публикаций по результатам исследований, в том числе в соавторстве с ведущими австрийскими и китайскими специалистами:
1. Sagitov A. Automated open wound suturing: detection and planning algorithm. / Tsoy T., Li H., Magid E. // Journal of Robotics, Networking and Artificial Life. - 2018. - №5(2). - p. 144-148.
2. Сагитов А.Г., Цой Т.Г., Шабалина К.С., Лавренов Р.О., Магид Е.А. О виртуальном моделировании тканей и швов для хирургических роботов в среде Gazebo // Сборник трудов научно-технической конференции по итогам совместного конкурса фундаментальных исследований РФФИ - РТ (г. Казань; 22 ноября 2018 г.) - с. 302-306.
3. Sagitov A., Li H., Schiefermeier-Mach N., Magid E. Extending Gazebo simulator for surgical robotics: tissue and suture modeling // International Conference on Artificial Life and Robotics (ICAROB 2019) (Oita, Japan; 10-12 January 2019) - p. 124-127.
4. Khabibrakhmanov B., Sagitov A., Magid E. Autonomous robotic palpation of soft tissue using kuka iiwa robot. Fundamental Science and Emergent Technologies for the Sustainable Development in XXI Century Workshop.
Было принято участие в научных мероприятиях с целью популяризации результатов исследований:
1. Профессор Евгений Магид выступил на мероприятии конкурса по созданию поисково-спасательных технологий нового поколения "Одиссея" (Рис. 3). В рамках конкурса в течение месяца в крупных городах России проходит публичная программа: открытые лекции экспертов о российском рынке поисково-спасательных технологий и о том, как новейшие разработки могут решить социальные проблемы. Евгений Магид выступил спикером на мероприятии, посвящённом технологическому конкурсу по созданию поисково-спасательных технологий нового поколения от Благотворительного фонда «Система», где в числе тем, связанных с роботизацией поисково-спасательных операций и оказанием помощи пострадавшим, затронул тему разработки системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей, рассказав об актуальности и новизне данного проекта.
Рис. 3. Мероприятие, посвященное конкурсу по созданию поисково-спасательных технологий нового поколения "Одиссея"
2. С 17 по 18 сентября на базе КФУ проходил совместный с Канадзавским Университетом (Япония) симпозиум «Фундаментальная наука и новейшие технологии для устойчивого развития в XXI веке» (англ. «Fundamental Science and Emergent Technologies for the Sustainable Development in XXI Century»). Сотрудник Лаборатории интеллектуальных робототехнических систем (ЛИРС) Высшей Школы ИТИС Артур Сагитов успешно выступил с презентацией на тему «Обнаружение и планирование открытого наложения швов в среде Gazebo». Авторы: А. Сагитов, Е. Магид. На постерной сессии студентами магистратуры «Интеллектуальная робототехника» Высшей школы ИТИС был представлен доклад в области медицинской интеллектуальной робототехники (Рис. 4) на тему «Автономная роботизированная пальпация мягких тканей с использованием робота KUKA iiwa» (англ.«Autonomous robotic palpation of soft tissue using KUKA iiwa robot»). Авторы: Б. Хабибрахманов, А. Сагитов, Е. Магид.
Рис. 4. Совместный симпозиум КФУ и Канадзавского Университета «Фундаментальная наука и новейшие технологии для устойчивого развития в XXI веке»
3. 22 ноября 2018 года в Академии Наук РТ состоялась научно-техническая конференция по итогам совместного конкурса фундаментальных исследований РФФИ – РТ в 2018 г. (Рис. 5). В конференции принимали участие организаторы и участники региональных конкурсов РФФИ. В конференции активное участие принял ключевой исполнитель нашего проекта № 18-48-160037 «Разработка системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей» Артур Сагитов.
Рис. 5. Научно-техническая конференция в Академии наук РТ
В рамках Проекта на втором этапе его выполнения мы успешно выполнили следующие задачи:
1) Разработаны теоретические модели мягких тканей.
2) Разработана программная имплементация модулей модели мягких тканей в среде ROS/Gazebo.
3) Выполнена программная имплементация двух пилотных моделей хирургических инструментов для манипулятора в среде ROS/Gazebo в соответствии с разработанными в первый год проекта требованиями.
4) Выполнена программная имплементация стереокамеры и силомоментного датчика для хирургического инструмента для манипулятора в среде ROS/Gazebo.
5) Выполнена интеграция моделей манипулятора и хирургических инструментов (Рис. 6, 7).
Рис. 6. Модель скальпеля
Рис. 7. Экспериментальная модель щипцов
7) Разработана программная имплементация симулятора манипулятора в среде ROS/Gazebo (Рис. 8).
Рис. 8. Тестирование работы скальпеля на мягком теле
8) Разработаны пилотные программы и методики тестирования имплементации симулятора манипулятора.
9) Подготовлены и опубликованы 3 научные публикации по результатам исследований: 1 публикация, индексируемая в БД Scopus и Web of Science; 2 публикации, индексируемые только в БД Web of Science.
Разработанные в Этапе II проекта модели хирургического манипулятора, инструмента и мягких тканей в среде ROS/Gazebo также могут быть использованы для интеграции в существующие системы роботизированной хирургии и для разработки на ее основе новых портативных хирургических роботов, в том числе для работы в полевых условиях. В свою очередь, пилотные программы и методики тестирования (Приложение А), после небольших адаптаций, могут быть также использованы для верификации работы других систем управления хирургических или диагностических комплексов.
Моделирование и апробация теоретических результатов осуществлялись в среде ROS и симуляторе Gazebo с применением разработанной пилотной программы тестирования. Создана основа программного комплекса системы управления хирургического манипулятора, которая затем будет перенесена из симулятора Gazebo на аппаратный комплекс KUKA LBR IIWA.
В рамках второго этапа Проекта был подготовлен ряд научных публикаций по результатам исследований:
1. Sagitov A., Li H., Schiefermeier-Mach N., Magid E. Extending Gazebo simulator for surgical robotics: tissue and suture modeling // International Conference on Artificial Life and Robotics (ICAROB 2019) (Oita, Japan; 10-12 January 2019) - p. 124-127.
2. Sagitov A., Gavrilova L., Tsoy T., Li H. Design of simple one-arm surgical robot for minimally invasive surgery // The 12th International Conference on Developments in eSystems Engineering (Kazan, Russia; 7-10 October 2019) - p. 500-503.
3. Shafikov A., Sagitov A., Li H., Schiefermeier-Mach N., Magid E. Robotic Palpation Modeling for KUKA LBR IIWA Using Gazebo Simulator // International Conference on Artificial Life and Robotics (ICAROB 2020) (Oita, Japan; 13-16 January 2020) - p. 436-439.
На втором этапе Проекта было принято участие в научных мероприятиях с целью популяризации результатов исследований:
1. Профессор Евгений Магид выступил на Международной конференции ICAROB 2019 (International Conference on Artificial Life and Robotics), которая проходила 10-13 января 2019 в г. Беппу (префектура Оита), Япония. Профессор выступил в роли модератора научной секции OS4 «Сервисная робототехника» («Service Robotics») и постерной секции GS4, где представил 7 научных работ, среди которых научная статья по тематике данного проекта: «Расширение использования симулятора Gazebo для роботизированной хирургии: моделирование тканей и швов». («Extending Gazebo simulator for surgical robotics: tissue and suture modeling»). Авторы: А. Сагитов, Х. Ли, Е. Магид.
1) Читать о выступлении профессора Магида в Медиа КФУ здесь
2) На портале Robogeek.ru — здесь
3) На странице ЛИРС КФУ — здесь
Рис. 9. Выступление Евгения Магида на Международной конференции ICAROB 2019
2. 04 февраля 2019 г. сотрудники и студенты кафедры интеллектуальной робототехники Высшей школы ИТИС представили доклады на Итоговой научной конференции Высшей школы ИТИС 2019 в рамках секции «Искусственный интеллект, Интернет вещей, робототехника». Доклады осветили актуальные темы и являлись результатами научных исследований. Так, одним из докладов стала работа одного из ключевых исполнителей Проекта Сагитова А.Г. «Многомодельное представление для расчета динамики мягкого тела». Данная работа связана с освещением промежуточных результатов проводимого исследования.
Рис. 10. Представление докладов на Итоговой научной конференции ВШ ИТИС 2019
3. С 27 по 30 июня 2019 г. в Юньлинском национальном университете науки и технологий (National Yunlin University of Science & Technology) в Тайване прошел Международный симпозиум по искусственной жизни и робототехнике (2019 International Workshop of ICAROB in Taiwan) в рамках ежегодной Международной конференции по искусственной жизни и робототехнике, где профессор Евгений Магид выступил с докладом на тему: «Регулирование рисками и уменьшением опасности стихийных бедствий при помощи подхода поисково-спасательной робототехники» («Disaster Risk and Reduction Management with Search and Rescue Robotics Approach»). Авторы: Е. Магид, Т. Цой, Ф. Мацуно, Дж. Сутакорн, М. Свинин. В рамках данной темы, связанной с роботизацией поисково-спасательных операций и оказанием помощи пострадавшим, профессор затронул тему разработки системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей (Рис. 11).
Рис. 11. Представление доклада на Международном симпозиуме по искусственной жизни и робототехнике
4. 26 августа на базе Канадзавского университета проходил объединенный с российскими университетами симпозиум по фундаментальным наукам и новейшим технологиям. Стоит отметить, что Канадзавский Университет в течение долгого времени непрерывно входит в 20 лучших вузов Японии.
Студент Артур Шафиков, проходящий стажировку в университете Канадзавы, представил на постерной сессии доклад в области интеллектуальной робототехники на тему: «Моделирование хирургического робота для пальпации в среде ROS-Gazebo». Авторы: А. Шафиков, А. Сагитов, Е. Магид.
Рис. 12. Представление доклада на симпозиуме по фундаментальным наукам и новейшим технологиям
В рамках Проекта на третьем этапе, а также по всем трем этапам его выполнения мы успешно выполнили следующие задачи:
В рамках третьего этапа Проекта был подготовлен ряд научных публикаций по результатам исследований:
1) Safin R., Lavrenov R., Hsia K.-H., Maslak E., Schiefermeier-Mach N., Magid E. Modelling a TurtleBot3 Based Delivery System for a Smart Hospital in Gazebo // The 15th Siberian Conference on Control and Communications (SIBCON 2021) (Kazan, Russia; 13-15 May 2021) - № 9438875.
2) Abbyasov B., Dobrokvashina A., Lavrenov R., Kharisova E., Tsoy T., Gavrilova L., Bulatov S., Maslak E., Schiefermeier-Mach N., Magid E. Ultrasound sensor modeling in Gazebo simulator for diagnostics of abdomen pathologies // The 15th Siberian Conference on Control and Communications (SIBCON 2021) (Kazan, Russia; 13-15 May 2021) - № 9438910.
3) Shafikov A., Tsoy T., Lavrenov R., Magid E., Li H., Maslak E., Schiefermeier-Mach N. Medical palpation autonomous robotic system modeling and simulation in ROS/Gazebo // Proceedings of 13th International Conference on Developments in eSystems Engineering (DeSE) (Wuhan, China; 14-17 December 2020) - p. 200-205.
Было принято участие в научных мероприятиях с целью популяризации результатов исследований:
1) Ассистент Татьяна Цой представила научную статью на XV IEEE Сибирской конференции по управлению и связи 2021 (Siberian Conference on Control and Communications 2021, SIBCON-2021), которая проходила 13-15 мая 2021 года в Институте ИТИС КФУ. Татьяна выступила в качестве секционного докладчика. Тема доклада: «Моделирование ультразвукового датчика в тренажере для диагностики патологий брюшной полости» («Ultrasound sensor modeling in Gazebo simulator for diagnostics of abdomen pathologies»). Авторы: Б. Аббясов, А. Доброквашина, Э. Харисова, Л. Гаврилова, Т. Цой, Р. Лавренов, С. Булатов, Е. Маслак, Н. Шифермайер-Мах, Е. Магид.
Рис. 13. Татьяна Цой представляет научную статью по тематике проекта на конференции SIBCON-2021
2) На конференции SIBCON-2021 выпускник магистерской программы "Интеллектуальная робототехника" Руслан Сафин выступил с докладом на тему: «Моделирование службы доставки на основе TurtleBot3 для умной больницы в Gazebo» («Modelling a TurtleBot3 Based Delivery System for a Smart Hospital in Gazebo»). Авторы: Р. Сафин, Р. Лавренов, К.-Х. Хсиа, Е. Маслак, Н. Шифермайер-Мах, Е. Магид.
Рис. 14. Руслан Сафин во время представления статьи по тематике проекта на конференции SIBCON-2021
3) В 2020 году на XIII Международной конференции по разработкам в области инжиниринга электронных систем (англ. 13th International Conference on The Developments in eSystems Engineering 2020) сотрудниками ЛИРС была представлена статья на тему: «Medical Palpation Autonomous Robotic System Modeling and Simulation in ROS/Gazebo» (рус. «Моделирование и симуляция автономной роботизированной системы медицинской пальпации в среде ROS/Gazebo»). Авторы: А. Шафиков, Т. Цой, Р. Лавренов, Е. Магид, Х. Ли, Е. Маслак, Н. Шифермайер-Мах.
