Размер шрифта: A A A Цвет сайта: A A A

Разработка системы управления роботизированным лапароскопическим инструментом для автономного сшивания

Номер государственного контракта по гранту: № 18-48-160037

Руководитель проекта: Магид Евгений Аркадьевич

Согласно статистике Министерства здравоохранения, в России на сегодня существуют большой дефицит опытных специалистов, включая хирургов, который носит особенно катастрофический характер в удаленной сельской местности. Успешная разработка хирургических роботов позволит частично решить эту проблему и будет существенным шагом к автоматизации медицинских услуг, ведущим к персонализированной медицине будущего. Поэтому создание автоматизированных хирургических комплексов является одним из важнейших и перспективных направлений развития робототехники в области медицины в рамках перехода к высокотехнологичному здравоохранению.

Лапароскопическая (минимально инвазивная) хирургия по сравнению с открытой хирургией является более экономически эффективной и безопасной альтернативой, которая обеспечивает быстрое восстановление после операции, в разы сокращают частоту осложнений и минимизируют косметический дефект кожи. В то же время лапароскопическая хирургия имеет пространственные, моторные и гаптические ограничения, которые в конечном счете существенно ограничивают успешные действия хирурга его опытом и способностями выполнить операцию точно и эффективно. Хирурги работают с длинными жесткими хирургическими инструментами через троакары, которые ограничивают процедуры четырьмя степенями свободы. Для визуальной обратной связи хирурги ориентируются на двумерную эндоскопическую камеру с отсутствием информации о глубине. В результате эти проблемы вызывают сложности у недостаточно опытных хирургов при выполнении основных задач наложения швов, включая операции по связыванию узлов, сшиванию и рассечению тканей. 

Цели и основные задачи Проекта:

Целью данного проекта является разработка алгоритмов и системы управления манипулятора хирургического комплекса, оснащенного лапароскопическим инструментом, для автономного сшивания тканей. Прототип хирургического комплекса создан на базе имеющегося у Казанского федерального университета робота KUKA LBR iiwa.

Основными задачами трехлетнего проекта являются:

Общий план работ на весь срок реализации Проекта:

2018

2019

2020

В рамках Проекта на первом этапе его выполнения мы успешно выполнили следующие задачи:

        

                                                     Рис. 1  Архитектрура симулятора

                            

                                               Рис. 2 Точки входа и выхода на ткани

В рамках Проекта на первом этапе был подготовлен ряд научных публикаций по результатам исследований, в том числе в соавторстве с ведущими австрийскими и китайскими специалистами:

1. Artur Sagitov, Tatyana Tsoy, Hongbing Li, Evgeni Magid “Automated open wound suturing: detection and planning algorithm”, Journal of Robotics, Networking and Artificial Life – 2018, Volume 5, Issue 2, September 2018, pp. 144 – 148. Журнал индексируется в БД Web of Science. Ссылка: https://www.atlantis-press.com/journals/jrnal/25902062

2. Сагитов А.Г., Цой Т.Г., Шабалина К.С., Лавренов Р.О, Магид Е.А. «О виртуальном моделировании тканей и швов для хирургических роботов в среде Gazebo», сборник трудов научно-технической конференции по итогам совместного конкурса фундаментальных исследований РФФИ - РТ в 2018 г., г. Казань, 22.11.2018.

3. Artur Sagitov, Hongbing Li, Natalia Schiefermeier-Mach, Evgeni Magid “Extending Gazebo simulator for surgical robotics: tissue and suture modeling”, International Conference on Artificial Life and Robotics (ICAROB 2019). (Находится в печати).

4Bulat Khabibrakhmanov, Artur Sagitov, Evgeni Magid. “Autonomous robotic palpation of soft tissue using kuka iiwa robot”, Симпозиум «Фундаментальная наука и новейшие технологии для устойчивого развития в XXI веке» (англ. «Fundamental Science and Emergent Technologies for the Sustainable Development in XXI Century», на Рис.8 полностью представлен постер).

Было принято участие в научных мероприятиях с целью популяризации результатов исследований:

1. Профессор Евгений Магид выступил на мероприятии конкурса по созданию поисково-спасательных технологий нового поколения "Одиссея" (Рис.3). В рамках конкурса в течение месяца в крупных городах России проходит публичная программа: открытые лекции экспертов о российском рынке поисково-спасательных технологий и о том, как новейшие разработки могут решить социальные проблемы. Евгений Магид выступил спикером на мероприятии, посвящённом технологическому конкурсу по созданию поисково-спасательных технологий нового поколения от Благотворительного фонда «Система», где в числе ряда тем, напрямую связанных с роботизацией поисково-спасательных операций и оказанием помощи пострадавшим, затронул тему разработки системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей, рассказав об актуальности и новизне данного проекта. (https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/professor-evgenij-magid-vystupil-na-meropriyatii_343099.html)

            

Рис. 3 Мероприятие, посвященное конкурсу по созданию поисково-спасательных технологий нового поколения "Одиссея".

2. С 17 по 18 сентября на базе Казанского федерального университета (КФУ) проходил совместный с Канадзавским Университетом (Япония) симпозиум «Фундаментальная наука и новейшие технологии для устойчивого развития в XXI веке» (англ. «Fundamental Science and Emergent Technologies for the Sustainable Development in XXI Century»).  Сотрудник Лаборатории интеллектуальных робототехнических систем (ЛИРС)  Высшей Школы Информационных технологий и интеллектуальных систем (ИТИС)   Артур Сагитов  успешно выступил с презентацией на тему  «Обнаружение и планирование открытого наложения швов в среде Gazebo», представив результаты совместных исследований сотрудников лаборатории. Авторы: Сагитов А., Магид Е. На постерной сессии студентами магистратуры «Интеллектуальная робототехника»   Высшей школы ИТИС КФУ был представлен доклад в области медицинской интеллектуальной робототехники (Рис.4) на тему «Автономная роботизированная пальпация мягких тканей с использованием робота KUKA iiwa» (англ.«Autonomous robotic palpation of soft tissue using KUKA iiwa robot»). Авторы: Хабибрахманов Б., Сагитов А., Магид Е. (https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/v-kfu-sostoyalsya-sovmestnyj-s-universitetom.html)

           

Рис. 4 Совместный симпозиум КФУ и Канадзавского Университета (Япония) «Фундаментальная наука и новейшие технологии для устойчивого развития в XXI веке»

3. 22 ноября 2018 года в Академии Наук РТ состоялась научно-техническая конференция по итогам совместного конкурса фундаментальных исследований РФФИ – РТ в 2018 г. Академия наук Республики Татарстан и Российский фонд фундаментальных исследований совместно с Кабинетом Министров Республики Татарстан, 22 ноября 2018 года провели итоговую конференцию по совместным конкурсам фундаментальных исследований РФФИ – РТ в 2018 г. (Рис. 5). В конференции принимали участие организаторы и участники региональных конкурсов РФФИ. В конференции активное участие принял ключевой исполнитель нашего проекта № 18-48-160037 «Разработка системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей» Артур Сагитов (http://www.antat.ru/ru/news/8675/).

           

Рис. 5 Научно-техническая конференция в Академии наук РТ

В рамках Проекта на втором этапе его выполнения мы успешно выполнили следующие задачи:

1) Разработаны теоретические модели мягких тканей;

2) Разработана программная имплементация модулей модели мягких тканей в среде ROS Gazebo;

3) Выполнена программная имплементация двух пилотных моделей хирургических инструментов для манипулятора в среде ROS Gazebo в соответствии с разработанными в первый год проекта требованиями;

4) Выполнена программная имплементация стереокамеры и силомоментного датчика для хирургического инструмента для манипулятора в среде ROS Gazebo;

5) Выполнена интеграция моделей манипулятора и хирургических инструментов (Рис.6, 7);

             

                                                           Рис. 6 – Модель скальпеля         

                                               

                                           Рис. 7 – Экспериментальная модель щипцов

7) Разработана программная имплементация симулятора манипулятора в среде ROS Gazebo (Рис. 8);

                

                                       Рис. 8 - Тестирование работы скальпеля на мягком теле.

8) Разработаны пилотные программы и методики тестирования имплементации симулятора манипулятора;

9) Подготовлены и опубликованы 3 научные публикации по результатам исследований: 1 публикация, индексируемая в БД Scopus и Web of Science; 2 публикации, индексируемые только в БД Web of Science.

Разработанные в Этапе II проекта модели хирургического манипулятора, инструмента и мягких тканей в среде ROS/Gazebo также могут быть использованы для интеграции в существующие системы роботизированной хирургии и для разработки на ее основе новых портативных хирургических роботов, в том числе для работы в полевых условиях. В свою очередь, пилотные программы и методики тестирования (Приложение А), после небольших адаптаций, могут быть также использованы для верификации работы других систем управления хирургических или диагностических комплексов.

Моделирование и апробация теоретических результатов осуществлялись в среде ROS и симуляторе Gazebo с применением разработанной пилотной программы тестирования. Создана основа программного комплекса системы управления хирургического манипулятора, которая затем будет перенесена из симулятора Gazebo на аппаратный комплекс KUKA LBR iiwa.

В рамках второго этапа Проекта был подготовлен ряд научных публикаций по результатам исследований:

1.         Sagitov A., Li H., Schiefermeier-Mach N., Magid E. “Extending Gazebo simulator for surgical robotics: tissue and suture modeling”, International Conference on Artificial Life and Robotics (ICAROB 2019), p. 124-127. DOI: 10.5954/ICAROB.2019.OS4-5, ISBN: 978-4-9908350-4-0.

2.         Sagitov A., Gavrilova L., Tsoy T., Hongbin L. Design of simple one-arm surgical robot for minimally invasive surgery // The 12th International Conference on the Developments in eSystems Engineering (Kazan, Russia; 7-10 October 2019). (Статья принята к публикации, состоялось выступление с докладом в рамках конференции, статья находится в печати).

3.         Shafikov A., Sagitov A., Li H., Schiefermeier-Mach N., Magid E. “Robotic Palpation Modeling for KUKA LBR IIWA Using Gazebo Simulator”, International Conference on Artificial Life and Robotics (ICAROB 2020). (Статья принята к публикации и находится в печати, выступление с докладом в рамках конференции состоится 14 января 2020 года).


На втором этапе Проекта было принято участие в научных мероприятиях с целью популяризации результатов исследований:

1. Профессор Евгений Магид выступил на Международной конференции ICAROB 2019 (International Conference on Artificial Life and Robotics), которая проходила  с 10 по 13 января 2019 в японском городе Беппу (префектура Оита), Япония. Профессор выступил в роли модератора научной секции OS4 «Сервисная робототехника» (“Service Robotics”) и постерной секции GS4, где представил 7 научных работ, среди которых научная статья по тематике данного проекта: «Расширение использования симулятора Gazebo для роботизированной хирургии: моделирование тканей и швов». (“Extending Gazebo simulator for surgical robotics: tissue and suture modeling”). Авторы: Артур Сагитов, Хонгбинг Ли, Евгений Магид.

(1)https://media.kpfu.ru/news/lirs-kfu-predstavila-rezultaty-nauchnoy-raboty-na-mezhdunarodnoy-konferencii-icarob-2019-v

2)http://edu.robogeek.ru/whats-new/lirs-kfu-predstavila-rezultaty-nauchnoi-raboty-na-mezhdunarodnoi-konferentsii-icarob-2019-v-yaponii/

3)https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/lirs-predstavila-rezultaty-nauchnoj-raboty-na.html

               

     Рис. 9 -  Выступление на Международной конференции ICAROB 2019 (International Conference on Artificial Life and Robotics)

2. 4 февраля 2019 г. сотрудники и студенты кафедры интеллектуальной робототехники Высшей школы Информационных технологий и интеллектуальных систем (ИТИС) представили доклады на Итоговой научной конференции Высшей школы информационных технологий и информационных систем (ВШ ИТИС 2019) в рамках секции «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ИНТЕРНЕТ ВЕЩЕЙ, РОБОТОТЕХНИКА». Доклады освещали актуальные темы и в основном являлись результатами научных исследований. Так, одним из докладов явилась работа одного из ключевых исполнителей Проекта Сагитова А.Г. «Многомодельное представление для расчета динамики мягкого тела». Данная работа связана с освещением промежуточных результатов проводимого исследования. (https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/uchastie-lirs-v-itogovoj-nauchnoj-konferencii.html).

             

        Рис. 10 - Представление докладов на Итоговой научной конференции ВШ ИТИС 2019

3. С 27 по 30 июня 2019 г. в Юньлинском национальном университете науки и технологий (National Yunlin University of Science & Technology) в Тайване прошел Международный симпозиум по искусственной жизни и робототехнике (2019 International Workshop of ICAROB in Taiwan) в рамках ежегодной Международной конференции по искусственной жизни и робототехнике (International Conference on Artificial Life and Robotics, ICAROB, где профессор Евгений Магид выступил с двухчасовым докладом на тему: «Регулирование рисками и уменьшением опасности стихийных бедствий при помощи подхода поисково-спасательной робототехники» («Disaster Risk and Reduction Management with Search and Rescue Robotics Approach»). Авторы: Евгений Магид, Татьяна Цой, Фумитоши Мацуно, Джакрит Сутакорн, Михаил Свинин. В рамках данной темы, напрямую связанной с роботизацией поисково-спасательных операций и оказанием помощи пострадавшим, профессор затронул тему разработки системы управления роботизированным лапароскопическим инструментом для автономного сшивания тканей, рассказав об актуальности данного Проекта. (https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/professor-evgenij-magid-vystupil-na-371729.html)

             

 Рис. 11 - Международный симпозиум по искусственной жизни и робототехнике (2019 International Workshop of ICAROB in Taiwan)

4. 26 августа на базе Канадзавского университета проходил объединенный с Российскими университетами симпозиум по фундаментальным наукам и новейшим технологиям. Стоит отметить, что Канадзавский Университет в течение долгого времени непрерывно входит в топ 20 лучших вузов Японии.

Студент Артур Шафиков, проходящий стажировку в университете Канадзавы, успешно представил на постерной сессии доклад в области интеллектуальной робототехники на тему: «Моделирование хирургического робота для пальпации в среде ROS-Gazebo». (Surgical robot modeling in ROS-Gazebo Framework for Palpation Purposes). Авторы: Артур Шафиков, Артур Сагитов, Евгений Магид. (https://kpfu.ru/itis/science/kafedra-intellektualnoi-robototehniki/lirs/novosti-laboratorii/studenty-lirs-vystupili-na-sovmestnom-s_374969.html).

                   

Рис. 12 – Представление доклада на симпозиуме по фундаментальным наукам и новейшим технологиям (Япония, 2019)