Научная электронная библиотека ULRICH'S Periodicals Directory

Сибирский государственный университет
науки и технологий имени академика М.Ф. Решетнева

Сибирский аэрокосмический журнал
ISSN 2712-8970 (Print) ISSN 2782-5760 (on-line)

Сведения об образовательной организации

UDK 004.032.26 Doi: 10.31772/2712-8970-2022-23-1-8-20
Применение системы технического зрения, реконструирующей трехмерную форму объектов космической техники
Кошелев П. Е., Юев А. А., Коноплев Ю. В., Толмачев А. С., Тишков А. И.
Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова; Российская Федерация, 190005, г. Санкт-Петербург, ул. 1-я Красноармейская, 1
Тенденции развития промышленности в области космических аппаратов (КА) ставят все более сложные задачи перед мехатронными системами. Ввиду усложнения процессов компоновки КТК и солнечных батарей, текущие методы раскрытия конструкций становятся менее надежными и актуальными. Помимо этого, развитие орбитальных станций приводит к возникновению целого спектра задач. Одним из перспективных подходов является использование мехатронных манипу-ляторов, однако, функциональность их применения сильно ограничена заранее определенными при разработке алгоритмами перемещения исполнительного органа и манипуляций над объектами. В связи с этим, возникает необходимость в проработке новых подходов к нахождению и определению формы целевого объекта, для дальнейшего просчета алгоритма его взаимодействия со схватом мехатронного манипулятора. В статье приводится метод реконструкции трехмерной формы объектов, основанный на при-менении системы технического зрения. Для получения пространственных характеристик сцены используется стереокамера. На основе полученных данных, сцена разбивается на несколько независимых геометрических поверхностей, с последующей поэтапной обработкой нейросетевыми алгоритмами. На каждом из этапов алгоритма происходит извлечение требуемых параметров целевых объектов. В качестве архитектуры нейронной сети используется YOLACT EDGE, осуществляющая семантическую сегментацию и классификацию объектов. Отдельной задачей можно вынести соотнесение пространственных характеристик целевых объектов и замещающей трехмерной модели. Для обеспечения этого соотнесения архитектура нейронной сети была дополнена ветвью «Маска опорных точек», обеспечивающей прогноз позиций опорных точек объектов, однозначно определяющих пространственные характеристики целевого объекта. В результате, полученная система способна обеспечить построение трехмерной карты зоны обметания в режиме реального времени. Кроме того, на основе полученной телеметрической ин-формации возможен просчет траектории движения исполнительного органа манипулятора и его взаимодействия с объектами.
Ключевые слова: система технического зрения, машинное обучение, стереозрение, обнаружение объектов
References

1. Белоножко П. П. Космическая робототехника: Опыт и перспективы развития // ВКС. 2018. № 1 (94). С. 84–93.

2. Белоножко П. П. Космическая робототехника для монтажа и сервиса. Потенциальные задачи, концепции перспективных систем // ВКС. 2019. № 2 (99). С. 84–97.

3. Алгоритмы управления движением схвата манипулятора / Н. Д. Беклемишев и др. // Препринты ИПМ им. М. В. Келдыша. 2017. № 47. 36 С.

4. Буянов А. А., Власов А. И. Макеев С. С. Исследование нейросетевых алгоритмов, применяемых для распознавания образов // Молодые ученые – науке, технологиям и профобразованию для устойчивого развития проблемы и новые решения : 2-я Междунар. конф. СН. 2000. С. 22–25.

5. Медведев М. В., Кирпичников А. П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологич. ун-та. 2014. № 15. С. 326–330.

6. SplitFusion: Simultaneous tracking and mapping for non-rigid scenes / Li Y. et al. // IEEE International Conference on Intelligent Robots and Systems. 2020. P. 5128–5134.

7. Zhou Z. et al. Learning-based object detection and localization for a mobile robot manipulator in SME production // Robot. Comput. Integr. Manuf. 2022. No. 73. P. 102229–102241.

8. Shi S. et al. PV-RCNN: Point-voxel feature set abstraction for 3D object detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2020. P. 10529–10538.

9. Oh J.K., Lee S., Lee C.H. Stereo vision based automation for a bin-picking solution // Int. J. Control. Autom. Syst. 2012. No.10. P. 362–373.

10. Клехо Д. Ю., Карелина Е. Б. Батыев Ю. П. Использование технологии сверточных нейронных сетей в сегментации объектов изображения // Вестник МГУЛ – Лесной вестник. 2021. Vol. 25, No. 1. P. 140–145.

11. Макаренко А. А. Калайда В. Т. Методика локализации изображения лица для систем видеоконтроля на основе нейронной сети // Известия ТПУ. 2006. № 8 (309). С. 113–117.

12. Bolya D. et al. YOLACT: Real-time instance segmentation // Proceedings of the IEEE International Conference on Computer Vision. 2019. P. 9157–9166.

13. Liu H. et al. YolactEdge: Real-time Instance Segmentation on the Edge. 2021. P. 9579–9585.

14. Golovinskiy A., Funkhouser T. Min-cut based segmentation of point clouds // 2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops. 2009. P. 39–46.

15. Luu T. H., Tran T. H. 3D vision for mobile robot manipulator on detecting and tracking target // ICCAS 2015 – 2015 15th International Conference on Control, Automation and Systems, Proceedings. 2015. P. 1560–1565.

16. Хомченко В. Г. Робототехнические системы. Омск : ОмГТУ, 2016. 195 c.


Кошелев Павел Евгеньевич – магистрант, инженер; Балтийский государственный технический университет «Военмех» им. Д. Ф. Устинова. E-mail: switchcompany@yandex.ru.

Юев Алексей Андреевич – аспирант, младший научный сотрудник, инженер; Балтийский государственный технический университет «Военмех» им. Д. Ф. Устинова. E-mail: betterthanjms@gmail.com.

Коноплев Юрий Вячеславович – аспирант, младший научный сотрудник, ассистент, инженер; Балтийский государственный технический университет «Военмех» им. Д. Ф. Устинова. E-mail: sz11079812@mail.ru.

Толмачев Александр Сергеевич – аспирант, научный сотрудник; Балтийский государственный технический университет «Военмех» им. Д. Ф. Устинова. E-mail: pifonepaf@gmail.com.

Тишков Александр Игоревич – аспирант, младший научный сотрудник, инженер; Балтийский государственный технический университет «Военмех» им. Д. Ф. Устинова. E-mail: tishko-sash@yandex.ru.


  Применение системы технического зрения, реконструирующей трехмерную форму объектов космической техники