Программное обеспечение для решения задачи извлечения деталей из контейнера с использованием технологии PMD

Тип работы:
Реферат
Предмет:
ТЕХНИЧЕСКИЕ НАУКИ


Узнать стоимость

Детальная информация о работе

Выдержка из работы

УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА • МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ…
УДК 004: 681. 5
Н. И. ЮСУПОВА, X. ВЁРН, И. Р. МАМАЕВ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ИЗВЛЕЧЕНИЯ ДЕТАЛЕЙ ИЗ КОНТЕЙНЕРА С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ РМБ
Рассматривается проблема решения задачи извлечения объектов из контейнера с использованием манипулятора, анализируются особенности технологии Photo Mixer Device и обосновываются преимущества ее применения. Также рассматриваются особенности расчета стратегий захвата и планирования движения манипулятора, описывается разработанный программно-аппаратный комплекс. Извлечение объектов- PMD- робот- стратегия захвата- планирование траектории
Несмотря на десятилетия исследований в области компьютерной графики, робототехники и автоматизации производства, задача извлечения объектов из контейнера остается открытой. В современном производстве эта, на первый взгляд, легкая задача решается с помощью сложных производственных линий зачастую с применением ручного труда. Количество вложений и затрат, связанных с существующими решениями, показывает необходимость разработки новых подходов к решению задачи извлечения объектов из контейнера.
Данная задача напрямую зависит от аппаратной части, в особенности от сенсорной подсистемы. Последнее время наиболее популярны решения, основанные на использовании стереокамер [1, 3] и лазерных дальномеров [2]. Но существующие технологии и соответствующие методы обладают определенными недостатками. В статье предлагается подход, позволяющий использовать преимущества новейшей технологии Photo Mixer Device (PMD) и компенсировать ее недостатки.
На базе предложенного подхода разработан программно-аппаратный комплекс для решения задачи извлечения объектов из контейнера с помощью манипулятора. В процессе реализации методов большое внимание было уделено архитектуре программного обеспечения, чему посвящен отдельный раздел статьи.
Контактная информация: +79 173 472 220
Работа выполнена в рамках проекта «Lynkeus» при поддержке гранта 16SV2307 Федерального Министерства Образования и Исследований Германии (Bundesministerium fur Bildung und Forschung)
Таким образом, можно выделить следующие особенности предлагаемого подхода:
• используются сенсоры с новой технологией Photo Mixer Device (PMD), которая позволяет получать 3-мерное изображение в реальном времени-
• представлены методы реконструкции сцены по данным с PMD-камеры, которые позволяют существенно сократить время и сложность вычислений-
• разработаны оптимизированная стратегия захвата объектов и адаптированные методы планирования пути манипулятора.
Следует отметить, что в данной статье не рассматривается проблема распознавания объектов и основной акцент сделан на проектировании всей системы в целом, особенностях использования технологии PMD, а также на реализации управления манипулятором в рамках поставленной задачи. В первом разделе будет представлена общая постановка задачи, далее будет рассмотрена технология PMD. Архитектура П О описана в 3-м разделе. В заключении представлены результаты исследований и направления дальнейших исследований.
1. ЗАДАЧА ИЗВЛЕЧЕНИЯ ОБЪЕКТОВ ИЗ КОНТЕЙНЕРА
Задача извлечения объектов из контейнера является хорошо известной проблемой в области робототехники. В последнее время было разработано много решений на базе 2-х и 3мерного зрения [3]. Но, несмотря на это, существует несколько проблем, которые могут быть решены более эффективно с использованием
новейшей технологии PMD, например, точная и быстрая реконструкция сцены. Основная особенность этой технологии, которая помогает увеличить эффективность системы, — это возможность получать одновременно 3-мерные изображения в реальном времени.
В задаче извлечения объектов из контейнера можно выделить следующие подзадачи [4]:
• 3-мерная реконструкция сцены-
• анализ сцены:
о распознавание объекта- о локализация объекта-
• расчет точек захвата-
• разработка стратегии захвата-
• планирование пути.
Система, позволяющая решать поставленные подзадачи, состоит как из программных модулей, так и из аппаратных средств. Следует отметить особенную важность сенсоров среди остальных аппаратных модулей, так как от выбора сенсорной системы зависит скорость и точность 3-мерной реконструкции сцены, что влияет на анализ сцены и процессы планирования траектории робота.
Сенсорные системы можно классифицировать на 2-мерные и 3-мерные. 2-мерные основаны на черно-белых или цветных монокулярных камерах, 3-мерные — на лазерных дальномерах, стереокамерах, триангуляции и т. д. [1, 2, 3]. Однако все эти системы имеют определенные недостатки [5, 6]:
• зависимость от условий освещения, цвета и отражающих свойств объектов (монокулярные и стереокамеры) —
• недостаточная скорость получения изображения (лазерные дальномеры) —
• высокая сложность и медленная скорость 3-мерной реконструкции сцены (стереокамеры) —
• высокая стоимость-
• большие размеры.
В последние годы был разработан новый метод получения 3-мерных изображений в реальном времени — PMD, особенности которого позволяют повысить эффективность решения рассматриваемой задачи.
2. ТЕХНОЛОГИЯ PHOTO MIXER DEVICE (PMD)
Уже несколько десятилетий исследуются системы 3-мерного зрения. В последнее время слияние классических методов с новыми технологиями привело к появлению 3-мерных систем с радикально улучшенными характеристиками. Один из таких многообещающих
подходов, позволяющий определять расстояние до объектов за счет измерения времени, которое затрачивает луч на путь от источника до объекта и обратно, основан на РМБ технологии.
Рис. 1. PMD-камера
Для исследования сцены PMD-камера испускает свет в ИК диапазоне, используя светодиоды с частотой модуляции 20 MHz, и измеряет время прохода луча туда и обратно используя специальный сенсорный элемент. Таким образом, каждый пиксель PMD-сенсора может измерять сдвиг фазы модулированного света и получать 3-мерные данные. Более детальное описание можно найти в [7, 8].
Сделанная на базе описанного метода PMD-камера ifm o3d100 (рис. 1) позволяет получать 3-мерные снимки с разрешением до 50×64 пикселей и частотой кадров до 25 Hz. Такие камеры позволяют получать как изображение интенсивности (рис. 2), так и данные о расстоянии до объектов до 7,5 метров [8] (рис. 2) с каждого пикселя.
Рис. 2. Изображения интенсивности и удаленности
В сравнении с другими, РМБ — очень компактная система, которая позволяет получать данные в реальном времени и, благодаря использованию собственных источников света и автоматическому подавлению фонового света, не зависит от условий освещенности.
Однако существуют и недостатки, компенсация которых реализована в программном обеспечении:
• маленькое разрешение и угол обзора камеры, что осложняет 3-мерную реконструкцию сцены и распознавание объектов. Для решения подобных проблем реализована возможность реконструкции сцены по нескольким снимкам-
• искажения и ошибки измерения расстояния: для коррекции ошибок и помех при получении данных с камеры проводится предварительная калибровка-
• шум на снимках: используются шумоподавляющие фильтры [9].
Таким образом, слабые стороны РМБ технологии компенсируются с помощью программных средств, а ее преимущества, такие как возможность получения 3-мерного изображения в реальном времени, позволяют выполнить надежную и быструю реконструкцию сцены. Исчезает необходимость использования сложных вычислений для расчета сцены.
2.1. Реконструкция сцены по данным РМБ
Алгоритм может быть реализован следующим способом (рис. 3).
1. Данные о расстоянии трансформируются в 3-мерные модели относительно системы координат камеры, т. е. каждый пиксель с информацией о расстоянии (ртё) трансформируется в точку в пространстве координат камеры (Рсатега), используя матрицу проекции
СМщ]):
1Ш8
м
РГО]
• Рс
и 1 к О со 1 х
V = о о У ,
1 1 о о 1 1
(1)
(2)
и =
/Хх + яу + схг /уУ + СУ2
(и — сх) 1 х = ------------------------- у
у=

(и — Су) 1

(3)
где X — вектор скалирования- /х, /у — фокальные расстояния по х и по у- сх, су — центр изображения- и, V — координаты точки в пикселях- х, у, і - координаты точки в 3-мерном пространстве.
2. Трехмерные модели трансформируются относительно мировой системы координат:
, (4)
__world гр ТСР гр
Р^югЫ = 1 ТСР • Тс
• Рс
ТСР/
где * ~Тсатета — трансформационная матрица из системы координат камеры в систему коор-
динат центра рабочего инструмента манипулятора (матрица может быть вычислена при помощи калибровки «рука-камера») —™И1ТСР -трансформационная матрица из системы координат центра рабочего инструмента в мировые координаты (матрица может быть вычислена из текущего положения робота).
3. С помощью триангуляции Делоне вычисляется полигональная модель на базе 3мерной воксельной модели и сглаживается по Лапласу.
Полигональная модель Рис. 3. Алгоритм реконструкции сцены
2.2. Стратегия захвата и особенности планирования траектории движения робота
Полученная после обработки РМБ данных полигональная модель позволяет быстро распознать объекты, находящиеся в контейнере. Для оптимизации расчета захвата вместо детального распознавания всей кучи объектов идет лишь поиск областей объектов, позволяющих осуществить захват. Далее выбирается объект, который находится выше и не имеет наложений с другими объектами или имеет их минимальное количество. Захват производится с учетом ориентации объекта в пространстве, что позволяет более точно и аккуратно брать объекты из контейнера.
С точки зрения планирования траектории робота в задаче извлечения объектов из контейнера можно выделить 2 типа движения: движение среди статических объектов и среди динамических. Виртуальная сцена моделируется из загружаемой статической сцены и динамических данных с РМБ-камеры. С целью оптимизации процесса планирования можно рассматривать стадию захвата объектов отдельно и только для нее вычислять новую тра-
V
і
екторию в каждой итерации с учетом изменения количества и расположения объектов в контейнере. Траектория движения манипулятора среди статических элементов вычисляется только один раз в начале процесса на базе виртуальной статической модели. Такой подход позволяет существенно сократить время планирования траектории движения робота за счет выделения динамических областей на виртуальной сцене и планирования в ограниченном пространстве.
3. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
Одной из целей исследования была разработка гибкого программного обеспечения, которое позволит не только решать поставленную задачу, но и проводить сравнения и тестирования разных алгоритмов и методов, например, алгоритмов планирования пути манипулятора.
Система состоит из основного модуля, который обеспечивает управление сетевой коммуникацией, обрабатывает XML-сообщения от модулей с учетом правил доступа к ресурсам, хранит настройки и т. д.- а также модулей:
• управления роботом: позволяет управлять роботами, используя разработанные интерфейсы и XIRP-протокол-
• управления PMD-камерой: позволяет получать и сохранять данные от PMD-камеры, осуществляет настройку параметров камеры-
• моделирования: делает реконструкцию сцены, строит воксельную и полигональную модели-
• распознавания объектов: распознает объекты и вычисляет их положение в пространстве-
• калибровки камеры: проводит автоматизированную латеральную калибровку, калибровку системы «рука-камера» и калибровку дальномера PMD-камеры-
• планирования траектории: вычисляет траекторию робота с учетом препятствий-
• захвата: планирует стратегию захвата объектов с учетом взаиморасположения объектов и управляет механическим захватом-
• расчета точек захвата: рассчитывает точки захвата для извлекаемого объекта.
Связь между модулями организована с помощью протокола, основанного на языке XML. На рис. 4 показана XML-схема сообщения.
Пример XML-сообщения:
& lt-LynkeusNetMessage>-
& lt-Source>-
ENVIRONMENT MODELING MODULE
& lt-/Source>-
& lt-Destination>-
PMD_CAMERA_CONTROL_MODULE
& lt-/Destination>-
& lt-Message>-GET_IMAGE<-/Message>-
& lt-Param>-
& lt-Name>-ImageType<-/Name>-
& lt-Value>-Depth<-/Value>-
& lt-/Param>-
& lt-/LynkeusNetMessage>-
Рис. 4. XML -схема сообщения
Каждый модуль системы реализован как отдельный процесс, который имеет XML-интерфейс для внутренней коммуникации с другими модулями или с графическим интерфейсом (рис. 5), таким образом, разработанная система является гибкой и легко расширяемой.
Модуль
Рис. 5. Архитектура модуля
С другой стороны, каждый модуль может состоять из субмодулей, запускаемых в виде отдельных потоков. Тогда один из них является контрольным субмодулем, который организует работу других субмодулей и общается с другими модулями системы (рис. 6).
При разработке системы принимались во внимание оба основных типа архитектур: клиент-сервер (рис. 7) и мультиагентная архитектура (рис. 8).
Субмодуль
Рис. 6. Архитектура субмодулей
СГ
Основной
Модуль Модуль
управления
роботом XML
Таблица ресурсов и прав доступа
Модуль
управления
PMD-камерой
Модуль
моделирования
& gt-4. 1 интерфейс
--
Модуль расчета точек захвата
Модуль захвата
Модуль Модуль Модуль
калибровки * распознавания * планирования
камеры объектов, траектории
Рис. 7. Архитектура клиент-сервер
Основной
Модуль
Таблица ресурсов и прав доступа
Модуль расчета точек захвата
Модуль захвата
Рис. 8. Мультиагентная архитектура
Основное различие этих архитектур — это способ коммуникации модулей между собой. В случае клиент-серверной архитектуры все взаимодействие идет через контрольный модуль, который осуществляет применение прав доступа к ресурсам (модулям).
При использовании мультиагентной системы каждый модуль может общаться с другими напрямую, соответственно каждый модуль должен контролировать свои ресурсы сам.
При разработке системы с использованием роботов, надежность и безопасность использования стоят наравне с быстродействием и эффективностью. Поэтому разработанная система позволяет организовать внутреннее взаимодействие модулей, используя оба подхода, что позволяет выбрать оптимальный способ взаимодействия, принимая во внимание специфику модуля.
4. ТЕСТОВЫЙ СТЕНД
В процессе решения задачи была построена тестовая система, аппаратная часть которой состоит из: манипулятора KUKA KR-60HA, манипулятора Reis Robotics RV-6L, сенсора PMD-камеры ifm o3d100, захвата Schunk PG-70 (рис. 9), компьютера на базе AMD Athlon 64 X2 4800+. В качестве объектов были использованы полиэтиленовые трубы (рис. 9). В рабочей области находятся: стол № 1 с контейнером, стол № 2 для распознавания объектов, 2 коробки для сортировки объектов (рис. 10).
Рис. 9. Захват
Рис. 10. Тестовый стенд
Построенная система позволила на практике проверить разработанные модели и алгоритмы, провести тесты на реальных деталях, а также выявить и устранить недостатки проектирования ПО на начальных этапах.
ЗАКЛЮЧЕНИЕ
В статье был предложен подход к решению задачи извлечения деталей из контейнера, основанный на использовании новейшей сенсорной технологии Photo Mixer Device. Данная технология и оптимизированные алгоритмы реконструкции сцены и управления манипулятором позволяют не только ускорить процесс, но и улучшить точность и надежность работы системы в целом.
После анализа особенностей технологии PMD, представленного во втором разделе, были выделены ее достоинства и недостатки в соответствии с поставленной задачей. Предложены методы компенсации недостатков камеры, реализованные в разработанном ПО. Также предложен алгоритм реконструкции сцены по 3-мерным данным PMD-камеры, который позволяет существенно сократить время моделирования и сложность требуемых вычислений. Проанализированы особенности разработки стратегии захвата и планирования траектории движения манипулятора в задаче извлечения деталей из контейнера. В третьем разделе представлены архитектурные особенности программного обеспечения разработанной системы и описано аппаратное обеспечение. В результате исследований был создан программно-аппаратный комплекс, позволяющий эффективно решать задачу извлечения объектов из контейнера. В будущих исследованиях планируется сделать обзор известных методов планирования траекторий манипулятора, проанализировать особенности планирования в условиях задачи извлечения объектов из контейнера и разработать оптимизированный метод, который будет внедрен в комплекс с учетом особенности задачи. Также одним из интересных направлений дальнейших исследований являются исследования в области безопасного взаимодействия человека и робота.
СПИСОК ЛИТЕРАТУРЫ
1. Hema Ch. R. Stereo Vision System for a Bin Picking adept robot // Malaysian Journal of Computer Science. 2007. Vol. 20(1).
2. Laser ranging and video imaging for bin picking / F. Boughorbel [et all] // Journal of Assembly Automation. 2003.
3. Robust Motion Generation for Vision-Guided Robot Bin-Picking / S. Leonard [et all] // Proc. of IMECE2007, ASME, Seattle, Washington, USA, 2007.
4. Muller M. Picking strategies for object singu-larization using industrial robots: Ph. D. thesis. Univer-sitat Karlsruhe (TH), 2001.
5. Three-dimensional intelligent sensing based on the PMD technology / R. Schwarte [et all] // Proc. of SPIE2001, Volume: 4540, pp. 482−487, 2001.
6. Real-time Framework for Bin-Picking Problem using Advantages of PMD-Technology / I. R. Mamaev [et all] // Proc. of 10th Int. Workshop on Computer Science and Information Technologies (CSIT). 2008. Vol. 2. P. 6−10.
7. MSM-PMD as correlation receiver in a new 3D-ranging system / B. Buxbaum [et all] // Proc. of SPIE — Remote Sensing, Laser Radar Techniques: «Ranging and Atmospheric Lidar», Toulouse, 2001.
8. 3d-camera of high 3d-framerate, depth-resolution and background light elimination based on improved pmd (photonic mixer device)-technologies / H. Kraft [et all] // Proc. of 6th Intern. Conf. for Optical Technologies, Optical Sensors and Measuring Techniques (OPTO, 2004).
9. Graf J., Woern H. Oriented Median Filtering Preserving Significant Image Structures // Proc. of 9th Int. Workshop on Computer Science and Information Technologies (CSIT). 2007. Vol. 2. P. 4−8.
ОБ АВТОРАХ
Юсупова Нафиса Исламовна,
проф., зав. каф. выч. мат. и киб., декан ФИРТ. Дипл. радиофизик (Воронежск. гос. ун-т, 1975). Д-р техн. наук по упр-ю в техн. сист. (УГАТУ, 1998). Иссл. в обл. критич. сит. упр-я, информатики.
Вёрн Хейнц, проф. Дипл. инж. по электротехн. (Ун-т Штутгарта, 1973). PhD по электротехн. (там же, 1978). Руководитель Института Управления Процессами и Робототехники, Университет Карлсруэ, Германия.
Мамаев Ильшат Ринатович,
аспирант каф. выч. мат. и киб. Дипл. математик-программист (УГАТУ, 2007).

ПоказатьСвернуть
Заполнить форму текущей работой