Трансформация матриц весовых коэффициентов измерительной нейронной сети в процессе обучения

Тип работы:
Реферат
Предмет:
Кибернетика


Узнать стоимость

Детальная информация о работе

Выдержка из работы

В. И. Капля
ТРАНСФОРМАЦИЯ МАТРИЦ ВЕСОВЫХ КОЭФФИЦИЕНТОВ ИЗМЕРИТЕЛЬНОЙ НЕЙРОННОЙ СЕТИ В ПРОЦЕССЕ ОБУЧЕНИЯ
Волжский политехнический институт (филиал) ВолгГТУ
Рассмотрена матричная форма алгоритма обучения измерительной нейронной сети и ее применение к анализу трансформации матриц весовых коэффициентов. Проведено исследование взаимосвязи областей трансформации матриц и структуры эталонных изображений.
The matrix form of algorithm of training measuring neural network and its application to the analysis of transformation of weight factor matrixes is considered. The research of interrelation of transformation areas of matrixes and structure of the reference images is carried out.
Измерение координат объектов на основе обработки видеоинформации интенсивно внедряется в технику. Рост разрешающей способности видеоаппаратуры позволяет совершенствовать технические характеристики измерительных систем и ставит проблему автоматизации интеллектуальной обработки зарегистрированной информации. Одним из перспективных направлений решений этой задачи можно считать применение нейронных сетей, обладающих свойствами автоматического распараллеливания задач обработки изображений и гибкостью изменения предметной области решаемых задач путем обучения.
Способ инициализации весовых коэффициентов нейронной сети (НС) перед началом обучения может оказать существенное влияние на процесс обучения. Динамика трансформации весовых матриц интересна сама по себе, так как траектории изменения весовых коэффициентов должны быть взаимосвязаны, и выявление таких связей способно повысить эффективность обучения.
Постановка задачи
Оптико-электронная система измерения координат включает в себя НС для автоматического анализа изображения с целью определения координат объекта в пределах текущего кадра. Взаимодействие Н С с измерительной системой состоит в том, что оцифрованное изображение поступает на входы НС, которая формирует выходной сигнал, соответствующий текущей величине координат заданного объекта. Блок формирования результатов измерений преобразует выходной сигнал НС в числовую форму, а блок обучения НС корректирует весовые коэффициенты при смене предметной области измерений (рис. 1).
Каждый пиксель изображения попадает на один из входов НС, которая должна сформировать на своем выходе вектор, соответствующий коду координаты положения объекта на изображении. Блок обучения формирует матрицы весовых коэффициентов НС по изображениям
Рис. 1. Взаимодействие Н С с измерительной системой
обучающей выборки в режиме обучения, то есть адаптирует измерительную систему к новой предметной области измерений.
Рассматривается полносвязанная НС, основными характеристиками которой являются: количество слоев, количество нейронов в каждом слое, вид активационной характеристики. Вектор выходного сигнала НС представляет собой бинарный код измеряемой координаты (рис. 2).
Рис. 2. Структура Н С, формирующей на выходе координаты объекта
Бинарный код измеряемой координаты в простейшем случае может представлять собой соответствие положение-выход, то есть каждому положению объекта соответствует определенный выход, который должен быть равен & quot-1"- при этом положении объекта, а остальные выходы — & quot-0"-. Поскольку объект является протяженным, то его положение определяется по координате одной из характерных точек, например, самой нижней и левой точки. На рис. 3 приведены 7 различных положений объекта по вертикали (ось Х). Объекту соответствует маркерная метка в виде черного уголка.
Приведенные изображения можно использовать в качестве обучающей выборки. Обучение Н С осуществляется с целью определения
Рис. 3. Варианты положения объекта на изображении
вертикальной координаты объекта, при этом положение по горизонтали должно определяться другой параллельной НС или может игнорироваться. В качестве алгоритма обучения НС рассматривается метод обратного распространения ошибки [1], который является модификацией градиентного метода минимизации ошибки [2], учитывающий слоистую структуру сети.
Математическая модель НС и алгоритм обучения
Наиболее просто метод обратного распространения ошибки (МОРО) представляется в матричной форме. Прямое распространение сигнала по НС, состоящей из N слоев, описывается следующей системой уравнений:
'- X'-
5(1)=Ж (1) X
5(1)=Ж (1) X У
ли)-щ-(ы)
1
(1−1)
у (1)=/(*(1))
(1)
=Ж (& quot-) X У
N-1)
у (1)=д5(1)), … ,
у (и)= Д?^),
где X — входной сигнал НС- Ж (1) — матрица весовых коэффициентов г -того слоя- 5(1) — вектор синаптических сумм- У (г) — вектор выходных сигналов- /(.) — активационная функция, применяемая покомпонентно к элементам векторного аргумента- N — количество слоев в НС. Вектор входного сигнала наращивается единичной компонентой, так как необходимо ввести величину смещения в синаптическую сумму каждого нейрона.
Обратное распространение сигнала ошибки по НС позволяет вычислить корректирующие коэффициенты с помощью следующих уравнений:
5(и) = (У (и) — и)(У (и)-Ц7г), … ,
§(& quot-'-) =(((-+1))т. §('-¦+1) д (5(,))
Щ '- д5(г), -,
5(1) = ((2))Т. 5(2). Щ-±
(1)
с5(1)
где и — вектор эталонного выходного сигнала. Производные вычисляются покомпонентно для каждого вектора.
Коррекция весовых коэффициентов НС проводится с помощью следующих уравнений:
АЖ (1) =-^. 5(1). Хт, 1], … ,
АЖ (,) = -п. 5(°. У (,)т,., АЖ (и) = -п. 5(и). У (и)т, где п — коэффициент скорости обучения.
Моделирование работы НС с систематическим методом инициализации матриц весовых коэффициентов
Обучение Н С начинается с инициирования матриц весовых коэффициентов, то есть присвоения их элементам некоторых начальных значений. Если использовать нулевые начальные значения весовых коэффициентов, то НС будет & quot-мертвой"-, то есть она не будет реагировать на входные сигналы. В данной работе предлагается систематическая инициализация матриц весовых коэффициентов с целью обеспечения наглядности трансформации весовых коэффициентов. Начальные значения матриц были заданы с помощью следующей функции:
Щ, =. 2 -1,
, гк + }к
где г = 1. гк,} = 1. }к. Такая зависимость обеспечивает монотонный рост элементов матрицы по мере роста номеров строк и столбцов в пределах от -1 до +1. Значения матрицы лежат на наклонной поверхности в пространстве с осями г,}, Ж.
Моделирование проводилось на множестве из семи изображений, представленных на рис. 2, имеющих разрешение 11×7. Моделируемая Н С имела 3 слоя, последний слой состоял из 7 нейронов. Численные эксперименты проводились для двух конфигураций НС: 7×7×7 и 27×27×7, то есть в первой сети все слои имели по 7 нейронов, а во второй первый и второй слои имели по 27 нейронов. Активационная функция имела следующий вид:
2
/ (5) = ----- - 1.
1 + ехр (-5)
Обучение проводилось в течение 10 000 циклов по всем изображениям. Конечная невязка для заданных конфигураций НС имела величину & lt- 10−3. Графики значений матриц весовых значений до и после обучения для двух указанных конфигураций НС приведены на рис. 4 и 5.
Исходные значения матриц лежат на наклонных плоскостях, а новые значения показаны точками, которые находятся над и под плоскостью начальных значений. Конфигурация 7×7×7 является достаточной для решения стоящей задачи измерения, рассмотрение конфигурации 27×27×7 осуществлено с целью демонстрации свойств трансформации во втором и третьем слоях.
Рис. 5. Трансформация весовых матриц в результате обучения для НС, имеющей конфигурацию 27×27×7 относительно
исходных систематичных значений
Анализ результатов моделирования
Систематическое задание матриц весовых коэффициентов в момент инициализации НС позволило создать интегральную картину трансформации весовых коэффициентов, произошедшую в результате обучения НС.
Полученные графики позволяют наглядно интерпретировать основной результат исследования: трансформация матриц весовых коэффициентов в процессе обучения происходит согласованно с начальными значениями во всех слоях НС. Монотонный характер двумерной функции инициализации матриц весовых коэффициентов позволил выявить этот факт.
Детализованное сечение рис. 4 для матрицы весовых коэффициентов первого слоя НС дополнено информацией об одном из эталонных изображений и приведено на рис. 6.
Линия графика 11 образована нормализованными значениями интенсивности 77 пикселей первого изображения, приведенного на рис. 1 (х = 0). Линия Щ (') соответствует величинам 77 весовых коэффициентов первого нейрона первого слоя до обучения, а линия Ж1 — после обучения. Рис. 6 позволяет выделить группы коэффициентов, не изменивших свои значения в результате обучения, то есть области, в которых линии Щ (1) и Щ проходят через общие
Рис. 6. Согласованность трансформации весовых коэффициентов нейрона первого слоя и структуры эталонного
изображения
точки. Кроме того, четко видно соответствие между областями изменения интенсивности пикселей и областями существенного изменения значений весовых коэффициентов, то есть структура эталонного изображения определяет области трансформации матриц весовых коэффициентов.
Если в поле одного графика вывести линии изменения интенсивности для всех эталонных изображений, то выявляется четкое соответствие областей трансформации матриц весовых коэффициентов и множеством изменяющихся пикселей. Такой график приведен на рис. 7 для первого нейрона.
Рис. 7. Согласованность трансформации весовых коэффициентов нейрона первого слоя и множества изменяющихся
пикселей всех изображений обучающей выборки
Нет ни одного весового коэффициента, принадлежащего первому нейрону, который бы изменил начальное значение после обучения вне области изменяющихся пикселей эталонов.
Собирая в общее поле графики весовых коэффициентов для всех нейронов первого слоя можно выявить области трансформации в результате обучения НС, что показано на рис. 8.
Рис. 8. Трансформированные и не трансформированные весовые коэффициенты на множестве всех нейронов
первого слоя
Рис. 7 и 8 позволяют убедиться в совпадении области трансформации весовых коэффициентов для нейронов первого слоя и множества изменяющихся пикселей эталонных изображений. Весовые коэффициенты нейронов входного слоя изменяются в процессе обучения только в том случае, когда изменяются соответствующие им пиксели изображений обу-
чающей выборки. Нейроны внутренних слоев не имеют указанной связи с пикселями изображений.
Выводы
1. Матричная форма алгоритма обучения МОРО для нейронных сетей позволяет упростить внешний вид уравнений метода обучения.
2. НС способна успешно определять координаты объекта на изображении.
3. В результате обучения изменяются только те весовые коэффициенты первого слоя, на которые попадают сигналы изменяющихся пикселей изображений обучающей выборки.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Осовский, С. А. Нейронные сети для обработки информации // Финансы и статистика / С. А. Осовский. — М., 2002. — 344 с.
2. Дэннис, Дж. Численные методы безусловной оптимизации и решения нелинейных уравнений / Дж. Дэннис, Р. Шнабель. — М.: Мир, 1988. — 440 с.

ПоказатьСвернуть
Заполнить форму текущей работой