Новые алгоритмы обучения одноИ многомодульных дискретных нейронных сетей арт

Тип работы:
Реферат
Предмет:
Кибернетика


Узнать стоимость

Детальная информация о работе

Выдержка из работы

УДК 681. 513:620. 1
В.Д. ДМИТРИЕНКО, д-р техн. наук, НТУ & quot-ХПИ"- (г. Харьков),
О.А. ПОВОРОЗНЮК, НТУ & quot-ХПИ"- (г. Харьков)
НОВЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ ОДНО- И
МНОГОМОДУЛЬНЫХ ДИСКРЕТНЫХ НЕЙРОННЫХ СЕТЕЙ АРТ
Проанализированы недостатки алгоритмов обучения существующих дискретных нейронных сетей адаптивной резонансной теории (АРТ). Предложены новые алгоритмы обучения одно- и многомодульных дискретных нейронных сетей на основе генетических алгоритмов и алгоритмов обучения нейронных сетей АРТ без адаптации весов связей распределенных распознающих нейронов.
Ключевые слова: алгоритм обучения нейронных сетей, адаптивная резонансная теория (АРТ), нейронная сеть АРТ, генетический алгоритм.
Постановка проблемы и анализ литературы. Искусственные нейронные сети в последние 10 — 15 лет вызывают к себе повышенное внимание, поскольку с их помощью успешно решаются разнообразные сложные задачи, в том числе и задачи классификации [1 — 4]. Хотя многослойные перцептроны и целый ряд других нейронных сетей являются универсальными апроксиматорами функций и успешно используются во многих практических приложениях, однако они имеют и серьёзные недостатки:
— большое время обучения-
— не обладают свойством стабильности — пластичности, то есть способностью воспринимать и запоминать новую информацию без потери или искажения уже имеющейся-
— не могут выделять новую входную информацию, относя любой входной вектор (входное изображение) к одному из уже известных классов.
Эти недостатки существенно затрудняют использование нейронных сетей при решении практических задач, поскольку в реальных задачах, как правило, исходная информация на этапе обучения нейронной сети полностью неизвестна и может быть получена только при эксплуации реального объекта или системы, что требует многократного и трудоёмкого переобучения нейронной сети. Наличие этих существенных недостатков привело к разработке нового класса нейронных сетей — сетей адаптивной резонансной теории (Adaptive Resonance Theory (ART)), в которых в значительной мере решены проблемы стабильности — пластичности и обнаружения новой информации [3, 5].
Проблема большого времени обучения в нейронных сетях может решаться за счет использования модульного подхода, который характерен для мозга человека и высших животных [6] и широко используется в науке и технике. Этот подход предполагает разбиение сложной задачи на множество
отдельных подзадач, решение каждой из которых требует обучения существенно меньшей нейронной сети. Такой подход открывает и новые возможности в использовании нейронных сетей, например, создание иерархических систем распознавания и классификации. В частности, известны иерархические нейронные сети ART с разделением (Hierarchical ART with Splitting (HART-S)) и иерархические нейронные сети ART с объединением (Hierarchical ART with Joining (HART-J)).
На рис. 1 приведена сеть HART-J с тремя уровнями иерархии.
Рис. 1. Нейронная сеть HART-J с тремя уровнями иерархии
На каждом уровне иерархии используется дискретная нейронная сеть ART-1, архитектура которой приведена на рис. 2. Сеть ART-1 имеет три поля или слоя нейронов:
— поле или слой входных бинарных нейронов-
— слой бинарных интерфейсных нейронов, поля0 и Е часто рассматривают как одно поле и называют полем обрабатывающих нейронов-
2 — поле непрерывных распознающих 7-нейронов.
Распознающие нейроны 7-слоя могут находиться в одном из следующих состояний:
— неактивен (ивыхТ = 0), нейрон установлен в начальное состояние или
проиграл соревнование с другими распознающими нейронами при предъявлении текущего входного изображения-
— заторможен (ииыхГ =-1), изображение, хранящееся в весах связей
нейрона 7'- по параметру сходства не соответствует текущему входному изображению-
— активен (0 & lt- ивыхГ & lt- 2), выходной сигнал нейрона определяется
П __
в^іражением иЪых^ = Uвх. Yj =х ^(/ивьїх. Zi ' ] 1, т —
І=1
— активен (С/выхГ = 1, ивых1к = 0, к = 1, т, к Ф у), распознающий нейрон 1 является победителем при предъявлении текущего изображения.
Рис. 2. Архитектура нейронной сети ART-1
Архитектура нейронной сети ART-1 включает также три управляющих нейрона: R, G1 и G2. Нав рис. 1 нейроны G1 и G2 каждого модуля условно
показаны одним нейроном Gi (i = 1,3).
Большинство связей между нейронами сети ART-1 являются возбуждающими:
— все связи от нейронов входного слоя к Z-нейронам и управляющим нейронам G1, G2 и R-
— все связи между нейронами Y- и Z-слоев- при этом из-за наличия большого числа связей между нейронами на рис. 2 обозначена только одна
1 2
пара связей с весами Wj, Wji-
— от управляющих нейронов G1, G2 к нейронам Z- и Y- слоев.
Тормозящие сигналы передаются только по связям от интерфейсных
нейронов к управляющему нейрону R, от нейронов Y-слоя к нейрону G1 и от R-нейрона к распознающим нейронам. Все связи нейронной сети передают только бинарные сигналы.
Нейроны полей F1 и F2 переходят в активное состояние по правилу & quot-два из трёх& quot-, то есть при наличии возбуждающих сигналов из двух различных источников. Y-нейроны переходят в активное состояние только при наличии

единичных сигналов как от интерфейсных элементов, так и от управляющего нейрона 02- 2-нейроны переходят в активное состояние при наличии либо единичных сигналов от Б-нейрона и управляющего нейрона 01, либо единичных сигналов от элементов входного и выходного полей нейронной сети.
Нейронная сеть может работать в двух режимах — обучения и распознавания. Будем полагать, что в основу первого режима положен метод быстрого обучения [7], предполагающий, что веса связей победившего распознающего нейрона достигают равновесных значений при предъявлении любого входного изображения. На основе этого метода предложен алгоритм обучения дискретных нейронных сетей АЯТ-1 [7].
Цель статьи — анализ недостатков известных алгоритмов быстрого обучения дискретных одномодульных и иерархических сетей АРТ и разработка новых алгоритмов обучения этих нейронных сетей.
Общий алгоритм обучения дискретных нейронных сетей АКТ-1 и его анализ. Обозначения, принятые в алгоритме:
п — число нейронов во входном и интерфейсном слоях и число бинарных компонент во входных изображениях или векторах-
Б1 = (Б (, Л12, Б1п) — п-мерный входной вектор, I = 1, д —
q — число обучающих векторов-
т — максимальное число распознаваемых образов (и число нейронов в поле ^2) —
и, = (и, и, …, и ,), и, = (и, и, …, и ,) — со-
вх.Л вх. Б| вх. Б2 вх. Бп вых. Л вых. Л| вых. Л2 вых. Лп
ответственно п-мерный бинарный вектор входных и выходных сигналов элементов Б-слоя при подаче на его вход изображения Б1-
и-вх.2 = (иЕх1 — ивх. 22 ' …' ивх. 2п)' ивых2 = (ивых1 — ивых2 ' ивых_2п) — соответственно п-мерный бинарный вектор входных и выходных сигналов нейронов интерфейсного слоя-
ивх.7 = (ивх. 71 & gt- ивх. Г2, …, ивх! п), ивыхГ = (^вых! & gt- ивыхГ2, -., ивыхТп) — соответственно т-мерный вектор входных и выходных сигналов элементов 1-слоя-
||Б|| - норма вектора Б-
р (0 & lt- р & lt- 1) — параметр сходства между двумя изображениями — входным и хранящемся в весах связей победившего распознающего нейрона-
м& gt-!- веса связей, соответственно от нейрона к нейрону Т] и от
элемента Т] к элементу 2{,
Ь — константа-
ивыхЛ- ивых. С1 — ивых. 02 — выходНЫе сигналы нейр°н°в Gl, G2, Я.
Шаг 1. Инициируются параметры р, Ь, веса связей м& gt-1, м& gt-2 и выходные сигналы нейронов Я, 01у 02 и Б-слоя. Рекомендуемые значения:
L = 2- w1 = 1/(1 + n) — w2 = 1- і = 1, n- j = 1, m-
UBЫXR UB^IX. Gi UE^IX. G2 UBbIX. S- 0 i 1
Шаг 2. Выполняются шаги 3 — 12 алгоритма до тех пор, пока не выполнятся условия останова на шаге 12.
Шаг 3. Для каждого входного вектора Sl =(S (, Sl2, Sln), l = 1, q,
выполняются шаги 4 — 11 алгоритма.
Шаг 4. Задаются выходные сигналы всех 7-нейронов: ив1×7 = 0,
j =1,m.
Активизируются входным вектором Sl нейроны входного слоя:
U i =Sl, i = 1, n, и вычисляется норма вектора сигналов U l:
вых. S'- i r r вых-S1
III II II n
U i = S'-l = ^ Sl. Определяются выходные сигналы управляющих
ИЛХ. i^
нейронов G1 и G2: ив^1х. о1 = Uвых. 02 = 1, если |Sl & gt- 1.
Шаг 5. Определяются входные и выходные сигналы нейронов Z-слоя:
Uвx. Zi = Uвыx. Si ' Uвыx. Zi = Uвx. ZiUвыx. Gl, 1 =1,n-
Шаг 6. Для каждого распознающего незаторможенного 7-элемента
(ивых1^ * -1) в^1числяется его выходной сигнал: ивых1, =ивых 2. м>-1, ] = 1, т.
і=1
Шаг 7. Пока не определен элемент 7/, вектор весов связей которого по величине параметра сходства р соответствует вектору Б1, выполняются шаги 8 — 10 алгоритма.
Шаг 8. В слое распознающих нейронов определяется элемент 7/, выходной сигнал которого удовлетворяет условию ивых^ & gt- ивыхГ, ] = 1, т.
При наличии нескольких таких нейронов выбирается нейрон с наименьшим индексом. Нейрон 7/ становится победителем при текущем предъявлении изображения Б1 и ивіх г =1. Этот сигнал затормаживает управляющий нейрон
Оі. Если ивыхТ = -1, то входной вектор не может быть распознан и запомнен,
поскольку все нейроны распознающего слоя заторможены.
Шаг 9. По правилу & quot-два из трех& quot- определяются сигналы на выходах
г-элементов: uшлxZ =uJыlxS w2Jl, а затем — шрма вект°ра иЪЪ1х. 2:
n
(^вых^Ц = ^^UBЫX. Zi • i=1
Шаг 10. С помощью заданного значения параметра сходства определяется условие возможности обучения выделенного элемента YJ
входным изображением Sl. Если ||UBbIxZ||/||sl|| & lt- p, то обучение невозможно, нейрон Yj затормаживается (Uв^1хТ/ = -1,) и начинается поиск нового нейрона-
победителя в Y-слое переходом на шаг 7 алгоритма. Если fU^^I/ls1! & gt- p, то
обучение элемента YJ возможно.
Шаг 11. Корректируются веса связей нейрона YJ с помощью соотношений:
1 вых Z, 2 -Л
WJ = т Л Пгг--------ii, Wji = Uвых. Z, —, 1 = 1 n. (1)
L -1 + 1U въ^Ц '-
Шаг 12. Проверяются условия останова работы алгоритма: отсутствие изменения весов связей нейронной сети в течение эпохи- достижение заданного числа эпох и т. д.
Шаг 13. Останов.
Если в режиме обучения найденный прототип, хранящийся в весах связей сети, модифицируется, чтобы стать более похожим на предъявленный
нейронной сети вектор, то в режиме распознавания веса связей,
распределенных на этапе обучения нейронов сети, остаются неизменными. В остальном алгоритмы обучения и распознавания сети ART-1 очень похожи [5]. Не распределенные во время обучения распознающие нейроны могут как накапливать новую информацию, так и не использоваться.
Зная алгоритмы функционирования нейронной сети ART-1, рассмотрим пример классификации с помощью нейронной сети HART-J (рис. 1) следующего множества двоичных векторов:
51 = (1 111), S5 = (111), S9 = (1 110 000), S13 = (11),
52 = (11 111 100), S6 = (1 101), S10 = (10 110 000), S14 = (11 010 000).
53 = (11 110 000), S7 = (1 011), S11 = (111 111),
54 = (11 000 000), S8 = (11 100 000), S12 = (111 100),
Пусть сеть ART-1 на первом уровне иерархии в сети HART-J имеет следующие параметры: m = 14- n = 8- q =14- L = 2- p = р1м = 0,75 — параметр сходства- м^1м)(0) = 1/(1 + n) = 0,111- (i =1,n- j = 1, m) — начальные веса связей от нейронов Z-слоя к распознающим Y-элементам модуля- W2M (0) = 1- (i = 1, n- j = 1, m) — начальные веса связей от распознающих Y-нейронов к Z-нейронам, где индекс 1 м указывает на принадлежность
параметров первому модулю НАЯТ-.!.
Будем полагать, что модули второго и третьего уровней иерархии сети НАЯТ-1 отличаются от модуля первого уровня только параметрами сходства: р2м = 0,6 и р3м = 0,33, где р2м и р3м — соответственно параметры сходства для второго и третьего модулей сети НАЯТ-1.
Обучение сети НАЯТ! выполним с помощью алгоритма, обучающего модули иерархической сети последовательно, начиная с первого модуля. При этом, обучение каждого последующего модуля начинается только после окончания обучения предыдущего модуля. Обучающие двоичные вектора на вход сети НАЯТ! подаются циклически, начиная с Б1: Б1, Б2, …, Б14, Б1, Б2, …
При предьявлении первого вектора Б1 = (1 111) в результате выполнения шагов 1 — 11 алгоритма получим, что победителем будет нейрон
7]1м. Веса связей этого нейрона определяются по соотношениям (1):
41м) = 41м) = цм = 41м) = 0- 41м) = м$м) = 41м) = 41м) = 0,4-
М2|1м) = м^1м) = м1 м) = & gt-41м) = 0- м21м) = & gt-41м) = м21м) = м21м) = 1.
В результате распределения первого распознающего нейрона, матрицы весов связей первого модуля примут вид, приведенный в табл. 1 и 2, где
^ 1(1м), W21м) — соответственно матрицы весов от 2-элементов к 7-элементам и от 7-элементов к 2-нейронам.
Таблица 1
Матрица весов связей W11м) после распределения первого распознающего
нейрона
Нейрон 7-слой у 1 м 1 2 у1м М4
2-слой
2і1м 0 0,111 0,111
V 1 м 22 0 0,111 0,111
V 1 м 23 0 0,111 0,111
V 1 м 24 0 0,111 0,111
251 м 0,4 0,111 0,111
7 1 м 26 0,4 0,111 0,111
271 м 0,4 0,111 0,111
281 м 0,4 0,111 0,111
Анализ структуры нейронной сети АРТ-1 (рис. 2), соотношений (1) и табл. 1 и 2 показывает, что матрица весов связей W2 любого модуля / (/ = 1,3) однозначно определяется по матрице W1, поэтому в дальнейшем будем анализировать только матрицу W1ш) / = 1,3 весов связей от элементов 2-слоя к распознающим элементам 7-слоя.
После предъявления второго входного вектора Б2 = (11 111 100) в
результате выполнения шагов 3 — 8 алгоритма нейроном-победителем в 7-слое становится нейрон 711 м. Однако, определение параметра сходства
р1м = ||^ ||/||б 2|| = 2/6 & lt- 0,75 показывает, что входной вектор недостаточно
похож на вектор, хранящийся в весах связей нейрона 7 г 1 м.
Таблица 2
Матрица весов связей Ж 21м^ после распределения первого распознающего
нейрона
Нейрон 2-слой 21 м 1м 2 2 & lt--7 1 м 2 3 1 м 2 4 1 м 2 5 1 м 2 6 1 м 2 7 1 м 28
7-слой
71 м 0 0 0 0 1 1 1 1
•у 1 м 7 2 1 1 1 1 1 1 1 1

у 1 м 714 1 1 1 1 1 1 1 1
Поэтому нейрон 711 м затормаживается и распределяется нейрон 721 м, веса связей которого корректируются по соотношениям (1):
«$"& gt- = „„& quot->- =. .= „1'& quot-) = 0,286- = „¦"& quot-'- = 0-
„& lt-2?"-) = ,*. |21“)= …= ^-2б1м) = 1- = щ|8,"1 = 0.
После окончания первой эпохи обучения (последующего предъявления векторов Б3, Б4, …, Б14) матрица весов связей Ж11м) принимает вид, приведенный в табл. 3.
Таблица 3
Матрица весов связей Ж11м) после первой эпохи обучения
Ней- рон 7-слой 71 м 1м 1 2 у 1 м 7 3 1 м 7 4 у 1 м 7 5 у 1 м 7 6 у 1 м 77 у 1 м 78 у 1 м 7 9 у 1 м М0 у1м 714
2- слой
2Ы 0 0,667 0 0 0,5 0 0,5 0 0,5 0,111 0,111
2,1 м 0 0,667 0 0 0,5 0,5 0 0 0,5 0,111 0,111
2з1м 0 0 0 0 0,5 0,5 0,5 0,4 0 0,111 0,111
241 м 0 0 0 0 0 0,5 0,5 0,4 0,5 0,111 0,111
251 м 0 0 0,5 0,5 0 0 0 0,4 0 0,111 0,111
V 1 м 26 0 0 0,5 0 0 0 0 0,4 0 0,111 0,111
271 м 0,667 0 0 0,5 0 0 0 0 0 0,111 0,111
V 1 м 28 0,667 0 0,5 0,5 0 0 0 0 0 0,111 0,111
Во время второй эпохи обучения распределяется еще три 7-нейрона и матрица весов связей Ж11 м) приобретает окончательный вид (табл. 4).
После окончания обучения первого модуля иерархической сети ИЛЯТ-1 начинается обучение второго модуля, который имеет те же начальные параметры, что и первый модуль, за исключением параметра сходства, который для этого модуля меньше: р2м = 0,6. Обучение начинается с предъявления первому модулю сети входного вектора Б1 = (1 111). Нейроном-победителем первого модуля становится 73'-м, а на выходе нейронов
2-слоя этого модуля появляется вектор и 1 м = (1 101), который поступает на вход Б-нейронов второго модуля: и ,(2м) = и 2 м, где индекс
вх .^ вых. ?
2 м указывает на принадлежность ко второму модулю сети ИЛЯТ-І
Таблица 4
Матрица весов связей W1(1м) после второй эпохи обучения
Ней- рон й о л с-
2- слой У11м у1м 1 2 у 1 м 1 3 1 м 1 4 1 м 15 1 м 1 6 1 м 17 1 м 18 1 м 1 9 1 м 110 1 м 111 1 м 112 1 м 113 1 м 114
211 м 0 0,667 0 0 0,5 0 0,5 0 0,5 0,286 0 0 0,111 0,111
V 1 м 22 0 0,667 0 0 0,5 0,5 0 0 0,5 0,286 0 0 0,111 0,111
V 1 м 23 0 0 0 0 0,5 0,5 0,5 0,4 0 0,286 0 0,286 0,111 0,111
V 1 м 24 0 0 0 0 0 0,5 0,5 0,4 0,5 0,286 0 0,286 0,111 0,111
251 м 0 0 0,5 0,5 0 0 0 0,4 0 0,286 0 0,286 0,111 0,111
V 1 м 26 0 0 0,5 0 0 0 0 0,4 0 0,286 0,5 0,286 0,111 0,111
271 м 0,667 0 0 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111
V 1 м 28 0,667 0 0,5 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111
Распоз. вектора Б13 Б4 Б1, Б6 Б7 Б3, Б8 Б9 Б10 Б12 Б14 Б2 Б5 Б11 — -
При предъявлении первого обучающего вектора и 1(2м) второму модулю иерархической нейронной сети в результате выполнения шагов 1 — 11 алгоритма обучения победителем становится нейрон 72 м. Веса связей этого нейрона по соотношениям (1), имеют следующие значения:
м12м) = 42м) = = м42м) = Ц (2м) = 0- 42м) = 42м) = ^1(2м) = 0,5-
^2(2м) = = ^2(2м) = & gt-42м) = м22м) = 0- м^2м) = м22м) = ^2(2м) = 1.
Последующее предъявление на вход сети ИЛЯТ-І векторов Б1, Б2, …, Б14 приводит к появлению на входе второго модуля обучающей последовательности векторов:
Б1(2м) = (1 101), Б5(2м) = (111), Б9(2м) = (1 110 000), Б13(2м) = (11),
Б2(2м) = (11 111 100), Б6(2м) = (1 101), Б10(2м) = (10 110 000), Б14(2м) = (11 010 000).
Б3(2м) = (11 100 000), Б7(2м) = (1 011), Б11(2м) = (111 111),
Б4(2“) = (11 000 000), Б8(2м) = (11 100 000), Б12(2м) = (111 100),
Обучение второго модуля иерархической нейронной сети выполняется за три эпохи, в результате чего получается матрица весов связей приведенная в табл. 5.
Таблица 5
Матрица весов связей W ^2м^ после окончания обучения второго модуля сети НАЯТ-1
Нейрон о л СJ 72 м 2м 1 2 2 м 73 2 м 1 4 2 м 1 5 2 м 1 6 2 м 1 7 2 м 114
Z-слой
Z12м 0 0, бб7 0 0 0 0 0,111 0,111
Z22“ 0 0, бб7 0 0 0 0 0,111 0,111
Z32“ 0 0 0 0,667 0 0,4 0,111 0,111
Z42“ 0 0 0 0,667 0 0,4 0,111 0,111
Z52″ 0 0 0 0 0,667 0,4 0,111 0,111
V 2 мб 0, бб7 0 0 0 0,667 0,4 0,111 0,111
Zy2″ 0 0 0,667 0 0 0 0,111 0,111
V 2 м Z8 0, бб7 0 0,667 0 0 0 0,111 0,111
Распоз. вектора S1, S6 S3, S4, S8, S14 S5, S7 S13 S9, S10 — S2, S11 S12 — - -
Аналогично второму модулю сети HART-J обучается и ее третий модуль при параметре сходства р3м = 0,33. Входная последовательность для этого модуля (при неизменяемой входной последовательности обучения S1, S2, …, S14 для первого модуля сети) будет следующая:
S11″ = (101), S51″ = (11), S91″ = (110 000), S13(2h) = (11),
S2(2h) = (111 100), S5(2h) = (101), S10(2h) = (110 000), S141″ = (11 000 000).
S3(2″) = (11 000 000), S7(2h) = (11), S111″ = (111 100),
S4(2h) = (11 000 000), S8(2h) = (11 000 000), S12(2h) = (111 100),
В результате обучения третьего модуля получается матрица весов связей
W1зм, приведенная в табл. 6.
Таким образом, первый модуль сети HART-J разбивает исходные 14 векторов на 12 классов, второй — на пять и третий — на три. Рассмотрим детально результаты примера.
Анализ входной последовательности, алгоритма обучения нейронной
сети ART-1 и матрицы весов связей W1ім показывает, что если вектора S6, S7 во входной последовательности поменять местами, то разбиение входных векторов на классы первым модулем изменится, поскольку нейрон 731 м будет относить к одному классу вектора S1 и S7, а вектор S5 запомнится нейроном
Г41м как представитель отдельного класса. Подобная ситуация возникает и в отношении тройки векторов S3, S8, S9, точнее, нужно рассматривать не три вектора, а пять: S3, S8, S9, S10, S14, поскольку класс из двух векторов с вектором
Б3 может (в зависимости от изменения порядка следования векторов & amp- (/ = 1, 14) во входной последовательности) образовывать любой из векторов Б8, Б9, Б10, Б14, так как каждый из них отличается от вектора Б3 только одним единичным элементом.
Таблица 6
Матрица весов связей Ж1зм^ после окончания обучения ______________третьего модуля сети ИЛКТ-1_______________________
Нейрон -о о YЗм у Зм 1 2 у Зм 1З у Зм 1 4 у Зм 114
Z-слой
21Зм о о о, бб7 о, 111 о, 111
V Зм Z2 о о о, бб7 о, 111 о, 111
V Зм 2З о о, бб7 о о, 111 о, 111
V Зм Z4 о о, бб7 о о, 111 о, 111
о о о о, 111 о, 111
V Зм 2б о о о о, 111 о, 111
2Ъм о о о о, 111 о, 111
7 Зм Z8 1 о о о, 111 о, 111
Распоз. вектора S1, S5, S6, S7, Sn S2, S9, Sm, S11, S12 S3, S4, S8, S14 — - -
В связи с этим напрашивается алгоритм обучения одно- и многомодульных нейронных сетей ART с изменяющейся входной последовательностью. Поскольку q входных обучающих векторов можно упорядочить q! способами, то полный перебор всех входных последовательностей векторов реален только при небольших значениях q. Поэтому в реальных задачах при больших значениях q целесообразно использовать эволюционные методы поиска приемлемых решений, в частности, генетические алгоритмы. В генетических алгоритмах объекты эволюции — хромосомы, представляющие собой закодированные решения рассматриваемой задачи. Поэтому в качестве хромосом при генерировании начальной популяции в рассматриваемой задаче необходимо брать некоторое множество возможных входных последовательностей. Полученные особи (хромосомы) оцениваются одним или несколькими критериями и с помощью тех или иных операторов селекции [8, 9] лучшие из них отбираются для воспроизводства (репродукции) потомков с помощью генетических операторов: скрещивания (простого или одноточечного, двухточечного, упорядоченного, циклического и т. д.), мутаций (различных видов), инверсии (поворотов хромосом или ее участков на 180 градусов). Процесс селекции и воспроизводство потомков продолжается до тех пор, пока улучшается качество получаемых решений рассматриваемой задачи.
Видимо, несложно придумать задачу, где множество векторов S3, S8, S9, S10, S14 или векторов: S1, S5, S6, S7 должно относиться к одному классу, однако классические и генетические алгоритмы обучения дискретных сетей ART не
позволяют получить такие классы при любом порядке векторов S (i = 1, 14) во входной последовательности.
С целью расширения возможностей обучения дискретных нейронных сетей ART в работе [10] предложены алгоритмы обучения без коррекции весов связей распределенных нейронов. Однако запрет коррекции весов связей всех распределенных 7-нейронов имеет и свои отрицательные стороны. Например, если вектора S2 и S11 подать первыми, то все множество входных данных разобьется только на два класса (хотя в каких-то задачах классификации это может быть и лучшим решением). Если подавать входную последовательность векторов в первоначально заданном порядке, но запретить адаптацию весов связей нейронов, запомнивших векторы S1 и S3, то при р1м = 0,75 получим
следующую матрицу весов связей W1lH) и классы векторов (табл. 7).
Таблица 7
Матрица весов связей после окончания обучения
первого модуля сети ИЛКТ-1
Нейрон о л О 71 м 1м 1 2 1 м 11 1 м 1 4 1 м 1 5 1 м 16 1 м 114
Z-слой
211ш 0 0 0,4 0 0,286 0,111 0,111
v 1 м Z2 0 0 0,4 0 0,286 0,111 0,111
v 1ш Z3 0 0,4 0,4 0,286 0,286 0,111 0,111
v 1ш Z4 0 0,4 0,4 0,286 0,286 0,111 0,111
2з1ш 0,4 0,4 0 0,286 0,286 0,111 0,111
v 1 м Z6 0,4 0,4 0 0,286 0,286 0,111 0,111
і71ш 0,4 0 0 0,286 0 0,111 0,111
7 1 м Z8 0,4 0 0 0,286 0 0,111 0,111
Распоз. вектора S1, S5, S6, S7, S13 S2 S3, S4, S8, S9, S10, S14 S11 S12 — - -
В соответствующие классы векторов вошли также векторы 54 и ?13, хотя они отличаются соответственно от векторов ^ и ?3 не одним, а двумя двоичными разрядами. Это связано с особенностью определения параметра сходства, которая становится существенной при запрещении адаптации весов связей распределенных нейронов. Рассмотрим определение параметра сходства р1м при подаче на вход обученного первого модуля сети вектора ?13. Нейроном победителем в этом случае станет нейрон 711 м, а параметр сходства определится выражением
^1м=К^м (г11м ¦ ^)||/и- (^11=К!м). о?13))/!^ о?13!
где и 1 м (7/м, ?13) — норма вектора выходных сигналов нейронов 2-слоя
ц вых. Л ц
при нейроне-победителе 711 м и входном векторе сети З13- ||ивых5 С?13)| - норма вектора выходных сигналов нейронов-слоя при входном векторе сети ?13- (^21^' ^вых5С3)) — скалярное произведение вектора весов связей от
нейрона-победителя У11м к элементам Z-слоя и вектора выходных сигналов элементов S-слоя.
Поскольку ^72(!м) = (W 21м), ^2,(1м), …, W 21м)) =(1 111) и
ивЫх.5 (S13) =(11), то
p1м = W2М, ^ (S13)) / (S13)|| = (І)/||(0П)|| =
г=1
= 2/2 = 1.
Поэтому в тех случаях, когда запрещена адаптация весов связей всех или части распреденных распознающих нейронов и нежелательно формирование классов векторов с большим расстоянием по Хеммингу между ними, необходимо вводить дополнительный параметр сходства рх, учитывающий расстояние по Хеммингу, или отношение вида
p* =
Sв:
Wj2z
где р* - дополнительный параметр сходства- р» Ц — норма входного вектора
нейронной сети- jjwfz || - норма весов связей от нейрона-победителя J к Z-слою нейронов.
Если в рассматриваемом примере использовать дополнительный параметр сходства, потребовав, например, чтобы расстояние по Хеммингу рх между входным вектором и вектором весов связей от нейрона-победителя YJ к элементам Z-слоя не превышало единицы или выполнялось условие р* & gt- 0,75, то входные вектора S4 и S13 будут запомнены отдельными распознающими Y-нейронами, т. е. выделятся нейронной сетью как отдельные классы.
В заключение отметим, что генетические алгоритмы обучения нейронных сетей ART могут использоваться совместно с алгоритмами обучения нейронных сетей ART с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.
Выводы. Проанализированы недостатки известных алгоритмов обучения дискретных нейронных сетей адаптивной резонансной теории, не позволяющие их эффективно использовать в реальных системах распознавания и классификации. Впервые для обучения одно- и
многомодульных дискретных нейронных сетей ART предложены генетические алгоритмы, алгоритмы обучения с частичным запрещением адаптации весов связей распределенных распознающих нейронов, а также генетические алгоритмы с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.
Список литературы: 1. Xaйкuн С. Нейронные сети: Полный курс. — М.: Вильямс, 2006. — 1104 с. 2. Бодянсшй Е. В., Руденко О. Г. Искусственные нейронные сети: архитектура, обучение, применение. — X.: TEЛETEX, 2004. — 372 с. 3. Комaрцовa А.Г., Maксuмов А. В. Нейрокомпьютеры. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2002. — 320 с. 4.луштн А. И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2. — М:. Горячая линия — Телеком, 2004. — 464 с. 5. Grossberg S. Competitive learning: from interactive activation to adaptive resonance // Cognitive Science. — 1987. — Vol. 11. — P. 23−63. б. Bartfai G. Whrite R. ART-based Modular Networks for Incremental Learning of Hierarchical Clustering. Technical Report CS-TR-96/11. Department of Computer Science. Victoria University of Wellington. New Zealand, 1996. — P. 1−28. 7. FausettL. Fundamentals of Neural Networks. Arhitectures, Algorithms and Applications. — New Jersey: Prentice Hall International, Inc., 1994. — 461 p. 8. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г. К. Вороновсшй, К.В. Мосо-^^ло, С.Н. Пemрaшeв, С. А. Сергеев — X.: Основа: 1997. — 112 с. 9. Глaдков Л.А., Курейчш В. В., Курейчш В. М. Генетические алгоритмы. — М.: Физматлит, 2006. — 320 с. 10. Дм^і^-^^е^^о В.Д., Носков В. И., Xaвuнa И.П. Aлгоритмы обучения дискретных сетей APT без адаптации весов связей распределенных распознающих нейронов / Вісник НТУ '-^ПІ& quot-. Збірник наукових праць. Тем. вип.: Інформатика і моделювання. — Xарків: НТУ ^ПІ& quot-. — 2006.- № 23. — C. 35−48.
УДК 681. 513:620. 1
Нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж АРТ / Дмитрієнко В.Д., Поворознюк О. А. // Вісник НТУ '-^ПІ& quot-. Тематичний випуск: Інформатика і моделювання. — Xарків: НТУ '-^ПІ& quot-, 2008. — № 24. — С. 51 — 64.
Проаналізовано недоліки алгоритмів навчання існуючих дискретних нейронних мереж адаптивної резонансної теорії (APT). Запропоновано нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж на основі генетичних алгоритмів і алгоритмів навчання нейронних мереж APT без адаптації ваг зв'-язків розподілених нейронів, що розпізнають. Іл.: 2. Табл.: 7. Бібліогр.: 10 джерел.
Ключові слова: алгоритм навчання нейронних мереж, адаптивна резонансна теорія (APT), нейронна мережа APT, генетичний алгоритм.
UDC 681. 513:620. 1
New algorithms of the education one- and multimodul discrete neural networks ART I Dmitrienko V. D., Povoroznyuk O. A. // Herald of the National Technical University & quot-KhPI"-. Subject issue: Information science and modelling. — Kharkov: NTU & quot-KhPI"-, 2008. — № 24. — P. 51 — 64.
It have been analysed defects of education algorithms of existing discrete neural networks for adaptive resonance theory (ART). It have been offered new algorithms of e education one- and multimodul discrete neural networks based on genetic algorithms and algorithm of education neural networks ART without adapting weight relations of portioned recognizing neurons. Figs: 2. Tabl.: 7. Refs: 10 sources.
Key words: algorithm of education neural networks, adaptive resonance theory (ART), neural network ART, genetic algorithm.
Посmуnuлa в рeдaкцuю 25. 04. 2008

ПоказатьСвернуть
Заполнить форму текущей работой