Исследование векторных нейронных сетей с бинаризованными синаптическими коэффициентами для задач обработки информации и принятия решения

Тип работы:
Диссертация
Предмет:
Системный анализ, управление и обработка информации
Страниц:
168


Узнать стоимость

Детальная информация о работе

Выдержка из работы

Традиционно системы управления для автоматических устройств конструировались на основе описания математических моделей объектов управления [1]. При этом уравнения, описывающие состояние управляемых объектов, и внешние воздействия предполагались известными. Такая полная определенность позволяла использовать аналитический аппарат математики для решения проблем теории управления. Однако область применимости этих подходов оставалась ограниченной, особенно в условиях, когда внешние воздействия, как задающие, так и возмущающие, непрерывно изменяются во времени и не могут быть однозначно определенны, что характерно для реальных ситуаций [2]. В тоже время, учет нелинейных свойств объектов управления, их взаимодействия в сложных системах резко усложняет математические модели объектов и процессов, и во многих случаях делает их построение практически невозможным.

В связи с возникающими трудностями, интерес представляют способы построения систем управления на основе подходов, которые реализуются природой в живых организмах. Действительно, системы управления живыми организмами в природе обеспечивают высокую обучаемость и приспосабливаемость к изменяющимся. условиям среды обитания. Задача восприятия сигналов, их обработки в биологических системах решена развитием нервной системы-мозга, которая обеспечивает управление многоклеточным организмом, независимо от ее формы и среды обитания. В свою очередь, работа мозга основана на ассоциативном: мышлении, которое способно распознавать образы и определять управление. Осознание этого факта и привело к идее создания и применения методов распознавания образов в слабо формализованных областях науки: при распознавание текста, геологии, медицине, химии, биологии и др. Широкое распространение методов распознавания в науке происходит по двум причинам [3]: о для их применения требуется меньшая точность в описании исследуемого объекта, чем при применении других методов математики- о идея принятия решения на основе прецедентности является естественной.

Так, глубокое развитие получили системы распознавания образов в работах академика Ю. И. Журавлева [3−5] и его учеников — К. В. Рудакова [6] и д.р., на основе выдвинутого им & quot-алгебраического подхода& quot-. Действительно, проблема решения конкретной модели в рамках заданного множества параметров сводится к поиску их оптимальных значений. Ю. И. Журавлев отметил противоречие этого подхода: если модель содержит & quot-мало параметров& quot-, то оптимальный в ней алгоритм не будет иметь высокое качество. Если же модель имеет много & quot-степеней свободы& quot-, то сама проблема поиска оказывается настолько трудоемкой, что приходится ограничиваться локальными экстремумами невысокого качества. Идея подхода заключается в следующем: если решение не удается найти в заданном множестве, то его можно построить в соответствующем расширении. Методы такого расширения, полнота, корректность, устойчивость и составляют теорию & quot-алгебраического подхода& quot- [3−5] к решению задач распознавания или классификации.

Другое направление работ связано с появлением математической модели нейрона Маккалока-Питса [7]. Оно привело к созданию нейронных сетей: о решающих задачи классификации — перцелтрон Розенблата [8]- о реализующих ассоциативную память — сети Хопфилда [2], векторные сети и др.

Важную роль для этого направления сыграла работа академика А. Н. Колмогорова [9].

В настоящей работе исследуются векторные нейронные сети (ВНС), реализующие ассоциативную память.

§ 1.1. Обзор литературы

Вначале дается обзор нейронных сетей, реализующих ассоциативную память, синаптические связи которых вычисляются по правилу Хебба [10]:

Хопфилд в 1982 году предложил полносвязную рекуррентную нейронную модель авто-ассоциативной памяти [11]. Была измерена емкость памяти, величина которой составила 15% от размерности сети N (М = 0. 15JV). Впервые было введено понятие энергии нейронной сети, которая в процессе работы нейронной сети монотонно понижается. Хопфилд показал, что эта энергия ограниченна и в силу монотонности ее понижения процесс распознавания конечен, а эталонные векторы, записываемые в нейронную сеть по правилу Хебба, являются локальными минимумами введенного им энергетического функционала. Кроме того, Хопфилд установил изоморфизм между рекуррентной сетью и изинговой моделью (Ising model) системы взаимодействующих спинов, используемой в статистической физике. Эта аналогия породила большое количество модификаций модели Хопфилда с целью увеличения емкости памяти. Однако предложенные модели имели столь же невысокие показатели, как и исходная модель Хопфилда.

В период 1985—1987 гг. Амит, Гудфренд и Шомполинский [12] на основе статфизических методов развивают подход, позволяющий получить аналитическую оценку емкости памяти (М = N/lnN) и вероятности ошибки распознавания модели Хопфилда.

В 1980—1999 гг. Пальм активно анализирует различные модели ассоциативных сетей [13−19] с точки зрения информационной емкости и эффективности (количества бит сохраненной информации приходящейся на синапс). Пальм исследует различные бинарные нейроархитектуры — рекуррентную, перцептронную и двунаправленную, а также нейросети с бинарными синапсами и показывает, что сети с бинарными синапсами превосходят по информационной емкости все остальные модели. В своих работах Пальм использует редкое кодирование.

В 1991—1999 гг. Фролов и Муравьев различными методами исследуют нейронные сети хопфилдова типа с редким кодированием [20−26]. Анализируют информационную емкость, качество воспроизведения и размер области притяжения. Исследуют асимптотические свойства ассоциативной памяти. Показывают, что оптимальная разреженность близка к уровню нервной активности. Разработали алгоритм, позволяющий моделировать нейронные сети экстремально большой размерности (до 1,5 -105 нейронов).

В 1988 году Кантер [27] по аналогии с физической моделью спинового магнетика Поттса [28,29] выдвигает модель нейронной сети, нейроны которой могут иметь более двух различных состояний. Каждое состояние нейрона описывается вектором Q -мерного пространства, принадлежащему набору из Q специальных (поттсовских) векторов, где Q>. 2 — число различных состояний нейрона. Эта модель получает название «Поттс-стекольной нейросети& raquo- (Potts-glass neural network). В своей работе Кантер, применяя подход, развитый группой Амита, получает, что емкость памяти Q{Q-)i2 раз больше емкости сети Хопфилда (М = NQ (Q -1) / 4 In NQ).

В период 1991—1994 гг. начинается активное исследование модели Поттса [30−35], такими авторами как Болле, Ван Моурик, Дюпонт, Вогт, Зипелиус и многим другими.

В 1995 году Накамура [36] исследует модель ассоциативной нейронной сети, в которой состояние нейрона описывается единичным вектором, на направление которого не накладываются никаких ограничений. Исследования показали неудовлетворительные результаты — невысокую емкость памяти (М = 0. 07. АГ в случае, когда векторы-состояния лежат на плоскости, и М — 0. 04N — в трехмерном пространстве), однако были сформулированы весьма плодотворные идеи относительно представления межсвязей в виде тензорного произведения векторов-состояний.

В 2001 году Микаэлян и Б. Крыжановский разрабатывают нейронную модель ассоциативной памяти [37], ориентированную на реализацию в виде оптоэлектронного устройства. Емкость памяти оптической модели (М = NQ{Q-X)i%n{NQ))} полученная в рамках «сигнал/шумового» подхода (signal-to-noise approach), оказывается того же порядка, что и емкость памяти модели Поттса.

В 2003 году Микаэлян, Б. Крыжановский и Литинский разрабатывают векторный формализм — простой векторный язык описания оптической нейронной сети, оторванный от оптической постановки задачи [38,39]. Синаптическая связь в таком описании, также как и у Накамуры, представляется в виде тензорного произведения векторов.

В рамках векторного формализма Б. Крыжановский в 2003 году дает простое описание Поттс-стекольной модели [40,41], которое первоначально формулировалось в терминах, чрезвычайно усложнявших понимание модели. Более того, переход к векторному описанию позволил в Q раз ускорить алгоритм.

Далее рассматриваются наиболее интересные публикации, посвященные нейронным сетям с произвольным (не Хеббовским) обучающим правилом.

В период 1984—1987 гг. Кохонен [42], Персонас, Гайон и Дрейфус [43], Кантер и Сомполинский [44] исследуют проекционную модель нейронной сети (projector model). Синаптические связи этой модели вычисляются с помощью псевдообратной матрицы, вычисление которой представляет определенную вычислительную сложность. Добавление новых эталонов требует сложного пересчета всех синаптических коэффициентов, в противоположность хеббовскому аддитивному правилу обучения. Проекционная модель способна надежно хранить N — 1 линейно независимых эталонов. На практике эталонные векторы редко линейно независимы, что ухудшает распознающую способность проекционной модели.

Исследования, начатые Гарднер и проводимые с 1965 по 1993 годы, показали, что максимальная емкость памяти модели Хопфилда [45−49] и простого однослойного перцептрона [50−53] при оптимальном правиле обучения (не хеббовском) не превышает 2 N.

В разные годы разными исследователями независимо друг от друга был разработан алгоритм обратного распространения ошибки (back-propagation algorithm), позволяющий обучать многослойные перцептроны. В 1969 году основная идея была опубликована Брайсоном в работе. 54], в 1974 году этот алгоритм описал Вербос в своей кандидатской диссертации, в 1985 опубликована Лекуном [55] и в 1987 Паркером- [56]. Однако наиболее известными стали работы Румельхарта, Хинтона и Вйльямса [57,58] за предложение использовать этот алгоритм для машинного обучения и демонстрацию его работы.

Применение многослойного перцептрона для реализации ассоциативной памяти осложняется большими вычислительными затратами при. обучении. При большом количестве эталонов или их высокой размерности задача обучения практически неразрешима. Кроме того, сложная архитектура и алгоритм обучения не позволяют получить какие-либо оценки емкости памяти, вероятности правильной идентификации, скорости и качества обучения.

В заключение приведем работы, посвященные исследованию нейронных сетей с бинарными синапсами:

Впервые нейронную модель с бинарными синапсами в 1961 году предложил Стейнбах [59]. Сейчас эта модель больше известна как модель Вилшоуа [60]. Исследования, проведенные Пальмом, показали [16], что при редком кодировании эта модель обладает рекордной информационной емкостью.

Бинаризацию синапсов для нейросетевой модели AD ALINE в 1960 году также исследовали Уидроу и Хофф [61], которые показали, что бинаризация синапсов привела к увеличению емкости памяти.

В 80-е годы, в работах [62−64] вновь была описана бинаризация синапсов, только уже для модели Хопфилда. Методами статистической физики, были получены аналитические оценки емкости памяти и восстанавливающей способности сети. Основной недостаток модели Хопфилда — малая емкость памяти. Число эталонов, которое сеть способна хранить и надежно восстанавливать, не превышает 14% от числа нейронов сети. Огрубление синапсов приводит к частичной потере информации, следствием чего является уменьшение емкости памяти, хотя при этом увеличивается информационная эффективность. Исследование сети Хопфилда с бинаризованными синапсами показало, что объем ее памяти в к / 2 раз меньше, чем объем памяти стандартной модели Хопфилда с матрицей Хебба. Поскольку на тот момент еще не существовало способов повышения емкости памяти, дальнейшие исследования в области бинаризации синапсов модели Хопфилда казались нецелесообразными.

ПоказатьСвернуть

Содержание

I. ВВЕДЕНИЕ.

§ 1.1. Обзор литературы.

§ 1.2. Актуальность темы.

§ 1.3. Цели и задачи диссертационной работы.

§ 1.4. Основные положения, выносимые на защиту.

§ 1.5. Методы исследования.

§ 1.6. Апробация работы и публикации.

§ 1.7. Структура и объем диссертации.

II. ОПТИМАЛЬНАЯ ПРОЦЕДУРА БИНАРИЗАЦИИ.

§ 2.1. Описание проблемы.

§ 2.2. Описание модели и постановка задачи.

§ 2.3. Процедура бинаризации.

§ 2.4. Анализ результатов.

§ 2.5. Выводы.

III. ФАЗОВАЯ ВЕКТОРНАЯ НЕЙРОННАЯ СЕТЬ.

§ 3.1. Описание модели.

§ 3.2. Эффективность восстановления образов.

§ 3.3. Анализ результатов.

§ 3.4. Выводы.

IV. БЕСФАЗОВАЯ ВЕКТОРНАЯ НЕЙРОННАЯ СЕТЬ.

§ 4.1. Описание модели.

§ 4.2. Эффективность восстановления образов.

§ 4.3. Сравнительный анализ.

§ 4.4. Выводы.

V. ВЕКТОРНЫЙ ПЕРЦЕПТРОН.

§ 5.1. Постановка задачи.

§ 5.2. Фазовый векторный перцептрон.

§ 5.3. Бесфазовый векторный псрцептрон с линейным членом.

§ 5.4. Перцептрон Поттса.

§ 5.5. Эффективность идентификации.

§ 5.6. Эффективность бинаризованного перцептрона.

§ 5.6. Анализ результатов.

§ 5.7. Выводы.

VI. КОМИТЕТ ВЕКТОРНЫХ ПЕРЦЕПТРОНОВ.

§ 6.1. Постановка задачи. &bdquo-,

§ 6.2. Достоверность идентификации и его применение.

§ 6.3. Эффективность идентификации.

§ 6.4. Анализ результатов.

§ 6.5. Выводы.

VII. РАСПОЗНАВАНИЕ БИНАРНЫХ ОБРАЗОВ.

§ 7.1. Описание проблемы.

§ 7.2. Двухэтапная идентификация бинарных образов.

§ 7.3. Предобработка бинарного вектора.

§ 7.4. Эффективность двухэтапной идентификации.

§ 7.5. Ограничения на емкость памяти.

§ 7.6. Введение меры близости между состояния нейронов.

§ 7.7. Анализ результатов.

§ 7.7. Выводы.

VIII. РАСПОЗНАВАНИЕ КОРРЕЛИРОВАННЫХ ОБРАЗОВ.

§ 8.1. Описание проблемы.

§ 8.3. Новый векторный формализм.

§ 8.3. Идентификация случайных эталонов.

§ 8.4. Идентификация коррелированных эталонов.

§ 8.5. Эксперимент.

§ 8.6. Выводы.

Заполнить форму текущей работой