Просмотр кода страницы Перцептрон с переменными S-A связями

'''Перцептрон с переменными S-A связями''' — [[перцептрон|перцептрон Розенблатта]] с несколькими R-элементами и переменными (обучаемыми) S-A и A-R связями. В названии акцент сделан на S-A связи, так как это последнее снятое Розенблаттом ограничение при рассмотрении элементарного перцептрона, в результате чего получена система самого общего вида с топологической структурой S -> A -> R. Данный перцептрон является эквивалентом [[многослойный перцептрон Румельхарта|многослойного перцептрона Румельхарта]], хотя самим Розенблаттом под этим названием был рассмотрен случай только с двумя слоями связей. Но этого достаточно, чтобы охарактеризвать этот подвид перцептронов в том же отношении, что было сделано Румельхартом. Для более сложного анализа возможностей перцептронов Розенблатт переходит к четырёхслойным перцептронам, считая только их многослойными перцептронами.

== Правило локальной информации ==
Для того, чтобы для обучения всех слоев перцептрона можно было применять [[метод коррекции ошибки]] нужно определить ошибку не только для внешних R — элементов, но и для внутренних A — элементов. Трудность состоит в том, что если желаемая реакция <math>R^*</math> задается из условий задачи, то желаемое состояние А-элемента остается неизвестным. Можно лишь утверждать, что желаемым состоянием А-элемента является состояние при котором его активность скорее способствует, чем препятствует обучению перцептрона заданной реакции<ref>Розенблатт, Ф., с. 231</ref>. Можно было бы анализировать систему глобально, но это означало бы, что система подкрепления знала бы решение заранее, то есть собственно обучения не происходило бы. Собственно [[Бонгард, Михаил Моисеевич|Бонгард]] именно это и предлагал сделать, но такое решение не гарантирует сходимости и является более ресурсоёмким, чем итерационное обучение. Поэтому Розенблаттом было предложено ''правило локальной информации'':

<blockquote>
Для любого А-элемента <math>a_i</math> значение допустимой ошибки <math>E_i(t)</math> зависит только от информации, связанной с его активностью или поступающими на него сигналами, от веса его выходных связей и от распределения ошибки на его выходе в момент времени t.
</blockquote>

Другими словами, ошибку А-элемента может определять только сам А-элемент и те элементы, с которыми он непосредственно связан.

== Детерминистические методы обучения ==
Розенблатт доказал следующую теорему:

<blockquote>
Даны трехслойный перцептрон с последовательными связями, простыми A и R элементами и переменными S-A связями и классификация C(W), для которой известно, что решение существует. Тогда может оказаться, что решение недостижимо при использовании детерминистического процесса коррекции, подчиняющегося правилу локальной информации.
</blockquote>

Частным случаем такого процесса коррекции является [[метод обратного распространения ошибки]].

== Стохастические методы обучения ==
Чтобы показать, что решение может быть достигнуто при недетерминистическом (стохастическом) методе, Розенблатт доказал следующую теорему:

<blockquote>
Дан трехслойный перцептрон с последовательными связями, простыми А и R элементами, переменными S-A связями, ограниченными весами A-R связей и классификацией C(W), для которой решение существует. Тогда с вероятностью, равной единице, решение для C(W) может быть получено за конечное время при использовании метода коррекции с обратной передачей сигнала ошибки при условии, что каждый стимул из W обязательно предъявляется более одного раза за конечный отрезок времени и что все вероятности <math>p_1</math>, <math>p_2</math> и <math>p_3</math> больше 0 и меньше 1.
</blockquote>

Таким образом, чтобы обучать более одного слоя в нейронной сети, и иметь 100 % сходимость нужно выполнить достаточно много условий. И такой алгоритм был предложен Розенблаттом под названием [[метод коррекции с обратной передачей сигнала ошибки]], что не нужно путать с [[метод обратного распространения ошибки|методом обратного распространения ошибки]].

== Примечания ==
{{примечания}}

== Литература ==
* {{книга
|автор          = Розенблатт, Ф.
|заглавие       = Принципы нейродинамики: Перцептроны и теория механизмов мозга
|оригинал       = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms
|ссылка         = http://www.raai.org/library/books/other/ros_principles2.djvu
|место          = М.
|издательство   = Мир
|год            = 1965
|страниц        = 480
}}

[[Категория:Перцептрон]]