Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки — стохастический метод обучения персептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше, чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но, в отличие от него, гарантирует процесс сходимости (достижение решения).

Алгоритм

• Для каждого R-элемента устанавливается ошибка $E_r=R^{*}-r^{*}$, где $R^{*}$ - требуемая, а $r^{*}$ - достигнутая реакция.
• Для каждого А-элемента $a_i$ ошибка вычисляется следующим образом:
  • Вначале $E_i=0$;
  • Если элемент $a_i$ активен и связь $c_{ir}$ ($c_{ir}=a_i\cdot w_{ir}$ или в общем случае $c_{ir}=f(w_{ir},a_i)$) оканчивается на R-элементе с ненулевой ошибкой $E_r$, отличающейся по знаку от веса связи $w_{ir}$, то с вероятностью $p_1$ к $E_i$ следует прибавить коррекцию, равную -1;
  • Если элемент $a_i$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_r$, не отличается (совпадает) по знаку от веса связи $w_{ir}$, то с вероятностью $p_2$ к $E_i$ следует прибавить коррекцию, равную +1;
  • Если элемент $a_i$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_r$, отличающейся по знаку от веса связи $w_{ir}$ (или $w_{ir}=0$ ), то с вероятностью $p_3$ к $E_i$ следует прибавить коррекцию, равную +1;
  • При всех остальных условиях $E_i$ не изменяется.
• Если $E_i=0$, то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию $\eta$ со знаком, совпадающим со знаком $E_i$, т.е. $\mathrm{\Delta }{w}_{ij}=a_i^{*}sign(E_i)\epsilon$, где $\epsilon$ - абсолютное значение $\eta$ (как правило единица).

В большинстве случаев наилучшие характеристики могут быть получены, если вероятности будут выбраны согласно следующему условию $p_1>p_2>p_3$.

Литература

• Шаблон:Книга

• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998