Нейронная сеть Хэмминга

Нейро́нная сеть Хэ́мминга — вид нейронной сети, использующийся для классификации бинарных векторов, основным критерием в которой является расстояние Хэмминга. Является развитием нейронной сети Хопфилда.

Сеть используется для того, чтобы соотнести бинарный вектор $x=(x_1,x_2,x_3,...,x_m)$, где $x_i=\{-1,1\}$, с одним из эталонных образов (каждому классу соответствует свой образ), или же решить, что вектор не соответствует ни одному из эталонов. В отличие от сети Хопфилда, выдаёт не сам образец, а его номер.

Сеть предложена Ричардом Липпманном в 1987 году. Она позиционировалась как специализированное гетероассоциативное запоминающее устройство.

Архитектура

Файл:Hamming net.png

Схема сети Хемминга

Сеть Хэмминга — трёхслойная нейронная сеть с обратной связью. Количество нейронов во втором и третьем слоях равно количеству классов классификации. Синапсы нейронов второго слоя соединены с каждым входом сети, нейроны третьего слоя связаны между собой отрицательными связями, кроме синапса, связанного с собственным аксоном каждого нейрона — он имеет положительную обратную связь.

Обучение сети

Матрица весовых коэффициентов первого слоя получается из матрицы эталонных образов $X$ как $w_{ij}=\frac{x_{ij}}{2}$, где матрица эталонных образов — это матрица $K\times M$, каждая строка которой — соответствующий эталонный бинарный вектор. Функция активации определяется как $f(s)=\{\begin{array}{cc}0,& s⩽0,\\ s,& 0<s⩽T;\\ T,& s>T\end{array}$

где $T=\frac{M}{2}$

Матрица весовых коэффициентов второго слоя имеет размер $K\times K$, и определяется как

$\left[\begin{array}{cccc}1& -ϵ& \cdots & -ϵ\\ -ϵ& 1& \cdots & -ϵ\\ \cdots & \cdots & \cdots & \cdots \\ -ϵ& -ϵ& \cdots & 1\end{array}\right],$

где $ϵ\in (0,\frac{1}{K}]$

Таким образом, обучение производится за один цикл.

Работа сети

На вход подаётся классифицируемый вектор $\overrightarrow{x^{*}}$. Состояние нейронов первого слоя рассчитывается как $s_{1j}=w_{ji}{x}_i^{*}$. Выход нейронов первого слоя получается путём применения функции активации к состоянию, и становится начальным значением соответствующих нейронов второго слоя. Далее, состояния нейронов второго слоя получаются из их предыдущего состояния, исходя из матрицы весовых коэффициентов второго слоя, и процедура повторяется итерационно до стабилизации вектора состояния второго слоя — пока норма разницы векторов двух последовательных итераций не станет меньше определённого значения $E_{max}$(на практике достаточно значений порядка 0,1).

В случае, если в итоге один вектор положительный, а остальные отрицательные, то он указывает на подходящий образец. В случае же, если несколько векторов положительны, и при этом, не один из них не превышает $E_{max}$, то это значит, что нейросеть не может отнести входящий вектор ни к одному из классов, однако положительные выходы указывают на наиболее схожие эталоны.

Примеры

Сеть может использоваться для распознавания изображений, состоящих лишь из чёрных и белых пикселей, например, индекс, написанный на кодовом штампе конверта.

Литература

• Шаблон:Книга
• Шаблон:Книга