Управляемый рекуррентный блок

Управляемые рекуррентные блоки (Шаблон:Lang-en, GRU) — механизм вентилей для рекуррентных нейронных сетей, представленный в 2014 году. Было установлено, что его эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти (LSTM). По сравнению с LSTM у данного механизма меньше параметров, т.к. отсутствует выходной вентиль.

Архитектура

$\circ$ обозначает произведение Адамара. $h_0=0$.

$\begin{array}{cc}{z}_t& ={\sigma }_g(W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(W_r{x}_t+U_r{h}_{t-1}+b_r)\\ h_t& =z_t\circ h_{t-1}+(1-z_t)\circ {\sigma }_h(W_h{x}_t+U_h(r_t\circ h_{t-1})+b_h)\end{array}$

Переменные

• $x_t$: входной вектор
• $h_t$: выходной вектор
• $z_t$: вектор вентиля обновления
• $r_t$: вектор вентиля сброса
• $W$, $U$ и $b$: матрицы параметров и вектор

Функции активации

• ${\sigma }_g$: на основе сигмоиды.
• ${\sigma }_h$: на основе гиперболического тангенса.

См. также

• Долгая краткосрочная память