Глубокая сеть доверия

Схематическое представление глубокой сети доверия. Стрелки представляют направленные соединения в графовой вероятностной модели, представляемую сетью.

Глубокая сеть доверия (ГСД, Шаблон:Lang-en) — это порождающая графическая модель, или один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоёв, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя.

При обучении на наборе примеров спонтанным образом ГСД может обучаться как вероятностно отстраивать свои входы. Слои в этом случае выступают в роли детекторов признаков входов. По окончании обучения ГСД может быть обучена с учителем для осуществления классификации.

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ) или автокодировщики, в которых скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоёв (на видимый слой которой подается тренировочный набор примеров).

Наблюдение, сделанное Шаблон:Lang-en, учеником Джеффри Хинтона, говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения^:6Шаблон:Rp.

Алгоритм обучения

Алгоритм тренировки ГСД работает следующим образом. Пусть $X$ будет матрицей входов, что рассматривается как набор признаков.

1. Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных $X$ и получить матрицу её весовых коэффициентов $W$, которая будет описывать связи между двумя нижними слоями сети.
2. Пропустить через обученную машину Больцмана входные данные $X$ и получить данные скрытого слоя $X^{\prime }$ на выходе после активации узлов первого скрытого слоя.
3. Повторять эту процедуру с $X\leftarrow X^{\prime }$ для каждой следующей пары слоёв, пока не будут обучены два самых верхних слоя сети.
4. Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).

См. также

• Байесовская сеть
• Глубинное обучение

Ссылка

• Шаблон:Cite web (англ.)
• Шаблон:Cite web (англ.)