Просмотр кода страницы Рекурсивные нейронные сети

{{Distinguish|Рекуррентная нейронная сеть}}
'''Рекурсивные нейронные сети''' ({{lang-en|Recursive neural network}}; ''RvNN'') — вид [[Искусственная нейронная сеть|нейронных сетей]], работающих с данными переменной длины.  Модели рекурсивных сетей используют иерархические структуры образцов при обучении. Например, изображения, составленные из сцен, объединяющих подсцены, включающие много объектов. Выявление структуры сцены и её деконструкция- нетривиальная задача. При этом необходимо как идентифицировать отдельные объекты, так и всю структуру сцены.

В рекурсивных сетях нейроны с одинаковыми весами активируются  [[рекурсия|рекурсивно]] в соответствии со структурой сети. В процессе работы рекурсивной сети вырабатывается модель для предсказания для структур переменной размерности, так и скалярных структур  через активацию структуры в соответствии с топологией. Сети RvNNs успешно применяются при обучении последовательных структур и деревьев в задачах  [[Обработка естественного языка|обработки естественного языка]], при этом фразы и предложения моделируются через  [[векторное представление слов]]. RvNNs первоначально появились для распределённого представления структур, используя предикаты [[математическая логика|математической логики]].<ref>{{статья |doi=10.1109/ICNN.1996.548916 |заглавие=Learning task-dependent distributed representations by backpropagation through structure |издание=Neural Networks, 1996., IEEE |язык=en |тип=journal |автор=Goller, C.; Küchler, A.}}</ref>
Разработки рекурсивных сетей и первые модели начались в середине 1990-х.<ref name=":0">{{статья |заглавие=Supervised neural networks for the classification of structures |ссылка=http://ieeexplore.ieee.org/document/572108/ |издание={{Нп3|IEEE Transactions on Neural Networks and Learning Systems|IEEE Transactions on Neural Networks||IEEE Transactions on Neural Networks and Learning Systems}} |том=8 |номер=3 |страницы=714—735 |doi=10.1109/72.572108 |issn=1045-9227 |язык=en |тип=journal |автор=Sperduti, A.; Starita, A. |число=1 |месяц=5 |год=1997 |archivedate=2018-06-16 |archiveurl=https://web.archive.org/web/20180616155351/https://ieeexplore.ieee.org/document/572108/ }}</ref><ref>{{статья |заглавие=A general framework for adaptive processing of data structures |ссылка=http://ieeexplore.ieee.org/document/712151/ |издание={{Нп3|IEEE Transactions on Neural Networks and Learning Systems|IEEE Transactions on Neural Networks||IEEE Transactions on Neural Networks and Learning Systems}} |том=9 |номер=5 |страницы=768—786 |doi=10.1109/72.712151 |issn=1045-9227 |язык=en |тип=journal |автор=Frasconi, P.; Gori, M.; Sperduti, A. |число=1 |месяц=9 |год=1998 |archivedate=2018-06-23 |archiveurl=https://web.archive.org/web/20180623153428/https://ieeexplore.ieee.org/document/712151/ }}</ref>

== Архитектура==

=== Базовый элемент ===
[[Файл:Simple recursive neural network.svg|thumbnail|Архитектура простой рекурсивной сети]]

В самой простой архитектуре узлы сети сходятся к родителям через матрицу весов скрытого слоя, используемую многократно через всю сеть, и нелинейную функцию активации типа [[Гиперболические функции|гиперболического тангенса]]. Если ''c''<sub>1</sub> и ''c''<sub>2</sub> — ''n''-мерные презентации узлов сети, то их родители также представляют собой ''n''-мерные вектора, вычисляемые как

<math>p_{1,2} = \tanh\left(W[c_1 ; c_2]\right)</math>

Здесь ''W'' — обученная матрица весов <math>n\times 2n</math>.

Эта архитектура с некоторым усовершенствованием используется для последовательной дешифровки натуральных сцен изображения или для структурирования предложений естественного языка.<ref>{{статья |заглавие=Parsing Natural Scenes and Natural Language with Recursive Neural Networks |издание=The 28th International Conference on Machine Learning (ICML 2011) |ссылка=http://nlp.stanford.edu/pubs/SocherLinNgManning_ICML2011.pdf |язык=en |тип=journal |автор=Socher, Richard; Lin, Cliff; Ng, Andrew Y.; Manning, Christopher D. |archivedate=2017-04-21 |archiveurl=https://web.archive.org/web/20170421135809/https://nlp.stanford.edu/pubs/SocherLinNgManning_ICML2011.pdf }}</ref>

=== Рекурсивная каскадная корреляция (RecCC) ===
Рекурсивная каскадная корреляция  RecCC - это подход к конструированию рекурсивных сетей, оперирующих с тремя доменами<ref name=":0" /> , первые приложения такого рода появились в химии<ref>{{статья |заглавие=Application of Cascade Correlation Networks for Structures to Chemistry |ссылка=https://link.springer.com/article/10.1023/A:1008368105614 |издание=Applied Intelligence |язык=en |том=12 |номер=1—2 |страницы=117—147 |doi=10.1023/A:1008368105614 |issn=0924-669X |тип=journal |автор=Bianucci, Anna Maria; Micheli, Alessio; Sperduti, Alessandro; Starita, Antonina |год=2000 |archivedate=2017-12-09 |archiveurl=https://web.archive.org/web/20171209152221/https://link.springer.com/article/10.1023/A:1008368105614 }}</ref>, а расширение образует  [[направленный ациклический граф]].<ref>{{статья |заглавие=Contextual processing of structured data by recursive cascade correlation |ссылка=http://ieeexplore.ieee.org/document/1353277/ |издание={{Нп3|IEEE Transactions on Neural Networks and Learning Systems|IEEE Transactions on Neural Networks||IEEE Transactions on Neural Networks and Learning Systems}} |том=15 |номер=6 |страницы=1396—1410 |doi=10.1109/TNN.2004.837783 |issn=1045-9227 |язык=en |тип=journal |автор=Micheli, A.; Sona, D.; Sperduti, A. |число=1 |месяц=11 |год=2004 |archivedate=2018-06-23 |archiveurl=https://web.archive.org/web/20180623235736/https://ieeexplore.ieee.org/document/1353277/ }}</ref>

=== Рекурсивные сети без учителя ===
В 2004 году была предложена система [[обучение без учителя|обучения рекурсивной сети без учителя]].<ref>{{статья |заглавие=Recursive self-organizing network models |издание=Neural Networks |том=17 |страницы=1061—1085 |язык=und |автор=Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc |год=2004}}</ref><ref>{{статья |заглавие=A general framework for unsupervised processing of structured data |ссылка=http://www.sciencedirect.com/science/article/pii/S0925231204000657 |издание=Neurocomputing |том=57 |страницы=3—35 |doi=10.1016/j.neucom.2004.01.008 |язык=en |тип=journal |автор=Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc |число=1 |месяц=3 |год=2004}}</ref>

=== Тензорные сети ===
[[Тензор]]ные рекурсивные сети используют одну тензорную функцию для всех узлов дерева.<ref>{{статья |заглавие=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank |издание=EMNLP 2013 |ссылка=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf |язык=en |тип=journal |автор=Socher, Richard; Perelygin, Alex; Y. Wu, Jean; Chuang, Jason; D. Manning, Christopher; Y. Ng, Andrew; Potts, Christopher |archivedate=2016-12-28 |archiveurl=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf }}</ref>

== Обучение ==

=== Стохастический метод градиентного спуска  ===
Для обучения используется обычно Стохастический [[метод градиентного спуска]] (SGD). Градиент определяется через сквозную структуру обратного распространения ошибок (BPTS), этот метод является модификацией обратного распространения ошибок во временных рядах, применяемого для обучения [[Рекуррентная нейронная сеть|рекуррентных нейронных сетей]].

== Особенности ==
В литературе была доказана способность универсальной [[Аппроксимация|аппроксимации]] рекуррентными сетями (RNN) по сетям типа дерева.<ref>{{книга |ссылка=https://books.google.com/books?hl=en&lr=&id=H3_1BwAAQBAJ&oi=fnd&pg=PA1&ots=Q0Flua0hSY&sig=3FtZGOm6LWNnQ53fMK1Fu32qr-M#v=onepage&q&f=false |заглавие=Learning with Recurrent Neural Networks |издательство={{Нп3|Springer Publishing|Springer|en|Springer Publishing}} |isbn=9781846285677 |язык=en |ref=Hammer |автор=Hammer, Barbara |день=3 |месяц=10 |год=2007}}</ref><ref>{{статья |заглавие=Universal Approximation Capability of Cascade Correlation for Structures |ссылка=http://cognet.mit.edu/journal/10.1162/0899766053491878 |издание={{Нп3|Neural Computation (журнал)|Neural Computation||Neural Computation (journal)}} |язык=en |том=17 |номер=5 |страницы=1109—1159 |doi=10.1162/0899766053491878 |тип=journal |автор=Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro |число=1 |месяц=5 |год=2005 |archivedate=2017-02-15 |archiveurl=https://web.archive.org/web/20170215032403/http://cognet.mit.edu/journal/10.1162/0899766053491878 }}</ref>

==Родственные модели==

=== Рекуррентная нейронная сеть ===
{{главная|Рекуррентная нейронная сеть}}
Рекуррентная нейронная сеть представляет собой рекурсивную сеть со специфической структурой — в виде линейной цепочки. Рекурсивные сети работают на структурах общего типа, включающих иерархию, рекуррентные сети работают исключительно на линейной прогрессии во времени, связывая предыдущий момент времени со следующим через скрытый нейронный слой .

=== Древовидная эхо-сеть ===
Древовидная эхо-сеть (''Tree Echo State Network'') — эффективный пример рекурсивных нейронных сетей,<ref>{{статья |заглавие=Tree Echo State Networks |ссылка=http://www.sciencedirect.com/science/article/pii/S0925231212006571 |издание=Neurocomputing |том=101 |страницы=319—337 |doi=10.1016/j.neucom.2012.08.017 |язык=und |автор=Gallicchio, Claudio; Micheli, Alessio |число=4 |месяц=2 |год=2013}}</ref> использующих парадигму {{нп5|Резервуарные вычисления|резервуарного вычисления|en|Reservoir computing}} (''Reservoir computing'')<ref>Europhysics Letters: [https://lenta.ru/news/2023/05/30/pool/ аналоговый компьютер в виде водной горки предсказывает хаос] {{Wayback|url=https://lenta.ru/news/2023/05/30/pool/ |date=20230530132514 }} // 30 мая 2023</ref>.

=== Расширения до графов  ===
Расширение структуры до  [[Граф (математика)|графов]] образует графическую нейронную сеть (''graph neural network'', GNN)<ref>{{статья |заглавие=The Graph Neural Network Model |ссылка=http://ieeexplore.ieee.org/document/4700287/ |издание={{Нп3|IEEE Transactions on Neural Networks and Learning Systems|IEEE Transactions on Neural Networks||IEEE Transactions on Neural Networks and Learning Systems}} |том=20 |номер=1 |страницы=61—80 |doi=10.1109/TNN.2008.2005605 |issn=1045-9227 |язык=en |автор=Scarselli, F.; Gori, M.; Tsoi, A. C.; Hagenbuchner, M.; Monfardini, G. |число=1 |месяц=1 |год=2009 |тип=journal |archivedate=2017-06-17 |archiveurl=https://web.archive.org/web/20170617102518/http://ieeexplore.ieee.org/document/4700287/ }}</ref>, 
нейронную сеть для графов (''Neural Network for Graphs'', NN4G)<ref>{{статья |заглавие=Neural Network for Graphs: A Contextual Constructive Approach |ссылка=http://ieeexplore.ieee.org/document/4773279/ |издание={{Нп3|IEEE Transactions on Neural Networks and Learning Systems|IEEE Transactions on Neural Networks||IEEE Transactions on Neural Networks and Learning Systems}} |том=20 |номер=3 |страницы=498—511 |doi=10.1109/TNN.2008.2010350 |issn=1045-9227 |язык=en |тип=journal |автор=Micheli, A. |число=1 |месяц=3 |год=2009 |archivedate=2017-01-31 |archiveurl=https://web.archive.org/web/20170131235039/http://ieeexplore.ieee.org/document/4773279 }}</ref> 
и более новые [[свёрточная нейронная сеть|свёрточные нейронные сети]] для графов.

==Ссылки==
{{Reflist}}

{{Типы искусственных нейронных сетей}}
{{Машинное обучение}}

[[Категория:Искусственные нейронные сети]]
[[Категория:Рекурсия]]