Теорема Цыбенко

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (Шаблон:Lang-en; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор ${𝐰}_1,{𝐰}_2,\dots ,{𝐰}_N,\mathit{\alpha },$ и $\mathit{\theta }$, где

${𝐰}_i$ — веса между входными нейронами и нейронами скрытого слоя,

$\mathit{\alpha }$ — веса между связями от нейронов скрытого слоя и выходным нейроном,

$\mathit{\theta }$ — смещения для нейронов входного слоя.

Формальное изложение

Пусть $\phi$ любая непрерывная сигмоидная функция, например, $\phi (\xi )=1/(1+e^{-\xi })$. Тогда, если дана любая непрерывная функция действительных переменных $f$ на $[0,1{]}^n$ (или любое другое компактное подмножество ${ℝ}^n$) и $\epsilon >0$, то существуют векторы ${𝐰}_{\mathrm{𝟏}},{𝐰}_{\mathrm{𝟐}},\dots ,{𝐰}_{𝐍},\mathit{\alpha }$ и $\mathit{\theta }$ и параметризованная функция $G(\mathbf{\cdot },𝐰,\mathit{\alpha },\mathit{\theta }):[0,1{]}^n\to R$ такая, что для всех $𝐱\in [0,1{]}^n$ выполняется

$|G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })-f(𝐱)|<\epsilon ,$

где

$G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })=\sum _{i=1}^N{\alpha }_i\phi ({𝐰}_i^T𝐱+{\theta }_i),$

и ${𝐰}_i\in {ℝ}^n,$ ${\alpha }_i,{\theta }_i\in ℝ,$ $𝐰=({𝐰}_1,{𝐰}_2,\dots ,{𝐰}_N),$ $\mathit{\alpha }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N),$ и $\mathit{\theta }=({\theta }_1,{\theta }_2,\dots ,{\theta }_N).$

Ссылка

• Шаблон:Статья
• Шаблон:Книга

См. также

• Теорема Колмогорова — Арнольда
• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё