deep-econom (deep_econom) wrote,
deep-econom
deep_econom

Categories:

аппроксимационные свойства нейросетей

аппроксимационные свойства нейросетей
статьи
---
https://ru.wikipedia.org/wiki/Теорема_Цыбенко

Теорема Цыбенко, Универсальная теорема аппроксимации...
...утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью.

---
А. Н. Горбань, “Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей”, Сиб. журн. вычисл. матем., 1:1 (1998), 11–24
http://mi.mathnet.ru/rus/sjvm/v1/i1/p11

Аннотация: Исследуются вычислительные возможности искусственных нейронных сетей. В связи с этим наметились возврат к классической постановке вопроса о представлении функций многих переменных с помощью суперпозиций и сумм функций одного переменного и новая редакция этого вопроса (ограничение одной произвольно выбранной нелинейной функцией одного переменного).
Показано, что можно получить сколь угодно точное приближение любой непрерывной функции многих переменных, используя операции сложения и умножения на число, суперпозицию функций, линейные функции, а также одну произвольную непрерывную нелинейную функцию одного переменного. Для многочленов получен алгебраический вариант теоремы.
Для нейронных сетей полученные результаты означают, что от функции активации нейрона требуется только нелинейность.
---

Горбань А.Н. Функции многих переменных и нейронные сети
http://www.pereplet.ru/nauka/Soros/pdf/9812_105.pdf

Обобщенная аппроксимационная теорема.
Эту теорему можно трактовать как утверждение об универсальных аппроксимационных свойствах любой нелинейности: с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с любой наперед заданной точностью [7].
...
Ядром используемых представлений является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала.

Предельным выражением этой точки зрения может служить лозунг “структура связей – все, свойства элементов – ничто”.

Обобщенная аппроксимационная теорема об универсальных свойствах любой нелинейности является одним из математических оснований для коннекционизма: неважно, какая нелинейная функция используется в нейроне, существенны лишь факт нелинейности и свобода в построении системы связей.
---

А. Н. Горбань, “Обобщенная аппроксимационная теорема и точное представление многочленов от нескольких переменных суперпозициями многочленов от одного переменного”, Изв. вузов. Матем., 1998, 5, 6–9
http://old.kpfu.ru/journals/izv_vuz/arch/1998/05/02-5.PDF
---
Нейросети. Список постов. https://deep-econom.livejournal.com/698852.html
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 3 comments