Teorema univerzalne aproksimacije

U matematičkoj teoriji veštačkih neuronskih mreža, univerzalne aproksimacijske teoreme su teoreme ^{[1] [2]} sledećeg oblika: Ako imamo neku porodicu neuronskih mreža, za svaku funkciju ${\displaystyle f}$ postoji niz neuronskih mreža ${\displaystyle \phi _{1},\phi _{2},\dots }$ iz te porodice, tako da je ${\displaystyle \phi _{n}\to f}$ po nekom kriterijumu.

Teoreme univerzalne aproksimacije su teoreme postojanja. One jednostavno navode da postoji određeni niz za koji je ${\displaystyle \phi _{1},\phi _{2},\dots \to f}$, i ne pružaju nikakav način da se zaista pronađe takav niz. One takođe ne garantuju da bi bilo koja metoda, kao što je propagacija unazad, mogla da pronađe takav niz. Bilo koja metoda za pretraživanje prostora neuronskih mreža, uključujući propagaciju unazad, može pronaći konvergentni niz, ili ne (tj. povratno širenje može zaglaviti u lokalnom optimumu).

Teoreme univerzalne aproksimacije su granične teoreme. One označavaju da za bilo koje ${\displaystyle f}$ i kriterijum bliskosti ${\displaystyle \epsilon >0}$, ako postoji dovoljno neurona u neuronskoj mreži, onda postoji neuronska mreža sa toliko neurona koja je približna ${\displaystyle f}$ do unutra ${\displaystyle \epsilon }$ . Ne postoji garancija da je bilo koja konačna veličina, recimo, 10000 neurona dovoljna.