Publikace detail

Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions

Autoři: Doležel Petr | Škrabánek Pavel | Gago Lumír

Rok: 2016

Druh publikace: článek v odborném periodiku

Název zdroje: IFAC Papersonline

Název nakladatele: Elsevier Science BV

Místo vydání: Amsterdam

Strana od-do: 49–54

Tituly:

Jazyk	Název	Abstrakt	Klíčová slova
cze	Možnosti inicializace vah při trénování dopředné neuronové sítě s lineárními saturovanými aktivačními funkcemi	Výběr algoritmu počátečního nastavení vah je důležitým aspektem při trénování neuronové sítě. V tomto článku je řešeno trénování jedné konkrétní topologie - dopředné vícevrstvé umělé neuronové sítě s lineárními saturovanými aktivačními funkcemi. Trénovaní takových topologií je netriviální úkol, protože řečené aktivační funkce nejsou hladké. Proto je úvodní inicializace vah ještě důležitější, než při použití hladkých aktivačních funkcí. V rámci článku je tedy testována množina známých inicializačních procedur a výsledkem je doporučení jednotlivých algoritmů v závislosti na typu řešené úlohy.	umělá neuronová síť; inicializace; lineární saturovaná aktivační funkce; linearizace
eng	Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions	Initial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved.	artificial neural network; initialization; linear-saturated activation function; linearization

Vyhledávání

Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Katedry

Služby

Jak nás najdete?

Často hledáte