Login for students

Login for employees

Publication detail

Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions
Authors: Doležel Petr | Škrabánek Pavel | Gago Lumír
Year: 2016
Type of publication: článek v odborném periodiku
Name of source: IFAC Papersonline
Publisher name: Elsevier Science BV
Place: Amsterdam
Page from-to: 49–54
Titles:
Language Name Abstract Keywords
cze Možnosti inicializace vah při trénování dopředné neuronové sítě s lineárními saturovanými aktivačními funkcemi Výběr algoritmu počátečního nastavení vah je důležitým aspektem při trénování neuronové sítě. V tomto článku je řešeno trénování jedné konkrétní topologie - dopředné vícevrstvé umělé neuronové sítě s lineárními saturovanými aktivačními funkcemi. Trénovaní takových topologií je netriviální úkol, protože řečené aktivační funkce nejsou hladké. Proto je úvodní inicializace vah ještě důležitější, než při použití hladkých aktivačních funkcí. V rámci článku je tedy testována množina známých inicializačních procedur a výsledkem je doporučení jednotlivých algoritmů v závislosti na typu řešené úlohy. umělá neuronová síť; inicializace; lineární saturovaná aktivační funkce; linearizace
eng Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions Initial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved. artificial neural network; initialization; linear-saturated activation function; linearization

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives