Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Comparison of ReLU and linear saturated activation functions in neural network for universal approximation
Rok: 2019
Druh publikace: článek ve sborníku
Název zdroje: Proceedings of the 2019 22nd International Conference on Process Control, PC 2019
Název nakladatele: IEEE (Institute of Electrical and Electronics Engineers)
Místo vydání: New York
Strana od-do: 146-151
Tituly:
Jazyk Název Abstrakt Klíčová slova
cze Porovnání ReLU a lineární saturované aktivační funkce v neuronové síti pro univerzální aproximaci Aktivační funkce používané ve skrytých vrstvách přímo ovlivňují možnosti popisu nelineárních systémů pomocí dopředné neuronové sítě. Kromě toho jsou lineární aktivační funkce méně výpočetně náročné než jejich nelineární alternativy. Dále lze pro řízení nelineárních systémů s výhodou použít dopředné neuronové sítě s aktivačními funkcemi založenými na lineárním uspořádání, jak je ukázáno v předchozích autorských publikacích. Tato práce si klade za cíl porovnat dva typy lineárních funkcí - symetrické lineární saturované funkce a ReLU jako aktivační funkce dopředné neuronové sítě používané pro nelineární aproximaci chování dynamického systému. Používají se topologie s jednou skrytou vrstvou a kombinace definovaných množství neuronů skryté vrstvy. Dopředná neuronová síť; lineární saturovaná aktivační funkce; ReLU; identifikace nelineárních systémů
eng Comparison of ReLU and linear saturated activation functions in neural network for universal approximation Activation functions used in hidden layers directly affect the possibilities for describing nonlinear systems using a feedforward neural network. Furthermore, linear based activation functions are less computationally demanding than their nonlinear alternatives. In addition, feedforward neural networks with linear based activation functions can be advantageously used for control of nonlinear systems, as shown in previous authors' publications. This paper aims to compare two types of linear based functions - symmetric linear saturated function and the rectifier linear unit (ReLU) function as activation functions of the feedforward neural network used for a nonlinear system approximation. Topologies with one hidden layer and the combination of defined quantities of hidden layer neurons in the feedforward neural network are used. Strict criteria are applied for the conditions of the experiments; specifically, the Levenberg-Marquardt algorithm is applied as a training algorithm and the Nguyen-Widrow algorithm is used for the weights and biases initialization. Three benchmark systems are then selected as nonlinear plants for approximation, which should serve as a repeatable source of data for testing. The training data are acquired by the computation of the output as a reaction to a specified colored input signal. The comparison is based on the convergence speed of the training for a fixed value of the error function, and also on the performance over a constant number of epochs. At the end of the experiments, only small differences between the performance of both applied activation functions are observed. Although the symmetric linear saturated activation function provides the lesser median of the final error function value across the all tested numbers of neurons in topologies, the ReLU function seems to be also capable of use as the activation function for nonlinear system modeling. Feedforward neural network; linear saturated activation function; rectified linear activation function; nonlinear system identification

Katedry

Služby

Jak nás najdete?

Často hledáte

© 2023 Univerzita Pardubice, Studentská 95, 532 10 Pardubice 2
Telefon: 466 036 111, 466 036 112, 466 036 113
Správce webu, RSS
ID datové schránky: f5vj9hu
Prohlášení o přístupnosti
Drupal web od drupal web Drupal ᐬrts