Login for students

Login for employees

Publication detail

Topology Optimization of Neural Networks as an Integrated Process in Training with Control Theory Methods
Year: 2025
Type of publication: článek ve sborníku
Name of source: 2025 25TH INTERNATIONAL CONFERENCE ON PROCESS CONTROL, PC
Publisher name: IEEE
Place: NEW YORK
Page from-to: nestránkováno
Titles:
Language Name Abstract Keywords
cze Topologická optimalizace neuronových sítí jako integrovaný proces tréninku s metodami teorie řízení Současná optimalizace topologie neuronové sítě a jejího trénování zůstává nedostatečně prozkoumaným směrem výzkumu, a to navzdory jejímu potenciálu dynamicky zlepšovat účinnost a výkon modelu. Tento článek představuje metodiku vycházející z teorie řízení pro společné přizpůsobení struktury a trénovacího procesu plně propojených neuronových sítí. Metodika formuluje trénovací a prořezávací proces jako vícerozměrný dynamický systém se dvěma vstupními proměnnými – parametry trénovacího procesu a úpravami architektury sítě – a dvěma výstupními proměnnými – výkonem modelu a výpočetní složitostí. K řízení těchto vstupů se používá diskrétní dvourozměrný proporcionálně-integrálně-derivační (PID) regulátor, který zajišťuje vyvážený kompromis mezi přesností a výpočetní efektivitou. Řídicí systém je testován na úkolu aproximace funkce, kde je plně propojená síť zpočátku nastavena s redundantní kapacitou a postupně optimalizována podle předem definovaných referenčních trajektorií výkonu a složitosti. Experimentální výsledky demonstrují účinnost navrhovaného přístupu a odhalují dynamickou interakci mezi topologií a tréninkem v reálném čase při adaptaci sítě. Zjištění zdůrazňují proveditelnost integrace řídicích strategií do optimalizace neuronových sítí a připravují půdu pro budoucí výzkum pokročilejších architektur učení založených na poznatcích z teorie řízení. prořezávání neuronových sítí; optimalizace topologie; řízení
eng Topology Optimization of Neural Networks as an Integrated Process in Training with Control Theory Methods The simultaneous optimization of neural network topology and training remains an underexplored research direction, despite its potential to improve model efficiency and performance dynamically. This paper introduces a control-based framework for jointly adjusting the structure and training process of fully connected neural networks. The methodology formulates the training and pruning process as a multivariable dynamic system with two input variables-training process parameters and network architecture adjustments-and two output variables-model performance and computational complexity. A discrete two-dimensional Proportional-Integral-Derivative (PID) controller is employed to regulate these inputs, ensuring a balanced trade-off between accuracy and computational efficiency. The control system is tested on a function approximation task, where a fully connected network is initially set with redundant capacity and gradually optimized according to predefined reference trajectories of performance and complexity. Experimental results demonstrate the effectiveness of the proposed approach, revealing the dynamic interaction between topology and training in realtime network adaptation. The findings highlight the feasibility of integrating control strategies into neural network optimization and pave the way for future research on more advanced control-based learning architectures. neural network pruning; topology optimization; control

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives