Login for students

Login for employees

Publication detail

Efficient handling of lots of simulation data files
Year: 2022
Type of publication: článek ve sborníku
Name of source: Proceedings of the 34th European Modeling & Simulation Symposium (EMSS 2022)
Publisher name: CAL-TEK SRL
Place: Rende
Page from-to: 1-4
Titles:
Language Name Abstract Keywords
cze Efektivní zpracování velkého množství simulačních datových souborů Ukládání informací do souborů je základním a jednoduchým způsobem ukládání dat, proto se často používá v simulátorech a simulačních nástrojích jako první volba pro protokolování informací o simulačním procesu a jeho výsledcích. Počítačové simulace často zahrnují simulaci značného počtu replikací a shromažďování velkého počtu souborů. Dnešní souborové systémy stále nejsou schopny efektivně ukládat a zpracovávat miliony souborů. Tento článek představuje alternativy, které umožňují efektivnější ukládání, přenos a analýzu dat, s důrazem na snadnou migraci nebo implementaci z původních datových souborů. Budou porovnány jednoduché přístupy, jako je použití archivů TAR nebo ZIP, až po sofistikované přístupy zahrnující soubor Parquet, úložiště objektů typu S3 (např. MinIO, OpenIO) a (ne)relační databáze. správa datových souborů; datové úložiště; objektové úložiště
eng Efficient handling of lots of simulation data files Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared. data files management; data storage; object storage

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0