Publikace detail

Efficient handling of lots of simulation data files

Autoři: Diviš Roman | Novotný Zdeněk

Rok: 2022

Druh publikace: článek ve sborníku

Název zdroje: Proceedings of the 34th European Modeling & Simulation Symposium (EMSS 2022)

Název nakladatele: CAL-TEK SRL

Místo vydání: Rende

Strana od-do: 1-4

Tituly:

Jazyk	Název	Abstrakt	Klíčová slova
cze	Efektivní zpracování velkého množství simulačních datových souborů	Ukládání informací do souborů je základním a jednoduchým způsobem ukládání dat, proto se často používá v simulátorech a simulačních nástrojích jako první volba pro protokolování informací o simulačním procesu a jeho výsledcích. Počítačové simulace často zahrnují simulaci značného počtu replikací a shromažďování velkého počtu souborů. Dnešní souborové systémy stále nejsou schopny efektivně ukládat a zpracovávat miliony souborů. Tento článek představuje alternativy, které umožňují efektivnější ukládání, přenos a analýzu dat, s důrazem na snadnou migraci nebo implementaci z původních datových souborů. Budou porovnány jednoduché přístupy, jako je použití archivů TAR nebo ZIP, až po sofistikované přístupy zahrnující soubor Parquet, úložiště objektů typu S3 (např. MinIO, OpenIO) a (ne)relační databáze.	správa datových souborů; datové úložiště; objektové úložiště
eng	Efficient handling of lots of simulation data files	Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared.	data files management; data storage; object storage

Vyhledávání

Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Katedry

Služby

Jak nás najdete?

Často hledáte