Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Efficient handling of lots of simulation data files
Rok: 2022
Druh publikace: článek ve sborníku
Název zdroje: Proceedings of the 34th European Modeling & Simulation Symposium (EMSS 2022)
Název nakladatele: CAL-TEK SRL
Místo vydání: Rende
Strana od-do: 1-4
Tituly:
Jazyk Název Abstrakt Klíčová slova
cze Efektivní zpracování velkého množství simulačních datových souborů Ukládání informací do souborů je základním a jednoduchým způsobem ukládání dat, proto se často používá v simulátorech a simulačních nástrojích jako první volba pro protokolování informací o simulačním procesu a jeho výsledcích. Počítačové simulace často zahrnují simulaci značného počtu replikací a shromažďování velkého počtu souborů. Dnešní souborové systémy stále nejsou schopny efektivně ukládat a zpracovávat miliony souborů. Tento článek představuje alternativy, které umožňují efektivnější ukládání, přenos a analýzu dat, s důrazem na snadnou migraci nebo implementaci z původních datových souborů. Budou porovnány jednoduché přístupy, jako je použití archivů TAR nebo ZIP, až po sofistikované přístupy zahrnující soubor Parquet, úložiště objektů typu S3 (např. MinIO, OpenIO) a (ne)relační databáze. správa datových souborů; datové úložiště; objektové úložiště
eng Efficient handling of lots of simulation data files Saving information to files is the most basic and simplest way to store data, so it is often used in simple simulators and simulation tools as the first choice for logging information about the simulation process and its results. Computer simulations often involve simulating a significant number of replications and accumulating large numbers of files. Today's filesystems are still not capable of efficiently storing and processing millions of files. This paper presents alternatives that allow for more efficient storage, transfer, and analysis of data, with an emphasis on easy migration or implementation from the initial data files. Simple approaches such as using TAR or ZIP archives to sophisticated approaches involving Parquet file, S3-like object storage (e.g., MinIO, OpenIO) and (non)relational databases will be compared. data files management; data storage; object storage

Katedry

Služby

Jak nás najdete?

Často hledáte

© 2023 Univerzita Pardubice, Studentská 95, 532 10 Pardubice 2
Telefon: 466 036 111
Správce webu, RSS
ID datové schránky: f5vj9hu
Prohlášení o přístupnosti
Drupal web od drupal web Drupal ᐬrts