Login for students

Login for employees

Publication detail

Scalable Similarity Joins for Fast and Accurate Record Deduplication in Big Data
Authors: Rozinek Ondřej | Borkovcová Monika | Mareš Jan
Year: 2024
Type of publication: článek ve sborníku
Name of source: Good Practices and New Perspectives in Information Systems and Technologies : WorldCIST 2024, Volume 6
Publisher name: Springer Nature Switzerland AG
Place: Cham
Page from-to: 181 - 191
Titles:
Language Name Abstract Keywords
cze Škálovatelné podobnostní spojení pro rychlou a přesnou deduplikaci záznamů ve velkých datech Propojení záznamů je proces porovnávání záznamů z více zdrojů dat, které odkazují na stejné entity. Při použití na jeden zdroj dat se tento proces nazývá deduplikace. S rostoucí velikostí datových zdrojů, nedávno označovaných jako velká data, se složitost procesu párování stává jednou z hlavních výzev pro propojení záznamů a deduplikaci. V posledních desetiletích bylo vyvinuto několik technik blokování, indexování a filtrování. Jejich účelem je snížit počet porovnávaných párů záznamů odstraněním zjevně neodpovídajících párů v procesu deduplikace při zachování vysoké kvality párování. V současnosti vyvinuté algoritmy a tradiční techniky nejsou účinné, používají metody, které při odstraňování srovnávacích párů stále ztrácejí významnou část skutečných shod. Tento článek navrhuje efektivnější algoritmy pro odstraňování neshodných párů s explicitně osvědčenou matematickou spodní hranicí nedávno používané nejmodernější metody přibližného porovnávání řetězců - Fuzzy Jaccard Similarity. Algoritmus je také mnohem efektivnější v klasifikaci využívající prostorové shlukování aplikací se šumem (DBSCAN) založené na hustotě v log-lineární časové složitosti O(|E| log(|E|)). deduplikace záznamů, filtr Q-gramů, propojení záznamů, entita rozlišení, podobnostní prostor, bipartitní párování, podobnostní spojení
eng Scalable Similarity Joins for Fast and Accurate Record Deduplication in Big Data Record linkage is the process of matching records from multiple data sources that refer to the same entities. When applied to a single data source, this process is known as deduplication. With the increasing size of data source, recently referred to as big data, the complexity of the matching process becomes one of the major challenges for record linkage and deduplication. In recent decades, several blocking, indexing and filtering techniques have been developed. Their purpose is to reduce the number of record pairs to be compared by removing obvious non-matching pairs in the deduplication process, while maintaining high quality of matching. Currently developed algorithms and traditional techniques are not efficient, using methods that still lose significant proportion of true matches when removing comparison pairs. This paper proposes more efficient algorithms for removing non-matching pairs, with an explicitly proven mathematical lower bound on recently used stateof-the-art approximate string matching method - Fuzzy Jaccard Similarity. The algorithm is also much more efficient in classification using Density-based spatial clustering of applications with noise (DBSCAN) in log-linear time complexity O(|E| log(|E|)). record deduplication, Q-gram filter, record linkage, entity resolution, similarity space, bipartite matching, similarity join

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives