Artefatto di ricerca automatizzato — non è il progetto upstream.

Questo repository è un laboratorio usa e getta costruito da un sistema automatizzato per una tesi magistrale presso l'Université Laval sulla riproduzione di vulnerabilità pubblicate nei workflow di GitHub Actions. È uno snapshot verbatim di dedupeio/dedupe al commit 54ecfe77d41390da66899596834a2bde3712c966 (2024-11-01), ridistribuito sotto la licenza del progetto stesso, il cui file è incluso invariato in questo snapshot.

Il progetto upstream non è coinvolto, non è mai preso di mira, e la vulnerabilità studiata qui è già pubblica. Ogni segreto e variabile in questo repository è un valore fittizio generato casualmente — nessuna credenziale reale è presente. I riferimenti alle Action e le immagini dei runner sono bloccati a ciò a cui risolvevano il 2024-11-01; vedi pinning.md nell'output del sistema per ogni modifica apportata allo snapshot.

Domande o obiezioni: [email protected]

---

Libreria Python Dedupe

dedupe è una libreria Python che usa l'apprendimento automatico per eseguire fuzzy matching, deduplicazione e entity resolution rapidamente su dati strutturati.

dedupe ti aiuterà a:

• rimuovere le voci duplicate da un foglio di calcolo di nomi e indirizzi
• collegare un elenco con informazioni sui clienti a un altro con la cronologia degli ordini, anche senza ID cliente univoci
• prendere un database di contributi alle campagne e capire quali sono stati fatti dalla stessa persona, anche se i nomi sono stati inseriti in modo leggermente diverso per ogni record

dedupe accetta dati di addestramento umani e trova le migliori regole per il tuo dataset per trovare rapidamente e automaticamente record simili, anche con database molto grandi.

Link importanti

• Documentazione: https://docs.dedupe.io/
• Repository: https://github.com/dedupeio/dedupe
• Problemi: https://github.com/dedupeio/dedupe/issues
• Mailing list: https://groups.google.com/forum/#!forum/open-source-deduplication
• Esempi: https://github.com/dedupeio/dedupe-examples

Consulenza sulla libreria dedupe

Se tu o la tua organizzazione desiderate assistenza professionale nell'uso della libreria dedupe, Dedupe.io LLC offre servizi di consulenza. Scopri di più su prezzi e servizi disponibili qui.

Strumenti costruiti con dedupe

Dedupe.io

Un servizio cloud basato sulla libreria dedupe per deduplicare e trovare corrispondenze nei tuoi dati. Fornisce una procedura guidata passo-passo per caricare i tuoi dati, configurare un modello, addestrare, raggruppare e rivedere i risultati.

Dedupe.io supporta anche il record linkage tra fonti di dati e il matching e l'addestramento continui tramite un'API.

Per maggiori informazioni, vedi il sito del prodotto Dedupe.io, i tutorial su come usarlo e le differenze tra esso e la libreria dedupe.

Dedupe è ben adottato dalla comunità Python. Dai un'occhiata a questo post sul blog, un video su YouTube su come usare Dedupe con Python e un video su YouTube su come applicare Dedupe su larga scala usando Spark.

csvdedupe

Strumento da riga di comando per deduplicare e collegare file CSV. Leggine su Source Knight-Mozilla OpenNews.

Installazione

Usare dedupe

Se vuoi solo usare dedupe, installalo in questo modo:

pip install dedupe

Prendi familiarità con l'API di dedupe e inizia il tuo progetto. Ti serve ispirazione? Dai un'occhiata ad alcuni esempi.

Sviluppare dedupe

Consigliamo di usare virtualenv e virtualenvwrapper per lavorare in un ambiente di sviluppo virtualizzato. Leggi come configurare virtualenv.

Una volta configurato virtualenvwrapper,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Se questi test passano, allora tutto dovrebbe essere stato installato correttamente!

pytest

In seguito, ogni volta che vuoi lavorare su dedupe,

workon dedupe

Test

Test unitari delle funzioni principali di dedupe

pytest

Test usando il dataset canonico della ricerca di Bilenko

Usando la deduplicazione

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Usando il record linkage

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Team

• Forest Gregg, DataMade
• Derek Eder, DataMade

Crediti

Dedupe si basa sulla tesi di dottorato di Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.

Errori / Bug

Se qualcosa non si comporta in modo intuitivo, è un bug e dovrebbe essere segnalato. Segnalalo qui

Nota su Patch / Pull Request

• Fai il fork del progetto.
• Aggiungi la tua funzionalità o correggi il bug.
• Inviaci una pull request. Punti bonus per branch tematici.

Copyright

Copyright (c) 2022 Forest Gregg e Derek Eder. Rilasciato sotto la Licenza MIT.

Il copyright di terze parti in questa distribuzione è indicato dove applicabile.

Citare Dedupe

Se usi Dedupe in un lavoro accademico, per favore usa questa citazione:

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.