pvharmo2/gha-lab-ba981941f0Laboratorio di ricerca sulla sicurezza che riproduce CVE-2025-54430 (GHSA-wrg3-xqw8-m85p): esfiltrazione di segreti tramite Benchmark Bot attivato da issue_comment in dedupeio/dedupe. Snapshot di dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966.
Artefatto di ricerca automatizzato — non è il progetto upstream.
Questo repository è un laboratorio usa e getta costruito da un sistema automatizzato per una tesi magistrale presso l'Université Laval sulla riproduzione di vulnerabilità pubblicate nei workflow di GitHub Actions. È uno snapshot verbatim di
dedupeio/dedupeal commit54ecfe77d41390da66899596834a2bde3712c966(2024-11-01), ridistribuito sotto la licenza del progetto stesso, il cui file è incluso invariato in questo snapshot.Il progetto upstream non è coinvolto, non è mai preso di mira, e la vulnerabilità studiata qui è già pubblica. Ogni segreto e variabile in questo repository è un valore fittizio generato casualmente — nessuna credenziale reale è presente. I riferimenti alle Action e le immagini dei runner sono bloccati a ciò a cui risolvevano il 2024-11-01; vedi
pinning.mdnell'output del sistema per ogni modifica apportata allo snapshot.Domande o obiezioni: [email protected]
dedupe è una libreria Python che usa l'apprendimento automatico per eseguire fuzzy matching, deduplicazione e entity resolution rapidamente su dati strutturati.
dedupe ti aiuterà a:
dedupe accetta dati di addestramento umani e trova le migliori regole per il tuo dataset per trovare rapidamente e automaticamente record simili, anche con database molto grandi.
Se tu o la tua organizzazione desiderate assistenza professionale nell'uso della libreria dedupe, Dedupe.io LLC offre servizi di consulenza. Scopri di più su prezzi e servizi disponibili qui.
Un servizio cloud basato sulla libreria dedupe per deduplicare e trovare corrispondenze nei tuoi dati. Fornisce una procedura guidata passo-passo per caricare i tuoi dati, configurare un modello, addestrare, raggruppare e rivedere i risultati.
Dedupe.io supporta anche il record linkage tra fonti di dati e il matching e l'addestramento continui tramite un'API.
Per maggiori informazioni, vedi il sito del prodotto Dedupe.io, i tutorial su come usarlo e le differenze tra esso e la libreria dedupe.
Dedupe è ben adottato dalla comunità Python. Dai un'occhiata a questo post sul blog, un video su YouTube su come usare Dedupe con Python e un video su YouTube su come applicare Dedupe su larga scala usando Spark.
Strumento da riga di comando per deduplicare e collegare file CSV. Leggine su Source Knight-Mozilla OpenNews.
Se vuoi solo usare dedupe, installalo in questo modo:
pip install dedupe
Prendi familiarità con l'API di dedupe e inizia il tuo progetto. Ti serve ispirazione? Dai un'occhiata ad alcuni esempi.
Consigliamo di usare virtualenv e virtualenvwrapper per lavorare in un ambiente di sviluppo virtualizzato. Leggi come configurare virtualenv.
Una volta configurato virtualenvwrapper,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
Se questi test passano, allora tutto dovrebbe essere stato installato correttamente!
pytest
In seguito, ogni volta che vuoi lavorare su dedupe,
workon dedupe
Test unitari delle funzioni principali di dedupe
pytest
Usando la deduplicazione
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
Usando il record linkage
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe si basa sulla tesi di dottorato di Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.
Se qualcosa non si comporta in modo intuitivo, è un bug e dovrebbe essere segnalato. Segnalalo qui
Copyright (c) 2022 Forest Gregg e Derek Eder. Rilasciato sotto la Licenza MIT.
Il copyright di terze parti in questa distribuzione è indicato dove applicabile.
Se usi Dedupe in un lavoro accademico, per favore usa questa citazione:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.