
Sicherheitsforschungs-Labor zur Reproduktion von CVE-2025-54430 (GHSA-wrg3-xqw8-m85p): Exfiltration von Geheimnissen über den durch issue_comment ausgelösten Benchmark Bot in dedupeio/dedupe. Snapshot von dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966.
Automatisiert erstelltes Forschungsobjekt – nicht das Upstream-Projekt.
Dieses Repository ist ein Wegwerf-Labor, das von einer automatisierten Testumgebung für eine Masterarbeit an der Université Laval zur Reproduktion veröffentlichter GitHub-Actions-Workflow-Schwachstellen erstellt wurde. Es ist eine wörtliche Momentaufnahme von
dedupeio/dedupebeim Commit54ecfe77d41390da66899596834a2bde3712c966(2024-11-01), weiterverbreitet unter der eigenen Lizenz dieses Projekts, deren Datei unverändert in dieser Momentaufnahme enthalten ist.Das Upstream-Projekt ist nicht beteiligt, wird niemals angegriffen, und die hier untersuchte Schwachstelle ist bereits öffentlich bekannt. Jedes Secret und jede Variable in diesem Repository ist ein zufällig generierter Dummy-Wert – es sind keine echten Anmeldedaten vorhanden. Aktionsreferenzen und Runner-Images sind auf den Stand vom 2024-11-01 fixiert; siehe
pinning.mdin der Testumgebungs-Ausgabe für jede an der Momentaufnahme vorgenommene Änderung.Fragen oder Einwände: [email protected]
dedupe ist eine Python-Bibliothek, die maschinelles Lernen nutzt, um Fuzzy-Matching, Deduplizierung und Entity Resolution schnell auf strukturierten Daten durchzuführen.
dedupe hilft Ihnen dabei:
dedupe nimmt menschliche Trainingsdaten entgegen und entwickelt die besten Regeln für Ihren Datensatz, um ähnliche Datensätze schnell und automatisch zu finden – selbst bei sehr großen Datenbanken.
Wenn Sie oder Ihre Organisation professionelle Unterstützung bei der Arbeit mit der dedupe-Bibliothek wünschen, bietet Dedupe.io LLC Beratungsdienste an. Erfahren Sie hier mehr über Preise und verfügbare Dienste.
Ein Cloud-Dienst, der von der dedupe-Bibliothek unterstützt wird, zum Deduplizieren und Finden von Übereinstimmungen in Ihren Daten. Er bietet einen Schritt-für-Schritt-Assistenten zum Hochladen Ihrer Daten, Einrichten eines Modells, Trainieren, Clustern und Überprüfen der Ergebnisse.
Dedupe.io unterstützt außerdem Record Linkage über Datenquellen hinweg sowie kontinuierliches Matching und Training über eine API.
Weitere Informationen finden Sie auf der Dedupe.io-Produktseite, in Tutorials zur Verwendung und zu den Unterschieden zwischen Dedupe.io und der dedupe-Bibliothek.
Dedupe ist in der Python-Community weit verbreitet. Schauen Sie sich diesen Blogbeitrag, ein YouTube-Video zur Verwendung von Dedupe mit Python und ein YouTube-Video zur Anwendung von Dedupe im großen Maßstab mit Spark an.
Kommandozeilen-Tool zum Deduplizieren und Verknüpfen von CSV-Dateien. Lesen Sie darüber bei Source Knight-Mozilla OpenNews.
Wenn Sie dedupe nur verwenden möchten, installieren Sie es folgendermaßen:
pip install dedupe
Machen Sie sich mit der dedupe-API vertraut und starten Sie Ihr Projekt. Sie brauchen Inspiration? Werfen Sie einen Blick auf einige Beispiele.
Wir empfehlen die Verwendung von virtualenv und virtualenvwrapper für die Arbeit in einer virtualisierten Entwicklungsumgebung. Lesen Sie, wie Sie virtualenv einrichten.
Sobald Sie virtualenvwrapper eingerichtet haben,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
Wenn diese Tests bestehen, wurde alles korrekt installiert!
pytest
Danach können Sie jedes Mal, wenn Sie an dedupe arbeiten möchten,
workon dedupe
Unit-Tests der Kernfunktionen von dedupe
pytest
Verwendung der Deduplizierung
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
Verwendung des Record Linkage
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe basiert auf der Doktorarbeit von Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.
Wenn sich etwas nicht intuitiv verhält, ist es ein Bug und sollte gemeldet werden. Melden Sie ihn hier
Copyright (c) 2022 Forest Gregg und Derek Eder. Veröffentlicht unter der MIT-Lizenz.
Urheberrechte Dritter in dieser Distribution sind gegebenenfalls vermerkt.
Wenn Sie Dedupe in einer akademischen Arbeit verwenden, geben Sie bitte diese Zitation an:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.