pvharmo2/gha-lab-ba981941f0Laboratoire de recherche en sécurité reproduisant la CVE-2025-54430 (GHSA-wrg3-xqw8-m85p) : exfiltration de secrets via le Benchmark Bot déclenché par issue_comment dans dedupeio/dedupe. Instantané de dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966.
Artefact de recherche automatisé — pas le projet en amont.
Ce dépôt est un laboratoire jetable construit par un harnais automatisé pour un mémoire de maîtrise à l'Université Laval sur la reproduction de vulnérabilités publiées dans les workflows GitHub Actions. Il s'agit d'un instantané verbatim de
dedupeio/dedupeau commit54ecfe77d41390da66899596834a2bde3712c966(2024-11-01), redistribué sous la licence propre de ce projet, dont le fichier est inclus inchangé dans cet instantané.Le projet en amont n'est pas impliqué, n'est jamais ciblé, et la vulnérabilité étudiée ici est déjà publique. Chaque secret et variable dans ce dépôt est une valeur factice générée aléatoirement — aucune information d'identification réelle n'est présente. Les références d'actions et les images d'exécuteurs sont épinglées à ce qu'elles résolvaient le 2024-11-01 ; voir
pinning.mddans la sortie du harnais pour chaque modification apportée à l'instantané.Questions ou objections : [email protected]
dedupe est une bibliothèque Python qui utilise l'apprentissage automatique pour effectuer rapidement une correspondance floue, une déduplication et une résolution d'entités sur des données structurées.
dedupe vous aidera à :
dedupe prend des données d'entraînement humaines et établit les meilleures règles pour votre ensemble de données afin de trouver rapidement et automatiquement des enregistrements similaires, même avec de très grandes bases de données.
Si vous ou votre organisation souhaitez une assistance professionnelle pour travailler avec la bibliothèque dedupe, Dedupe.io LLC propose des services de conseil. En savoir plus sur les tarifs et les services disponibles ici.
Un service cloud propulsé par la bibliothèque dedupe pour dédupliquer et trouver des correspondances dans vos données. Il fournit un assistant étape par étape pour télécharger vos données, configurer un modèle, entraîner, regrouper et examiner les résultats.
Dedupe.io prend également en charge la liaison d'enregistrements entre sources de données et la correspondance et l'entraînement continus via une API.
Pour en savoir plus, consultez le site produit Dedupe.io, les tutoriels sur son utilisation et les différences entre celui-ci et la bibliothèque dedupe.
Dedupe est bien adopté par la communauté Python. Consultez ce billet de blog, une vidéo YouTube sur l'utilisation de Dedupe avec Python et une vidéo YouTube sur l'application de Dedupe à grande échelle avec Spark.
Outil en ligne de commande pour dédupliquer et relier des fichiers CSV. Lisez-en plus sur Source Knight-Mozilla OpenNews.
Si vous souhaitez uniquement utiliser dedupe, installez-le de cette façon :
pip install dedupe
Familiarisez-vous avec l'API de dedupe et lancez-vous dans votre projet. Besoin d'inspiration ? Jetez un œil à quelques exemples.
Nous recommandons d'utiliser virtualenv et virtualenvwrapper pour travailler dans un environnement de développement virtualisé. Lisez comment configurer virtualenv.
Une fois virtualenvwrapper configuré,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
Si ces tests réussissent, alors tout devrait avoir été installé correctement !
pytest
Ensuite, chaque fois que vous voulez travailler sur dedupe,
workon dedupe
Tests unitaires des fonctions principales de dedupe
pytest
Utilisation de la déduplication
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
Utilisation de la liaison d'enregistrements
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe est basé sur la thèse de doctorat de Mikhail Yuryevich Bilenko : Learnable Similarity Functions and their Application to Record Linkage and Clustering.
Si quelque chose ne se comporte pas de manière intuitive, c'est un bogue, et il doit être signalé. Signalez-le ici
Copyright (c) 2022 Forest Gregg et Derek Eder. Publié sous la licence MIT.
Les droits d'auteur de tiers dans cette distribution sont indiqués le cas échéant.
Si vous utilisez Dedupe dans un travail académique, veuillez fournir cette citation :
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.