pvharmo2/gha-lab-ba981941f0Laboratorio de investigación en seguridad que reproduce CVE-2025-54430 (GHSA-wrg3-xqw8-m85p): exfiltración de secretos a través del Benchmark Bot activado por issue_comment en dedupeio/dedupe. Instantánea de dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966.
Artefacto de investigación automatizado — no es el proyecto original.
Este repositorio es un laboratorio desechable construido por un sistema automatizado para una tesis de maestría en la Université Laval sobre la reproducción de vulnerabilidades publicadas en flujos de trabajo de GitHub Actions. Es una instantánea verbatim de
dedupeio/dedupeen el commit54ecfe77d41390da66899596834a2bde3712c966(2024-11-01), redistribuida bajo la licencia de ese proyecto, cuyo archivo se incluye sin cambios en esta instantánea.El proyecto original no está involucrado, nunca es el objetivo, y la vulnerabilidad estudiada aquí ya es pública. Cada secreto y variable en este repositorio es un valor ficticio generado aleatoriamente — no hay ninguna credencial real presente. Las referencias a acciones e imágenes de ejecutores están fijadas a lo que resolvieron el 2024-11-01; consulta
pinning.mden la salida del sistema para cada cambio realizado en la instantánea.Preguntas u objeciones: [email protected]
dedupe es una biblioteca de Python que utiliza aprendizaje automático para realizar coincidencias difusas, deduplicación y resolución de entidades rápidamente sobre datos estructurados.
dedupe te ayudará a:
dedupe toma datos de entrenamiento humanos y genera las mejores reglas para tu conjunto de datos, de modo que puedas encontrar registros similares de forma rápida y automática, incluso con bases de datos muy grandes.
Si tú o tu organización necesitan asistencia profesional para trabajar con la biblioteca dedupe, Dedupe.io LLC ofrece servicios de consultoría. Lee más sobre precios y servicios disponibles aquí.
Un servicio en la nube impulsado por la biblioteca dedupe para deduplicar y encontrar coincidencias en tus datos. Proporciona un asistente paso a paso para subir tus datos, configurar un modelo, entrenar, agrupar y revisar los resultados.
Dedupe.io también admite vinculación de registros entre fuentes de datos y coincidencia y entrenamiento continuos a través de una API.
Para más información, consulta el sitio del producto Dedupe.io, los tutoriales sobre cómo usarlo y las diferencias entre este y la biblioteca dedupe.
Dedupe está bien adoptado por la comunidad de Python. Consulta esta publicación de blog, un video de YouTube sobre cómo usar Dedupe con Python y un video de YouTube sobre cómo aplicar Dedupe a escala usando Spark.
Herramienta de línea de comandos para deduplicar y vincular archivos CSV. Lee sobre ella en Source Knight-Mozilla OpenNews.
Si solo quieres usar dedupe, instálalo de esta manera:
pip install dedupe
Familiarízate con la API de dedupe y comienza tu proyecto. ¿Necesitas inspiración? Echa un vistazo a algunos ejemplos.
Recomendamos usar virtualenv y virtualenvwrapper para trabajar en un entorno de desarrollo virtualizado. Lee cómo configurar virtualenv.
Una vez que tengas virtualenvwrapper configurado,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
Si estas pruebas pasan, ¡entonces todo debería haberse instalado correctamente!
pytest
Después, cada vez que quieras trabajar en dedupe,
workon dedupe
Pruebas unitarias de las funciones principales de dedupe
pytest
Usando deduplicación
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
Usando vinculación de registros
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe se basa en la tesis doctoral de Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.
Si algo no se comporta de manera intuitiva, es un bug y debe informarse. Repórtalo aquí
Copyright (c) 2022 Forest Gregg y Derek Eder. Publicado bajo la Licencia MIT.
Los derechos de autor de terceros en esta distribución se indican donde corresponde.
Si usas Dedupe en un trabajo académico, por favor usa esta cita:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.