pvharmo2/gha-lab-ba981941f0Laboratório de pesquisa em segurança reproduzindo CVE-2025-54430 (GHSA-wrg3-xqw8-m85p): exfiltração de segredos via Benchmark Bot acionado por issue_comment em dedupeio/dedupe. Snapshot de dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966.
Artefato de pesquisa automatizado — não é o projeto original.
Este repositório é um laboratório descartável construído por um harness automatizado para uma dissertação de mestrado na Université Laval sobre a reprodução de vulnerabilidades publicadas em workflows do GitHub Actions. É um snapshot verbatim de
dedupeio/dedupeno commit54ecfe77d41390da66899596834a2bde3712c966(2024-11-01), redistribuído sob a licença do próprio projeto, cujo arquivo está incluído inalterado neste snapshot.O projeto original não está envolvido, nunca é alvo, e a vulnerabilidade estudada aqui já é pública. Todo segredo e variável neste repositório é um valor fictício gerado aleatoriamente — nenhuma credencial real está presente. Referências de actions e imagens de runner estão fixadas no que elas resolviam em 2024-11-01; veja
pinning.mdna saída do harness para cada alteração feita no snapshot.Perguntas ou objeções: [email protected]
dedupe é uma biblioteca Python que usa aprendizado de máquina para realizar correspondência difusa, deduplicação e resolução de entidades rapidamente em dados estruturados.
O dedupe vai te ajudar a:
O dedupe recebe dados de treinamento humanos e cria as melhores regras para o seu conjunto de dados, encontrando registros semelhantes de forma rápida e automática, mesmo em bancos de dados muito grandes.
Se você ou sua organização precisar de assistência profissional para trabalhar com a biblioteca dedupe, a Dedupe.io LLC oferece serviços de consultoria. Saiba mais sobre preços e serviços disponíveis aqui.
Um serviço em nuvem alimentado pela biblioteca dedupe para deduplicar e encontrar correspondências nos seus dados. Ele fornece um assistente passo a passo para enviar seus dados, configurar um modelo, treinar, agrupar e revisar os resultados.
O Dedupe.io também oferece suporte à vinculação de registros entre fontes de dados e à correspondência e treinamento contínuos por meio de uma API.
Para mais informações, veja o site do produto Dedupe.io, tutoriais sobre como usá-lo e as diferenças entre ele e a biblioteca dedupe.
O Dedupe é bem adotado pela comunidade Python. Confira este post de blog, um vídeo no YouTube sobre como usar o Dedupe com Python e um vídeo no YouTube sobre como aplicar o Dedupe em escala usando Spark.
Ferramenta de linha de comando para deduplicar e vincular arquivos CSV. Leia sobre ela no Source Knight-Mozilla OpenNews.
Se você só quer usar o dedupe, instale-o desta forma:
pip install dedupe
Familiarize-se com a API do dedupe e comece seu projeto. Precisa de inspiração? Dê uma olhada em alguns exemplos.
Recomendamos usar virtualenv e virtualenvwrapper para trabalhar em um ambiente de desenvolvimento virtualizado. Leia como configurar o virtualenv.
Depois de configurar o virtualenvwrapper,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
Se esses testes passarem, então tudo deve ter sido instalado corretamente!
pytest
Depois disso, sempre que quiser trabalhar no dedupe,
workon dedupe
Testes unitários das funções principais do dedupe
pytest
Usando Deduplicação
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
Usando Vinculação de Registros
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
O Dedupe é baseado na dissertação de doutorado de Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.
Se algo não estiver se comportando de forma intuitiva, é um bug e deve ser relatado. Relate aqui
Copyright (c) 2022 Forest Gregg e Derek Eder. Lançado sob a Licença MIT.
Direitos autorais de terceiros nesta distribuição são indicados quando aplicável.
Se você usar o Dedupe em um trabalho acadêmico, por favor, use esta citação:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.