Artefato de pesquisa automatizado — não é o projeto original.

Este repositório é um laboratório descartável construído por um harness automatizado para uma dissertação de mestrado na Université Laval sobre a reprodução de vulnerabilidades publicadas em workflows do GitHub Actions. É um snapshot verbatim de dedupeio/dedupe no commit 54ecfe77d41390da66899596834a2bde3712c966 (2024-11-01), redistribuído sob a licença do próprio projeto, cujo arquivo está incluído inalterado neste snapshot.

O projeto original não está envolvido, nunca é alvo, e a vulnerabilidade estudada aqui já é pública. Todo segredo e variável neste repositório é um valor fictício gerado aleatoriamente — nenhuma credencial real está presente. Referências de actions e imagens de runner estão fixadas no que elas resolviam em 2024-11-01; veja pinning.md na saída do harness para cada alteração feita no snapshot.

Perguntas ou objeções: [email protected]

---

Biblioteca Python Dedupe

dedupe é uma biblioteca Python que usa aprendizado de máquina para realizar correspondência difusa, deduplicação e resolução de entidades rapidamente em dados estruturados.

O dedupe vai te ajudar a:

• remover entradas duplicadas de uma planilha de nomes e endereços
• vincular uma lista com informações de clientes a outra com histórico de pedidos, mesmo sem IDs exclusivos de clientes
• pegar um banco de dados de contribuições de campanha e descobrir quais foram feitas pela mesma pessoa, mesmo que os nomes tenham sido inseridos de forma ligeiramente diferente em cada registro

O dedupe recebe dados de treinamento humanos e cria as melhores regras para o seu conjunto de dados, encontrando registros semelhantes de forma rápida e automática, mesmo em bancos de dados muito grandes.

Links importantes

• Documentação: https://docs.dedupe.io/
• Repositório: https://github.com/dedupeio/dedupe
• Problemas: https://github.com/dedupeio/dedupe/issues
• Lista de e-mails: https://groups.google.com/forum/#!forum/open-source-deduplication
• Exemplos: https://github.com/dedupeio/dedupe-examples

Consultoria da biblioteca dedupe

Se você ou sua organização precisar de assistência profissional para trabalhar com a biblioteca dedupe, a Dedupe.io LLC oferece serviços de consultoria. Saiba mais sobre preços e serviços disponíveis aqui.

Ferramentas construídas com dedupe

Dedupe.io

Um serviço em nuvem alimentado pela biblioteca dedupe para deduplicar e encontrar correspondências nos seus dados. Ele fornece um assistente passo a passo para enviar seus dados, configurar um modelo, treinar, agrupar e revisar os resultados.

O Dedupe.io também oferece suporte à vinculação de registros entre fontes de dados e à correspondência e treinamento contínuos por meio de uma API.

Para mais informações, veja o site do produto Dedupe.io, tutoriais sobre como usá-lo e as diferenças entre ele e a biblioteca dedupe.

O Dedupe é bem adotado pela comunidade Python. Confira este post de blog, um vídeo no YouTube sobre como usar o Dedupe com Python e um vídeo no YouTube sobre como aplicar o Dedupe em escala usando Spark.

csvdedupe

Ferramenta de linha de comando para deduplicar e vincular arquivos CSV. Leia sobre ela no Source Knight-Mozilla OpenNews.

Instalação

Usando o dedupe

Se você só quer usar o dedupe, instale-o desta forma:

pip install dedupe

Familiarize-se com a API do dedupe e comece seu projeto. Precisa de inspiração? Dê uma olhada em alguns exemplos.

Desenvolvendo o dedupe

Recomendamos usar virtualenv e virtualenvwrapper para trabalhar em um ambiente de desenvolvimento virtualizado. Leia como configurar o virtualenv.

Depois de configurar o virtualenvwrapper,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Se esses testes passarem, então tudo deve ter sido instalado corretamente!

pytest

Depois disso, sempre que quiser trabalhar no dedupe,

workon dedupe

Testes

Testes unitários das funções principais do dedupe

pytest

Teste usando o conjunto de dados canônico da pesquisa de Bilenko

Usando Deduplicação

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Usando Vinculação de Registros

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Equipe

• Forest Gregg, DataMade
• Derek Eder, DataMade

Créditos

O Dedupe é baseado na dissertação de doutorado de Mikhail Yuryevich Bilenko: Learnable Similarity Functions and their Application to Record Linkage and Clustering.

Erros / Bugs

Se algo não estiver se comportando de forma intuitiva, é um bug e deve ser relatado. Relate aqui

Nota sobre Patches/Pull Requests

• Faça um fork do projeto.
• Adicione seu recurso ou corrija o bug.
• Envie-nos um pull request. Pontos extras para branches temáticas.

Direitos autorais

Copyright (c) 2022 Forest Gregg e Derek Eder. Lançado sob a Licença MIT.

Direitos autorais de terceiros nesta distribuição são indicados quando aplicável.

Citando o Dedupe

Se você usar o Dedupe em um trabalho acadêmico, por favor, use esta citação:

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.