Автоматизированный исследовательский артефакт — не вышестоящий проект.

Этот репозиторий — одноразовая лаборатория, созданная автоматизированной системой для магистерской диссертации в Université Laval по воспроизведению опубликованных уязвимостей в рабочих процессах GitHub Actions. Это точный снимок dedupeio/dedupe на коммите 54ecfe77d41390da66899596834a2bde3712c966 (2024-11-01), распространяемый под лицензией этого проекта, файл которой включён в этот снимок без изменений.

Вышестоящий проект не участвует, никогда не является целью, а изучаемая здесь уязвимость уже публична. Каждый секрет и переменная в этом репозитории — случайно сгенерированное фиктивное значение; никаких реальных учётных данных здесь нет. Ссылки на действия и образы раннеров закреплены на те значения, которые они имели на 2024-11-01; см. pinning.md в выводе системы для каждого изменения, внесённого в снимок.

Вопросы или возражения: [email protected]

Библиотека Python Dedupe

dedupe — это библиотека Python, которая использует машинное обучение для быстрого выполнения нечёткого сопоставления, дедупликации и разрешения сущностей на структурированных данных.

dedupe поможет вам:

• удалить повторяющиеся записи из таблицы с именами и адресами
• связать список с информацией о клиентах с другим списком, содержащим историю заказов, даже без уникальных идентификаторов клиентов
• взять базу данных пожертвований на кампанию и выяснить, какие из них были сделаны одним и тем же человеком, даже если имена в каждой записи были введены немного по-разному

dedupe принимает обучающие данные от человека и создаёт наилучшие правила для вашего набора данных, чтобы быстро и автоматически находить похожие записи, даже в очень больших базах данных.

Важные ссылки

• Документация: https://docs.dedupe.io/
• Репозиторий: https://github.com/dedupeio/dedupe
• Проблемы: https://github.com/dedupeio/dedupe/issues
• Список рассылки: https://groups.google.com/forum/#!forum/open-source-deduplication
• Примеры: https://github.com/dedupeio/dedupe-examples

Консалтинг по библиотеке dedupe

Если вы или ваша организация нуждаетесь в профессиональной помощи в работе с библиотекой dedupe, компания Dedupe.io LLC предлагает консалтинговые услуги. Узнайте больше о ценах и доступных услугах здесь.

Инструменты, созданные на основе dedupe

Dedupe.io

Облачный сервис на основе библиотеки dedupe для дедупликации и поиска совпадений в ваших данных. Он предоставляет пошаговый мастер для загрузки данных, настройки модели, обучения, кластеризации и просмотра результатов.

Dedupe.io также поддерживает связывание записей между источниками данных, а также непрерывное сопоставление и обучение через API.

Подробнее см. сайт продукта Dedupe.io, руководства по его использованию и различия между ним и библиотекой dedupe.

Dedupe хорошо принят сообществом Python. Ознакомьтесь с этим постом в блоге, видео на YouTube о том, как использовать Dedupe с Python, и видео на YouTube о том, как применять Dedupe в масштабе с помощью Spark.

csvdedupe

Инструмент командной строки для дедупликации и связывания CSV-файлов. Прочитайте о нём на Source Knight-Mozilla OpenNews.

Установка

Использование dedupe

Если вы хотите только использовать dedupe, установите его следующим образом:

pip install dedupe

Ознакомьтесь с API dedupe и приступайте к своему проекту. Нужно вдохновение? Посмотрите некоторые примеры.

Разработка dedupe

Мы рекомендуем использовать virtualenv и virtualenvwrapper для работы в виртуализированной среде разработки. Прочитайте, как настроить virtualenv.

После настройки virtualenvwrapper:

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Если эти тесты пройдут, значит, всё установлено правильно!

pytest

В дальнейшем, когда захотите работать над dedupe:

workon dedupe

Тестирование

Модульные тесты основных функций dedupe

pytest

Тест с использованием канонического набора данных из исследования Биленко

Использование дедупликации

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Использование связывания записей

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Команда

• Forest Gregg, DataMade
• Derek Eder, DataMade

Благодарности

Dedupe основан на докторской диссертации Михаила Юрьевича Биленко: Learnable Similarity Functions and their Application to Record Linkage and Clustering.

Ошибки / Баги

Если что-то ведёт себя неинтуитивно, это баг, и о нём следует сообщить. Сообщите об этом здесь

Примечание о патчах / pull request'ах

• Сделайте форк проекта.
• Добавьте свою функцию или исправьте баг.
• Отправьте нам pull request. Бонусные баллы за тематические ветки.

Авторские права

Copyright (c) 2022 Forest Gregg and Derek Eder. Выпущено под лицензией MIT.

Авторские права третьих лиц в этом дистрибутиве указаны там, где это применимо.

Цитирование Dedupe

Если вы используете Dedupe в академической работе, пожалуйста, укажите эту ссылку:

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.