자동화된 연구 산출물 — 상위 프로젝트가 아님.

이 저장소는 Université Laval의 석사 논문에서 게시된 GitHub Actions 워크플로우 취약점 재현을 위해 자동화된 하네스가 구축한 일회용 실험실입니다. 이는 커밋 54ecfe77d41390da66899596834a2bde3712c966(2024-11-01) 시점의 dedupeio/dedupe를 그대로 스냅샷한 것으로, 해당 프로젝트의 자체 라이선스에 따라 재배포되며, 해당 라이선스 파일은 이 스냅샷에 변경 없이 포함되어 있습니다.

상위 프로젝트는 관여하지 않으며, 결코 공격 대상이 아니고, 여기서 연구된 취약점은 이미 공개된 것입니다. 이 저장소의 모든 시크릿과 변수는 무작위로 생성된 더미 값입니다 — 실제 자격 증명은 존재하지 않습니다. 액션 참조와 러너 이미지는 2024-11-01에 확인된 값으로 고정되어 있습니다. 스냅샷에 적용된 모든 변경 사항은 하네스 출력의 pinning.md를 참조하세요.

질문 또는 이의 제기: [email protected]

---

Dedupe Python 라이브러리

dedupe는 구조화된 데이터에서 퍼지 매칭, 중복 제거 및 엔터티 해상도를 빠르게 수행하기 위해 머신 러닝을 사용하는 파이썬 라이브러리입니다.

dedupe 는 다음을 도와줍니다:

• 이름과 주소가 포함된 스프레드시트에서 중복 항목 제거
• 고유한 고객 ID가 없더라도 고객 정보 목록을 주문 내역이 있는 다른 목록과 연결
• 캠페인 기부 데이터베이스에서 각 레코드의 이름이 약간 다르게 입력되었더라도 동일 인물이 한 기부를 식별

dedupe는 사람의 훈련 데이터를 입력받아 데이터셋에 가장 적합한 규칙을 도출하여, 매우 큰 데이터베이스에서도 유사한 레코드를 빠르고 자동으로 찾아냅니다.

중요 링크

• 문서: https://docs.dedupe.io/
• 저장소: https://github.com/dedupeio/dedupe
• 이슈: https://github.com/dedupeio/dedupe/issues
• 메일링 리스트: https://groups.google.com/forum/#!forum/open-source-deduplication
• 예제: https://github.com/dedupeio/dedupe-examples

dedupe 라이브러리 컨설팅

귀하 또는 귀하의 조직이 dedupe 라이브러리 사용에 전문적인 지원이 필요하다면, Dedupe.io LLC가 컨설팅 서비스를 제공합니다. 가격 및 제공 서비스에 대해 자세히 알아보기.

dedupe로 구축된 도구

Dedupe.io

데이터 중복 제거 및 매칭을 위해 dedupe 라이브러리로 구동되는 클라우드 서비스입니다. 데이터 업로드, 모델 설정, 훈련, 클러스터링 및 결과 검토를 위한 단계별 마법사를 제공합니다.

Dedupe.io는 또한 API를 통한 데이터 소스 간 레코드 연결과 지속적인 매칭 및 훈련을 지원합니다.

자세한 내용은 Dedupe.io 제품 사이트, 사용 방법 튜토리얼, 그리고 Dedupe.io와 dedupe 라이브러리의 차이점을 참조하세요.

Dedupe는 Python 커뮤니티에서 널리 채택되었습니다. 이 블로그 게시물, Python과 함께 Dedupe를 사용하는 방법에 대한 YouTube 동영상 및 Spark를 사용하여 Dedupe를 대규모로 적용하는 방법에 대한 YouTube 동영상을 확인하세요.

csvdedupe

CSV 파일의 중복 제거 및 연결을 위한 명령줄 도구입니다. Source Knight-Mozilla OpenNews에서 자세히 알아보세요.

설치

dedupe 사용하기

dedupe만 사용하려면 다음과 같이 설치하세요:

pip install dedupe

dedupe의 API에 익숙해지고 프로젝트를 시작하세요. 영감이 필요하신가요? 몇 가지 예제를 살펴보세요.

dedupe 개발하기

가상화된 개발 환경에서 작업하려면 virtualenv 및 virtualenvwrapper를 사용하는 것이 좋습니다. virtualenv 설정 방법 읽기.

virtualenvwrapper를 설정한 후,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

이 테스트가 통과하면 모든 것이 올바르게 설치된 것입니다!

pytest

이후 dedupe 작업을 원할 때마다,

workon dedupe

테스트

핵심 dedupe 함수의 단위 테스트

pytest

Bilenko 연구의 표준 데이터셋을 사용한 테스트

중복 제거 사용

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

레코드 연결 사용

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

팀

• Forest Gregg, DataMade
• Derek Eder, DataMade

크레딧

Dedupe는 Mikhail Yuryevich Bilenko의 박사 학위 논문: Learnable Similarity Functions and their Application to Record Linkage and Clustering을 기반으로 합니다.

오류 / 버그

무언가 직관적으로 작동하지 않는다면 그것은 버그이며 보고해야 합니다. 여기에 보고하세요

패치/풀 리퀘스트에 관한 참고 사항

• 프로젝트를 포크하세요.
• 기능 추가 또는 버그 수정을 하세요.
• 풀 리퀘스트를 보내주세요. 토픽 브랜치는 보너스 포인트입니다.

저작권

Copyright (c) 2022 Forest Gregg and Derek Eder. MIT 라이선스에 따라 배포됩니다.

이 배포판의 타사 저작권은 해당되는 경우 명시되어 있습니다.

Dedupe 인용

학술 작업에서 Dedupe를 사용하는 경우 다음 인용을 사용하세요:

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.