自動生成された研究用アーティファクト — 上流プロジェクトではありません。

このリポジトリは、ラヴァル大学の修士論文のために、公開されているGitHub Actionsワークフローの脆弱性を再現する目的で自動化ハーネスによって構築された使い捨てのラボです。これは dedupeio/dedupe のコミット 54ecfe77d41390da66899596834a2bde3712c966（2024-11-01）の逐語的なスナップショットであり、そのプロジェクト自身のライセンスの下で再配布されています。ライセンスファイルはこのスナップショットに変更なしで含まれています。

上流プロジェクトは関与しておらず、決して標的にはなりません。ここで研究されている脆弱性はすでに公開されています。このリポジトリ内のすべてのシークレットと変数はランダムに生成されたダミー値であり、実際の認証情報は一切含まれていません。アクションの参照とランナーイメージは、2024-11-01時点で解決されたものに固定されています。スナップショットに加えられたすべての変更については、ハーネス出力内の pinning.md を参照してください。

質問や異議がある場合: [email protected]

---

Dedupe Python ライブラリ

dedupe は、機械学習を使用して構造化データに対してファジーマッチング、重複排除、エンティティ解決を迅速に実行する Python ライブラリです。

dedupe は以下のことを支援します:

• 名前と住所のスプレッドシートから 重複エントリを削除する
• 一意の顧客 ID がなくても、顧客情報の リストを 注文履歴のある別のリストと リンクする
• 政治献金のデータベースを取得し、名前がレコードごとに少しずつ異なる入力であっても、同じ人物による献金を特定する

dedupe は人間によるトレーニングデータを受け取り、データセットに最適なルールを導き出して、非常に大規模なデータベースでも類似レコードを迅速かつ自動的に見つけ出します。

重要なリンク

• ドキュメント: https://docs.dedupe.io/
• リポジトリ: https://github.com/dedupeio/dedupe
• イシュー: https://github.com/dedupeio/dedupe/issues
• メーリングリスト: https://groups.google.com/forum/#!forum/open-source-deduplication
• サンプル: https://github.com/dedupeio/dedupe-examples

dedupe ライブラリのコンサルティング

あなたまたはあなたの組織が dedupe ライブラリの利用に関して専門的な支援を必要とする場合、Dedupe.io LLC がコンサルティングサービスを提供しています。価格と利用可能なサービスについて詳しくはこちら をご覧ください。

dedupe を使用して構築されたツール

Dedupe.io

dedupe ライブラリを搭載したクラウドサービスで、データの重複排除とマッチング検出を行います。データのアップロード、モデルのセットアップ、トレーニング、クラスタリング、結果のレビューのためのステップバイステップのウィザードを提供します。

Dedupe.io は、データソース間のレコードリンケージと、API による継続的なマッチングとトレーニングもサポートしています。

詳細については、Dedupe.io プロダクトサイト、使用方法のチュートリアル、および Dedupe.io と dedupe ライブラリの違い を参照してください。

Dedupe は Python コミュニティで広く採用されています。このブログ記事、 Python で Dedupe を使用する方法 に関する YouTube ビデオ、および Spark を使用して Dedupe を大規模に適用する方法 に関する YouTube ビデオをチェックしてください。

csvdedupe

CSV ファイルの重複排除とリンキングのためのコマンドラインツールです。Source Knight-Mozilla OpenNews で詳しく読むことができます。

インストール

dedupe を使用する場合

dedupe を使用するだけなら、次のようにインストールします:

pip install dedupe

dedupe の API に慣れて、プロジェクトを始めましょう。インスピレーションが必要ですか？いくつかのサンプル をご覧ください。

dedupe の開発

仮想化された開発環境で作業するには、virtualenv と virtualenvwrapper の使用をお勧めします。virtualenv のセットアップ方法を読む。

virtualenvwrapper のセットアップが完了したら、

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

これらのテストが通れば、すべてが正しくインストールされています!

pytest

その後、dedupe で作業したいときはいつでも、

workon dedupe

テスト

dedupe のコア機能のユニットテスト

pytest

Bilenko の研究による標準データセットを使用したテスト

重複排除の使用

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

レコードリンケージの使用

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

チーム

• Forest Gregg, DataMade
• Derek Eder, DataMade

クレジット

Dedupe は Mikhail Yuryevich Bilenko の博士論文に基づいています: Learnable Similarity Functions and their Application to Record Linkage and Clustering。

エラー / バグ

何かが直感的に動作しない場合、それはバグであり、報告されるべきです。 ここで報告してください

パッチ / プルリクエストに関する注意

• プロジェクトをフォークしてください。
• 機能追加またはバグ修正を行ってください。
• プルリクエストを送ってください。トピックブランチはボーナスポイントです。

著作権

Copyright (c) 2022 Forest Gregg and Derek Eder. MIT ライセンス の下で公開されています。

この配布物における第三者の著作権は、該当箇所に記載されています。

Dedupe の引用

学術研究で Dedupe を使用する場合は、次の引用を記載してください:

Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.