自動生成された研究用アーティファクト — 上流プロジェクトではありません。
このリポジトリは、ラヴァル大学の修士論文のために、公開されているGitHub Actionsワークフローの脆弱性を再現する目的で自動化ハーネスによって構築された使い捨てのラボです。これは
dedupeio/dedupeのコミット54ecfe77d41390da66899596834a2bde3712c966（2024-11-01）の逐語的なスナップショットであり、そのプロジェクト自身のライセンスの下で再配布されています。ライセンスファイルはこのスナップショットに変更なしで含まれています。上流プロジェクトは関与しておらず、決して標的にはなりません。ここで研究されている脆弱性はすでに公開されています。このリポジトリ内のすべてのシークレットと変数はランダムに生成されたダミー値であり、実際の認証情報は一切含まれていません。アクションの参照とランナーイメージは、2024-11-01時点で解決されたものに固定されています。スナップショットに加えられたすべての変更については、ハーネス出力内の
pinning.mdを参照してください。質問や異議がある場合: [email protected]
dedupe は、機械学習を使用して構造化データに対してファジーマッチング、重複排除、エンティティ解決を迅速に実行する Python ライブラリです。
dedupe は以下のことを支援します:
dedupe は人間によるトレーニングデータを受け取り、データセットに最適なルールを導き出して、非常に大規模なデータベースでも類似レコードを迅速かつ自動的に見つけ出します。
あなたまたはあなたの組織が dedupe ライブラリの利用に関して専門的な支援を必要とする場合、Dedupe.io LLC がコンサルティングサービスを提供しています。価格と利用可能なサービスについて詳しくはこちら をご覧ください。
dedupe ライブラリを搭載したクラウドサービスで、データの重複排除とマッチング検出を行います。データのアップロード、モデルのセットアップ、トレーニング、クラスタリング、結果のレビューのためのステップバイステップのウィザードを提供します。
詳細については、Dedupe.io プロダクトサイト、使用方法のチュートリアル、および Dedupe.io と dedupe ライブラリの違い を参照してください。
Dedupe は Python コミュニティで広く採用されています。このブログ記事、 Python で Dedupe を使用する方法 に関する YouTube ビデオ、および Spark を使用して Dedupe を大規模に適用する方法 に関する YouTube ビデオをチェックしてください。
CSV ファイルの重複排除とリンキングのためのコマンドラインツールです。Source Knight-Mozilla OpenNews で詳しく読むことができます。
dedupe を使用するだけなら、次のようにインストールします:
pip install dedupe
dedupe の API に慣れて、プロジェクトを始めましょう。インスピレーションが必要ですか？いくつかのサンプル をご覧ください。
仮想化された開発環境で作業するには、virtualenv と virtualenvwrapper の使用をお勧めします。virtualenv のセットアップ方法を読む。
virtualenvwrapper のセットアップが完了したら、
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
これらのテストが通れば、すべてが正しくインストールされています!
pytest
その後、dedupe で作業したいときはいつでも、
workon dedupe
dedupe のコア機能のユニットテスト
pytest
重複排除の使用
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
レコードリンケージの使用
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe は Mikhail Yuryevich Bilenko の博士論文に基づいています: Learnable Similarity Functions and their Application to Record Linkage and Clustering。
何かが直感的に動作しない場合、それはバグであり、報告されるべきです。 ここで報告してください
Copyright (c) 2022 Forest Gregg and Derek Eder. MIT ライセンス の下で公開されています。
この配布物における第三者の著作権は、該当箇所に記載されています。
学術研究で Dedupe を使用する場合は、次の引用を記載してください:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.