pvharmo2/gha-lab-ba981941f0सुरक्षा-अनुसंधान प्रयोगशाला जो CVE-2025-54430 (GHSA-wrg3-xqw8-m85p) को पुनः उत्पन्न करती है: dedupeio/dedupe में issue_comment-ट्रिगर किए गए Benchmark Bot के माध्यम से रहस्यों का बहिर्निष्कासन। dedupeio/dedupe@54ecfe77d41390da66899596834a2bde3712c966 का स्नैपशॉट।
स्वचालित शोध कलाकृति — अपस्ट्रीम प्रोजेक्ट नहीं।
यह रिपोर्टरी एक डिस्पोज़ेबल लैब है जिसे Université Laval में मास्टर की थीसिस के लिए एक स्वचालित हार्नेस द्वारा बनाया गया है, जिसका उद्देश्य प्रकाशित GitHub Actions वर्कफ़्लो कमज़ोरियों को पुनः प्रस्तुत करना है। यह
dedupeio/dedupeका एक शब्दशः स्नैपशॉट है, जो कमिट54ecfe77d41390da66899596834a2bde3712c966(2024-11-01) पर आधारित है, और इसे उस प्रोजेक्ट के अपने लाइसेंस के तहत पुनर्वितरित किया गया है, जिसकी फ़ाइल इस स्नैपशॉट में अपरिवर्तित शामिल है।अपस्ट्रीम प्रोजेक्ट शामिल नहीं है, उसे कभी लक्षित नहीं किया जाता है, और यहाँ अध्ययन की गई कमज़ोरी पहले से ही सार्वजनिक है। इस रिपोर्टरी में हर सीक्रेट और वेरिएबल एक यादृच्छिक रूप से उत्पन्न डमी मान है — कोई वास्तविक क्रेडेंशियल मौजूद नहीं है। एक्शन संदर्भ और रनर इमेज उसी पर पिन किए गए हैं जो 2024-11-01 पर उन्होंने हल किया था; स्नैपशॉट में किए गए हर बदलाव के लिए हार्नेस आउटपुट में
pinning.mdदेखें।प्रश्न या आपत्तियाँ: [email protected]
dedupe एक python लाइब्रेरी है जो संरचित डेटा पर फ़ज़ी मैचिंग, डीडुप्लिकेशन और एंटिटी रेज़ोल्यूशन को तेज़ी से करने के लिए मशीन लर्निंग का उपयोग करती है।
dedupe आपकी मदद करेगा:
dedupe मानव प्रशिक्षण डेटा लेता है और आपके डेटासेट के लिए सर्वोत्तम नियम बनाता है ताकि समान रिकॉर्ड को तेज़ी से और स्वचालित रूप से खोजा जा सके, यहाँ तक कि बहुत बड़े डेटाबेस के साथ भी।
यदि आप या आपका संगठन dedupe लाइब्रेरी के साथ काम करने में पेशेवर सहायता चाहता है, तो Dedupe.io LLC परामर्श सेवाएँ प्रदान करता है। मूल्य निर्धारण और उपलब्ध सेवाओं के बारे में यहाँ और पढ़ें।
एक क्लाउड सेवा जो आपके डेटा में डी-डुप्लिकेशन और मैच खोजने के लिए dedupe लाइब्रेरी द्वारा संचालित है। यह आपके डेटा को अपलोड करने, एक मॉडल सेट करने, प्रशिक्षण, क्लस्टरिंग और परिणामों की समीक्षा करने के लिए एक चरण-दर-चरण विज़ार्ड प्रदान करती है।
Dedupe.io एक API के माध्यम से डेटा स्रोतों के बीच रिकॉर्ड लिंकेज और निरंतर मैचिंग और प्रशिक्षण का भी समर्थन करता है।
अधिक जानकारी के लिए, Dedupe.io उत्पाद साइट, इसे उपयोग करने के तरीके पर ट्यूटोरियल, और इसके और dedupe लाइब्रेरी के बीच अंतर देखें।
Dedupe को Python समुदाय द्वारा अच्छी तरह से अपनाया गया है। इस ब्लॉगपोस्ट, Python के साथ Dedupe का उपयोग करने पर एक YouTube वीडियो और Spark का उपयोग करके Dedupe को बड़े पैमाने पर लागू करने पर एक YouTube वीडियो देखें।
CSV फ़ाइलों को डी-डुप्लिकेट और लिंक करने के लिए कमांड लाइन उपकरण। इसके बारे में Source Knight-Mozilla OpenNews पर पढ़ें।
यदि आप केवल dedupe का उपयोग करना चाहते हैं, तो इसे इस तरह स्थापित करें:
pip install dedupe
dedupe के API से परिचित हों, और अपने प्रोजेक्ट पर शुरू करें। प्रेरणा चाहिए? कुछ उदाहरण देखें।
हम एक वर्चुअलाइज़्ड विकास वातावरण में काम करने के लिए virtualenv और virtualenvwrapper का उपयोग करने की सलाह देते हैं। virtualenv कैसे सेट करें पढ़ें।
एक बार जब आप virtualenvwrapper सेट कर लें,
mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt
यदि ये परीक्षण पास हो जाते हैं, तो सब कुछ सही ढंग से स्थापित हो गया होगा!
pytest
उसके बाद, जब भी आप dedupe पर काम करना चाहें,
workon dedupe
dedupe के मुख्य कार्यों के यूनिट परीक्षण
pytest
डीडुप्लिकेशन का उपयोग करना
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py
रिकॉर्ड लिंकेज का उपयोग करना
python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py
Dedupe Mikhail Yuryevich Bilenko के Ph.D. शोध प्रबंध पर आधारित है: Learnable Similarity Functions and their Application to Record Linkage and Clustering।
यदि कुछ सहज रूप से व्यवहार नहीं कर रहा है, तो यह एक बग है, और इसे रिपोर्ट किया जाना चाहिए। इसे यहाँ रिपोर्ट करें
कॉपीराइट (c) 2022 Forest Gregg और Derek Eder। MIT लाइसेंस के तहत जारी किया गया।
इस वितरण में तृतीय-पक्ष कॉपीराइट जहाँ लागू हो वहाँ नोट किया गया है।
यदि आप किसी शैक्षणिक कार्य में Dedupe का उपयोग करते हैं, तो कृपया यह उद्धरण दें:
Forest Gregg and Derek Eder. 2022. Dedupe. https://github.com/dedupeio/dedupe.