PII-Shield 🛡️

Kubernetes के लिए ज़ीरो-कोड लॉग सैनिटाइज़ेशन साइडकार। PII को लॉग से पॉड छोड़ने से पहले ही रिडैक्ट करके डेटा लीक (GDPR/SOC2) को रोकता है।

PII-Shield इन-प्रोसेस चलता है — CLI, साइडकार, या WASM। कोई होस्टेड API नहीं है और न ही कोई सर्वर जिसे आपका डेटा भेजा जाता है।

"अपने AI मॉडल को PII से दूषित न होने दें।" PII-Shield सुनिश्चित करता है कि संवेदनशील डेटा कभी भी आपके ट्रेनिंग डेटासेट तक न पहुंचे, जिससे आप GDPR-अनिवार्य मॉडल रीट्रेनिंग से बच जाते हैं।

[!WARNING] v2.0.0 में अपग्रेड कर रहे हैं? हमने एंड-यूज़र वितरण को Helm-आधारित इंस्टॉल और Distroless Native Sidecars में स्थानांतरित कर दिया है। Kustomize अब प्रोडक्शन उपयोगकर्ताओं के लिए समर्थित रिलीज़ इंस्टॉलेशन पथ नहीं है, हालांकि ऑपरेटर रिपॉजिटरी स्थानीय विकास और मैनिफेस्ट जनरेशन के लिए Kustomize स्कैफोल्डिंग बनाए रखती है। PII-Shield साइडकार के अंदर /bin/sh एक्सेस अब समर्थित नहीं है। माइग्रेशन गाइड पढ़ें।

दो डिप्लॉयमेंट मॉडल

PII-Shield आपके स्टैक में एकीकृत होने के दो अलग तरीके प्रदान करता है:

1. Kubernetes Operator (ज़ीरो-कोड): हमारा प्रमुख डिप्लॉयमेंट मॉडल। एक पूर्णतः स्वचालित K8s Operator जो आपके पॉड्स में एक अत्यधिक सुरक्षित Distroless Sidecar इंजेक्ट करता है ताकि लॉग को तुरंत इंटरसेप्ट और सैनिटाइज़ किया जा सके।
2. इन-प्रोसेस WASM (कोर इंटीग्रेशन के लिए): अत्यधिक प्रदर्शन के लिए, कोर इंजन को सीधे WASM के माध्यम से एम्बेड किया जा सकता है, जो नेटवर्क हॉप्स के बिना <1ms लेटेंसी प्रदान करता है।

प्रोजेक्ट स्थिति और रोडमैप

PII-Shield एक सक्रिय रूप से विकसित ओपन-सोर्स सुरक्षा टूल है जो प्रोडक्शन-हार्डनिंग चरण में है। v2.x रिलीज़ लाइन उपयोग योग्य CLI, कंटेनर, Helm/operator, और WASM SDK आर्टिफैक्ट्स भेजती है। कोर रिडैक्शन पथ नियंत्रित डिप्लॉयमेंट के लिए तैयार हैं, जबकि कुछ Kubernetes डिप्लॉयमेंट मोड और सप्लाई-चेन गारंटी अभी भी स्थिर की जा रही हैं।

वर्तमान प्रोडक्शन-हार्डनिंग सीमाओं के लिए KNOWN_LIMITATIONS.md देखें।

PII-Shield क्यों?

डेवलपर्स अक्सर संवेदनशील डेटा को मास्क करना भूल जाते हैं। Fluentd/Logstash में पारंपरिक regex फ़िल्टर धीमे, बनाए रखने में कठिन, और लॉग एग्रीगेटर्स पर महंगे CPU की खपत करते हैं।

PII-Shield आपके ऐप कंटेनर के ठीक बगल में बैठता है:

• प्रोडक्शन-हार्डनिंग कोर इंजन: Kubernetes साइडकार्स के लिए अनुकूलित, हॉट पाथ्स पर कम मेमोरी आवंटन और नियतात्मक regex मिलान के साथ।
• संदर्भ-जागरूक एन्ट्रॉपी विश्लेषण: कुंजियों के बिना भी उच्च-एन्ट्रॉपी रहस्यों का पता लगाता है (जैसे Error: ... 44saCk9...) संदर्भ कीवर्ड का विश्लेषण करके।
• कस्टम Regex नियम: संरचित डेटा (UUIDs, IDs) के लिए नियतात्मक रिडैक्शन जो ज्ञात पैटर्न के लिए एन्ट्रॉपी जांच को ओवरराइड करता है।
• रिग्रेशन और फ़ज़ कवरेज: बाइनरी गार्बेज, JSON नेस्टिंग, और बहुभाषी लॉग सहित तनाव मामलों के खिलाफ परीक्षण किया गया।
• नियतात्मक हैशिंग: रहस्यों को अद्वितीय हैश से बदलता है (जैसे, [HIDDEN:a1b2c]), जिससे QA को कच्चा डेटा देखे बिना त्रुटियों को सहसंबंधित करने की अनुमति मिलती है।
• ड्रॉप-इन: कोई कोड परिवर्तन आवश्यक नहीं। किसी भी भाषा के साथ काम करता है (Node, Python, Java, Go)।
• व्हाइटलिस्ट समर्थन: सुरक्षित पैटर्न (जैसे, git हैश, सिस्टम IDs) को स्पष्ट रूप से अनुमति दें PII_SAFE_REGEX_LIST का उपयोग करके गलत सकारात्मक परिणाम रोकने के लिए।

दर्जनों क्लस्टर्स में PII-Shield प्रबंधित कर रहे हैं?

हम केंद्रीकृत नियम प्रबंधन, Slack अलर्टिंग, और रिडैक्शन एनालिटिक्स के साथ एक होस्टेड कंट्रोल प्लेन बना रहे हैं।

इंटीग्रेशन

PII-Shield का इन-प्रोसेस WASM बिल्ड GuardSpine Code के अंदर भेजा जाता है, जो एक ओपन-सोर्स AI कोड-गवर्नेंस GitHub Action है, जो बाइनरी को वेंडर करता है और अपने NOTICE में इसका श्रेय देता है।

प्रदर्शन संबंधी विचार

जबकि PII-Shield अत्यधिक अनुकूलित है, जटिल लॉग की गहन जांच के लिए कॉन्फ़िगरेशन पर सावधानीपूर्वक ध्यान देने की आवश्यकता होती है।

• टेक्स्ट लॉग: अत्यंत तेज़ (>100k लाइनें/सेकंड)।
• JSON लॉग: ज़ीरो-आवंटन पार्सिंग (कोई encoding/json ओवरहेड नहीं)। स्कैनर उच्च थ्रूपुट (~7MB/s) सुनिश्चित करने के लिए JSON संरचनाओं को मैन्युअल रूप से पार्स करता है, बिना मेमोरी स्पाइक्स के।
• अनुशंसा: उपयोग उच्च थ्रूपुट के लिए सुरक्षित है। हम गहराई से नेस्टेड JSON पर स्टैक ओवरफ्लो को रोकने के लिए रिकर्सन सुरक्षा उपायों का उपयोग करते हैं।

इंस्टॉलेशन

Helm Chart (Kubernetes Operator)

Kubernetes में PII-Shield को तैनात करने का आधिकारिक और अनुशंसित तरीका हमारे पूर्णतः स्वचालित Operator के माध्यम से है:

helm repo add pii-shield https://pii-shield.github.io/pii-shield/
helm repo update
helm install pii-shield-operator pii-shield/pii-shield-operator -n operator-system --create-namespace

यह PII-Shield Operator को तैनात करता है जो स्वचालित रूप से आपके पॉड्स में अत्यधिक सुरक्षित, डिस्ट्रोलेस साइडकार्स इंजेक्ट करता है, बिना किसी कोड या Dockerfile परिवर्तन की आवश्यकता के।

Docker

Docker Hub या GHCR से नवीनतम हल्की इमेज प्राप्त करें:

docker pull thelisdeep/pii-shield:2.2.3
# या GitHub Container Registry से (एंटरप्राइज़):
docker pull ghcr.io/pii-shield/pii-shield:2.2.3

स्रोत से बिल्ड

आप बाइनरी को सीधे स्रोत कोड से बना सकते हैं:

go build -o pii-shield ./cmd/cleaner/main.go

कॉन्फ़िगरेशन

पर्यावरण चर की पूरी सूची के लिए CONFIGURATION.md देखें, जिसमें शामिल हैं:

• PII_SALT: कस्टम HMAC सॉल्ट (प्रोडक्शन के लिए आवश्यक)।
• PII_ADAPTIVE_THRESHOLD: गतिशील एन्ट्रॉपी बेसलाइन सक्षम करें।
• PII_DISABLE_BIGRAM_CHECK: गैर-अंग्रेज़ी लॉग के लिए अनुकूलित करें।
• PII_CUSTOM_REGEX_LIST: नियतात्मक रिडैक्शन के लिए कस्टम regex नियम।
• PII_SAFE_REGEX_LIST: अनदेखा करने के लिए व्हाइटलिस्ट regex नियम (मिलान जैसे-के-तैसे लौटाए जाते हैं)।

एन्ट्रॉपी संवेदनशीलता तालिका (डिफ़ॉल्ट थ्रेशोल्ड: 3.6)

त्वरित आरंभ

1. स्थानीय रूप से परीक्षण करें (CLI) आप किसी भी लॉग आउटपुट को PII-Shield के माध्यम से पाइप कर सकते हैं ताकि इसे तुरंत क्रियाशील देख सकें:

# संवेदनशील पासवर्ड वाले लॉग का अनुकरण करें
echo "Error: User password=MySecretPass123! failed login" | docker run -i --rm ghcr.io/pii-shield/pii-shield:2.2.3

# आउटपुट: Error: User password=[HIDDEN:8f3a11] failed login

2. Kubernetes (स्वचालित साइडकार इंजेक्शन) PII-Shield Operator स्थापित होने के साथ, किसी एप्लिकेशन की सुरक्षा करना PiiPolicy बनाने और अपने पॉड्स को लेबल करने जितना सरल है।

एक पॉलिसी बनाएं:

apiVersion: core.pii-shield.io/v1alpha1
kind: PiiPolicy
metadata:
  name: strict-policy
  namespace: default
spec:
  injectionMode: "file"

अपने Deployment को लेबल करें:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: secure-app
spec:
  template:
    metadata:
      labels:
        pii-shield.io/inject: "true"
      annotations:
        pii-shield.io/policy: "strict-policy"
# ...

Operator स्वचालित रूप से Native Sidecar पैटर्न (K8s 1.28+) का उपयोग करके pii-shield-agent इंजेक्ट करेगा और सभी लॉग को सुरक्षित रूप से मास्क करेगा!

📋 निःशुल्क: 25-बिंदु Kubernetes लॉग PII ऑडिट चेकलिस्ट — PII पॉड्स से कहाँ लीक होता है, कौन से लॉग पथ आपके फ़िल्टर को बायपास करते हैं, और कैसे सत्यापित करें कि रिडैक्शन वास्तव में काम करता है। चेकलिस्ट प्राप्त करें →

📦 GDPR अनुपालन पैक — अभी उपलब्ध (प्रारंभिक एक्सेस): 40+ परीक्षण किए गए रिडैक्शन नियम, DPO-तैयार दस्तावेज़, ऑडिट-ट्रेल टेम्पलेट। $149 → · HIPAA/PCI वेटलिस्ट पर →

💬 PII-Shield का उपयोग कर रहे हैं? हमें अपने डिप्लॉयमेंट के बारे में बताएं → — 2 मिनट, और यह आकार देता है कि आगे क्या बनाया जाएगा।

सत्यापन

यह प्रोजेक्ट एक बढ़ती हुई परीक्षण सूट के साथ सत्यापित है जो प्रोडक्शन हार्डनिंग से पहले विश्वास बढ़ाने के लिए है:

1. यूनिट टेस्ट: एज केस, बहुभाषी समर्थन, और JSON अखंडता को >85% कवरेज के साथ कवर करते हैं।
2. फ़ज़िंग: नेटिव Go फ़ज़िंग अमान्य और यादृच्छिक बाइनरी इनपुट के खिलाफ क्रैश सुरक्षा सुनिश्चित करती है।
3. स्मोक टेस्टिंग: ./scripts/test-smoke.sh मिश्रित वर्कलोड का अभ्यास करता है और पहचान सटीकता की रिपोर्ट करता है।
4. एंड-टू-एंड (E2E) टेस्टिंग: operator/tests/run_e2e.sh सूट Minikube और Helm का उपयोग करके पूर्ण-स्टैक सत्यापन करता है। यह स्थानीय इमेज बनाता है, cert-manager के बिना Operator प्रावधान करता है, लक्ष्य Jobs तैनात करता है, और साइडकार आउटपुट को इंटरसेप्ट करके वास्तविक लॉग रिडैक्शन सत्यापित करता है।

प्रदर्शन बेंचमार्क

वर्तमान शाखा और बेसलाइन ref के बीच एंड-टू-एंड CLI थ्रूपुट की तुलना करने के लिए:

./benchmark/run_benchmarks.sh

डिफ़ॉल्ट रूप से, बेंचमार्क HEAD की तुलना origin/main से करता है, origin/main को रीफ्रेश करता है, एक मिश्रित लॉग कॉर्पस उत्पन्न करता है, पुराने/नए रन क्रम को वैकल्पिक करता है, और माध्यिका, p95, min/max, और MiB/s की रिपोर्ट करता है:

BASE_REF=origin/main RUNS=9 LINES=500000 ./benchmark/run_benchmarks.sh

यह पूर्ण stdin-to-stdout CLI पथ को मापता है। केवल स्कैनर माइक्रोबेंचमार्क के लिए, चलाएं:

go test -bench=. -benchmem ./pkg/scanner

Operator इंटीग्रेशन टेस्ट

Operator तेज़ यूनिट टेस्ट को Kubernetes API इंटीग्रेशन टेस्ट से अलग रखता है। नियमित operator टेस्ट स्थानीय API सर्वर शुरू नहीं करते हैं:

cd operator
go test ./...

envtest-आधारित कंट्रोलर इंटीग्रेशन सूट चलाने के लिए:

./scripts/test-operator-integration.sh

ये टेस्ट envtest के माध्यम से एक स्थानीय Kubernetes API सर्वर और etcd शुरू करते हैं, इसलिए उन्हें 127.0.0.1 से बाइंड करने की अनुमति की आवश्यकता होती है। प्रतिबंधित सैंडबॉक्स में, उन्हें स्थानीय शेल, Docker वातावरण, या CI रनर में चलाएं जो localhost बाइंड की अनुमति देता है।

समर्थन

PII-Shield गोपनीयता-संरक्षण लॉग के लिए ओपन-सोर्स इंफ्रास्ट्रक्चर है। यदि यह प्रोजेक्ट आपके या आपके संगठन के लिए उपयोगी है, तो आप GitHub Sponsors के माध्यम से इसके विकास का समर्थन कर सकते हैं।

रिलीज़ सत्यापन

रिलीज़ चेकसम और इमेज-डाइजेस्ट सत्यापन मार्गदर्शन docs/release-verification.md में प्रलेखित है। हस्ताक्षर और प्रोवेनेंस-समर्थित रिलीज़ सप्लाई-चेन हार्डनिंग रोडमैप के हिस्से के रूप में ट्रैक किए जाते हैं।

लाइसेंस

Apache 2.0 लाइसेंस के तहत वितरित। अधिक जानकारी के लिए LICENSE देखें।