AI PII स्कैनर

PostgreSQL डेटाबेस और Jira प्रोजेक्ट्स में व्यक्तिगत रूप से पहचान योग्य जानकारी (PII) खोजने के लिए एक आंतरिक सुरक्षा उपकरण

अवलोकन

AI PII स्कैनर एक व्यापक, सुरक्षा-केंद्रित उपकरण है जिसे एप्लिकेशन सुरक्षा और गोपनीयता टीमों के लिए PII की खोज और सूचीबद्ध करने हेतु डिज़ाइन किया गया है। यह दो स्कैन लक्ष्यों का समर्थन करता है:

• PostgreSQL डेटाबेस — आपके एप्लिकेशन स्कीमाओं में कॉलम-स्तरीय PII खोज
• Jira — आकस्मिक PII एक्सपोज़र के लिए मुद्दों और टिप्पणियों की रीयल-टाइम या निर्धारित स्कैनिंग

डिटेक्शन तीन-परत पाइपलाइन का उपयोग करता है:

• Regex-आधारित डिटेक्शन — ईमेल, फ़ोन, SSN, क्रेडिट कार्ड आदि के लिए निर्धारक पैटर्न
• NER/ML डिटेक्शन — एंटिटी पहचान के लिए Microsoft Presidio या spaCy (नाम, स्थान, तिथियाँ)
• वैकल्पिक LLM वर्गीकरण — अस्पष्ट फ्री-टेक्स्ट विश्लेषण के लिए स्व-होस्टेड मॉडल

मुख्य विशेषताएँ

• बहु-स्तरीय PII डिटेक्शन — व्यापक कवरेज के लिए regex, ML, और वैकल्पिक LLM को जोड़ता है
• Jira एकीकरण — पोलिंग या रीयल-टाइम वेबहुक के माध्यम से नए मुद्दों और टिप्पणियों को स्कैन करें
• स्मार्ट अपवाद फ़िल्टर — अपेक्षित सामग्री को दबाएँ: @mentions और कंपनी ईमेल पते
• टाइमस्टैम्प्ड रिपोर्ट — Jira स्कैन परिणाम प्रत्येक रन पर स्वचालित रूप से दिनांकित JSON या CSV फ़ाइल में सहेजे जाते हैं
• सुरक्षा-प्रथम डिज़ाइन — रीड-ओनली डेटाबेस एक्सेस, कोई बाहरी API कॉल नहीं, न्यूनतम PII प्रतिधारण
• इंटेलिजेंट सैंपलिंग — प्रदर्शन प्रभाव को कम करने के लिए प्रतिनिधि डेटा नमूनों का विश्लेषण करता है
• व्यापक ऑडिट ट्रेल — प्रत्येक स्कैन कॉन्फ़िगरेशन, टाइमस्टैम्प और मॉडल संस्करणों के साथ लॉग किया जाता है
• गोपनीयता-सुरक्षित लॉगिंग — सभी लॉग और संग्रहीत नमूनों में स्वचालित PII रिडैक्शन

सुरक्षा और गोपनीयता

महत्वपूर्ण: यह उपकरण एक सुरक्षित, नियंत्रित वातावरण के भीतर केवल आंतरिक उपयोग के लिए डिज़ाइन किया गया है।

सुरक्षा नियंत्रण	कार्यान्वयन
डेटा एक्सफ़िल्ट्रेशन रोकथाम	कोई तृतीय-पक्ष API कॉल नहीं; LLM एंडपॉइंट स्व-होस्टेड होने चाहिए
न्यूनतम विशेषाधिकार पहुँच	एप्लिकेशन डेटा पर लेखन पहुँच के बिना रीड-ओनली डेटाबेस भूमिका
PII न्यूनीकरण	निष्कर्ष केवल मेटाडेटा और भारी रूप से रिडैक्ट किए गए नमूने संग्रहीत करते हैं
ऑडिट ट्रेल	सभी स्कैन कौन/क्या/कब/कैसे विवरण के साथ लॉग किए जाते हैं
सुरक्षित लॉगिंग	स्वचालित PII फ़ील्ड रिडैक्शन के साथ संरचित लॉग
एन्क्रिप्टेड ट्रांज़िट	सभी डेटाबेस कनेक्शन के लिए SSL/TLS आवश्यक
वेबहुक सत्यापन	आने वाले Jira इवेंट्स के लिए HMAC-SHA256 हस्ताक्षर सत्यापन

विषय-सूची

• इंस्टॉलेशन — डेटाबेस स्कीमा स्कैन
• इंस्टॉलेशन — Jira स्कैन
• कॉन्फ़िगरेशन
• उपयोग — डेटाबेस स्कैनिंग
• उपयोग — Jira एकीकरण
• आर्किटेक्चर
• डिटेक्शन विधियाँ
• डेटाबेस स्कीमा
• उदाहरण
• समस्या निवारण
• उन्नत विषय
• योगदान

---

इंस्टॉलेशन — डेटाबेस स्कीमा स्कैन

यदि आप कॉलमों में PII के लिए PostgreSQL डेटाबेस स्कैन करना चाहते हैं तो इसका उपयोग करें।

चरण 1 — बेस इंस्टॉल

# Clone the repository
cd PIIHunter

# Create virtual environment
python3 -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate

# Install dependencies
pip install -r requirements.txt

# Download spaCy NER model (~800MB)
python -m spacy download en_core_web_lg

चरण 2 — एक read-only डेटाबेस रोल बनाएं

इसे PostgreSQL सुपरयूज़र के रूप में चलाएं:

CREATE ROLE pii_scanner_readonly WITH LOGIN PASSWORD 'your_secure_password';
GRANT CONNECT ON DATABASE your_database TO pii_scanner_readonly;
GRANT USAGE ON SCHEMA public, app_data TO pii_scanner_readonly;
GRANT SELECT ON ALL TABLES IN SCHEMA public, app_data TO pii_scanner_readonly;

चरण 3 — वातावरण कॉन्फ़िगर करें

cp .env.example .env
# Fill in DB_HOST, DB_PORT, DB_NAME, DB_USER, DB_PASSWORD

चरण 4 — मेटाडेटा स्कीमा आरंभ करें

security_pii स्कीमा बनाता है जहाँ स्कैन परिणाम संग्रहीत किए जाते हैं। एक बार चलाएँ:

python -m pii_scanner.cli init-schema

चरण 5 — अपना पहला स्कैन चलाएँ

# Preview candidate columns (no data read)
python -m pii_scanner.cli discover

# Run PII detection
python -m pii_scanner.cli scan --sample-size 1000

# View results
python -m pii_scanner.cli report

किसी भी समय कनेक्टिविटी सत्यापित करें

python -m pii_scanner.cli test-connection

---

इंस्टॉलेशन — Jira स्कैन

यदि आप आकस्मिक PII एक्सपोज़र के लिए Jira इश्यू और कमेंट स्कैन करना चाहते हैं तो इसका उपयोग करें।

पहले बेस इंस्टॉल (ऊपर चरण 1) आवश्यक है। यदि आप केवल Jira स्कैनिंग चाहते हैं तो डेटाबेस सेटअप (चरण 2–4) आवश्यक नहीं है।

उपधारा A — REST API (पोलिंग)

पिछले N घंटों की गतिविधि के लिए मांग पर Jira को पोल करता है। किसी सर्वर की आवश्यकता नहीं है।

चरण 1 — बेस इंस्टॉल (यदि पहले से नहीं किया गया है)

cd PIIHunter
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
python -m spacy download en_core_web_lg

चरण 2 — Jira API टोकन जनरेट करें

1. https://id.atlassian.com पर जाएं → Security → API tokens
2. Create API token पर क्लिक करें, इसे एक नाम दें, टोकन कॉपी करें

चरण 3 — पर्यावरण कॉन्फ़िगर करें

cp .env.example .env

.env को संपादित करें और अपनी Jira विवरण भरें:

JIRA_URL=https://yourcompany.atlassian.net
[email protected]
JIRA_API_TOKEN=your_api_token_here

# Optional — leave empty to scan all projects
# JIRA_PROJECT_KEYS=ENG,OPS,SUPPORT

# Emails from these domains will NOT be flagged as PII
COMPANY_EMAIL_DOMAINS=yourcompany.com

चरण 4 — कनेक्शन का परीक्षण करें

आपके क्रेडेंशियल्स को सत्यापित करता है, सुलभ प्रोजेक्ट्स की सूची बनाता है, और हाल के इश्यूज़ का एक नमूना प्राप्त करता है:

python -m pii_scanner.cli jira test

Expected output:

Testing connection to https://yourcompany.atlassian.net...

  Auth          ✓  logged in as Jane Smith ([email protected])
  Projects      ✓  3 accessible: ENG, OPS, SUPPORT
  Project ENG   ✓  accessible

  Recent issues (no time filter):
    ENG-101  Fix login timeout on mobile
    ENG-100  Update password policy

यदि यह विफल होता है, तो अपना API टोकन जांचें और सुनिश्चित करें कि JIRA_EMAIL उस खाते से मेल खाता है जिसके लिए टोकन जनरेट किया गया था।

चरण 5 — स्कैन चलाएं

# Scan last 24 hours
python -m pii_scanner.cli jira scan

# Custom lookback window
python -m pii_scanner.cli jira scan --hours 48

उपधारा B — वेबहुक (रीयल-टाइम)

एक HTTP सर्वर शुरू करता है जो Jira इवेंट्स प्राप्त करता है और उनके आते ही तुरंत स्कैन करता है। इसके लिए सार्वजनिक रूप से पहुँचने योग्य एंडपॉइंट की आवश्यकता होती है।

चरण 1 — बेस इंस्टॉल + REST API सेटअप (पहले उपधारा A के चरण 1–4 पूरे करें)

चरण 2 — वेबहुक निर्भरताएँ इंस्टॉल करें

pip install fastapi uvicorn

चरण 3 — .env में webhook कॉन्फ़िग जोड़ें

# Secret used to verify requests genuinely come from Jira
JIRA_WEBHOOK_SECRET=your_webhook_secret
JIRA_WEBHOOK_PORT=8080

चरण 4 — वेबहुक सर्वर प्रारंभ करें

python -m pii_scanner.cli jira webhook

# Custom port
python -m pii_scanner.cli jira webhook --port 9090

चरण 5 — Jira में वेबहुक रजिस्टर करें

1. Jira में Project Settings → Webhooks → Create webhook पर जाएं
2. URL को http://yourserver:8080/webhook पर सेट करें
3. Events के अंतर्गत चुनें:
   • Issue → created
   • Comment → created
4. secret को अपने .env में JIRA_WEBHOOK_SECRET से मेल खाते हुए सेट करें
5. सहेजें

अब Jira प्रत्येक नए issue और comment के लिए आपके सर्वर पर POST करेगा। स्कैनर प्रत्येक को तुरंत प्रोसेस करता है।

उपलब्ध endpoints: