DetectTrace

एक डिटेक्शन को फायर होना चाहिए था। यह नहीं हुआ। DetectTrace आपको बताता है कि ठीक क्यों।

DetectTrace एक ओपन-सोर्स डिटेक्शन इंजीनियरिंग टूल है जो सुरक्षा डिटेक्शनों का एंड-टू-एंड परीक्षण करता है और पहले विफल होने वाले चरण का पता लगाता है।

केवल एक SIEM क्वेरी का परीक्षण करने के बजाय, DetectTrace एक डिटेक्शन को एक पाइपलाइन के रूप में मानता है:

test behaviour
    -> telemetry
    -> ingestion
    -> normalization/schema
    -> rule evaluation
    -> rule execution
    -> alert generation

एक DetectSpec घोषित करता है कि क्या होना चाहिए। DetectTrace इस बात का प्रमाण एकत्र करता है कि वास्तव में क्या हुआ, अनुबंध का मूल्यांकन करता है, पहली सिद्ध विफलता पर कारणात्मक तर्क रोक देता है, और निर्भर डाउनस्ट्रीम चरणों को BLOCKED के रूप में चिह्नित करता है।

वर्तमान लाइव बैकएंड Elastic Security है। DetectTrace में स्थानीय विकास और रिग्रेशन परीक्षण के लिए एक नियतात्मक फ़ाइल-आधारित मोड भी शामिल है।

DetectTrace क्यों मौजूद है

डिटेक्शन विफलताओं का निदान अक्सर मैन्युअल रूप से किया जाता है:

• क्या परीक्षण वास्तव में चला?
• क्या टेलीमेट्री उत्पन्न हुई?
• क्या यह बैकएंड तक पहुँची?
• क्या किसी फ़ील्ड का नाम बदला गया या हटा दिया गया?
• क्या नियम अभी भी मेल खाता है?
• क्या नियम अक्षम या अस्वस्थ है?
• क्या अलर्ट दिखाई दिया, और क्या वह इस सटीक परीक्षण रन से संबंधित था?

DetectTrace उन प्रश्नों को निष्पादन योग्य जाँचों और प्रमाणों में बदल देता है।

उदाहरण विफलता:

Test event                 PASS
Backend connection         PASS
Telemetry index            PASS
Telemetry located          PASS
Normalization              FAIL
Rule                       BLOCKED
Elastic rule exists        BLOCKED
Elastic rule enabled       BLOCKED
Rule execution             BLOCKED
Elastic alert              BLOCKED

RESULT
------------------------------------------------------------------------
Required field 'process.command_line' is absent, but the value from
'winlog.event_data.CommandLine' survived at 'process.args'.
Probable schema/mapping drift.

Confidence: HIGH
First failing stage: NORMALIZATION
Failure code: SCHEMA_DRIFT

महत्वपूर्ण बात केवल यह नहीं है कि डिटेक्शन विफल हुआ। DetectTrace बताता है कि डिटेक्शन पथ पहली बार कहाँ अमान्य हुआ और क्यों।

DetectTrace वर्तमान में क्या समर्थन करता है

• DetectSpec v1 सत्यापन
• JSON/JSONL प्रमाणों से नियतात्मक ऑफ़लाइन ट्रेस
• सुरक्षित घोषणात्मक predicate DSL; कोई मनमाना Python या shell निष्पादन नहीं
• नेस्टेड फ़ील्ड जाँच
• संभावित schema/mapping drift के लिए फ़ील्ड-वंश संकेत
• PASS / FAIL / BLOCKED / UNKNOWN / SKIPPED चरण अर्थशास्त्र
• पहले-विफल-चरण निदान
• स्थिर विफलता कोड और उपचार पाठ
• एक अद्वितीय detecttrace.run_id का उपयोग करके सहसंबद्ध Elastic Security परीक्षण
• वास्तविक Elastic नियम अस्तित्व/सक्षम/निष्पादन जाँच
• सहसंबद्ध Elastic अलर्ट सत्यापन
• अलर्ट विलंबता माप
• कॉन्फ़िगर किए गए CA के साथ सुरक्षित Elasticsearch TLS
• detecttrace doctor पर्यावरण जाँच
• text, JSON, और JUnit-संगत आउटपुट
• रिग्रेशन परीक्षण और GitHub Actions CI
• पुनरुत्पादनीय स्थानीय Elasticsearch + Kibana लैब

DetectTrace क्या नहीं है

DetectTrace नहीं है:

• एक आक्रमण-सिमुलेशन प्लेटफ़ॉर्म
• एक BAS प्रतिस्थापन
• एक SIEM नियम संपादक
• एक सामान्य भेद्यता स्कैनर
• एक AI प्रणाली जो अनुमान लगाती है कि कोई डिटेक्शन काम करता है या नहीं

आक्रमण/परीक्षण निष्पादन को बाद में एकीकृत किया जा सकता है। DetectTrace का काम डिटेक्शन पथ को सत्यापित करना और देखे गए प्रमाणों से विफलताओं का निदान करना है।

आवश्यकताएँ

• Python 3.10+
• Docker with Compose v2 केवल तभी यदि आप दिए गए Elastic लैब को चलाना चाहते हैं

CI सूट वर्तमान में Python 3.10, 3.11, 3.12, और 3.13 का परीक्षण करता है।

पाँच मिनट का ऑफ़लाइन त्वरित शुरुआत

रिपॉज़िटरी क्लोन करें, एक वर्चुअल एनवायरनमेंट बनाएँ, और DetectTrace इंस्टॉल करें।

Windows PowerShell

python -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install -e .

Linux/macOS

python -m venv .venv
source .venv/bin/activate
python -m pip install -e .

इंस्टॉलेशन जाँचें:

detecttrace --version

एक चलाने योग्य स्टार्टर प्रोजेक्ट बनाएँ:

detecttrace init demo

फिर:

cd demo
detecttrace validate detectspec.yaml
detecttrace test detectspec.yaml

उत्पन्न प्रोजेक्ट स्व-निहित है। इसके लिए Elasticsearch, Kibana, Docker, या नेटवर्क एक्सेस की आवश्यकता नहीं है।

एक स्वस्थ रन इसके साथ समाप्त होता है:

Detection contract passed end-to-end.
Confidence: HIGH

ऑफ़लाइन स्वस्थ और टूटे उदाहरण

रिपॉज़िटरी में एक PowerShell फ़िक्स्चर शामिल है जिसमें दोनों ज्ञात-अच्छे और जानबूझकर टूटे प्रमाण हैं।

स्वस्थ:

detecttrace test examples/powershell/detectspec.yaml --profile healthy

टूटा:

detecttrace test examples/powershell/detectspec.yaml --profile broken

टूटा प्रोफ़ाइल जानबूझकर मूल कमांड लाइन को process.args के अंतर्गत संरक्षित करता है, आवश्यक process.command_line के बजाय। DetectTrace उस विफलता को normalization में स्थानीयकृत करता है और rule/alert मूल्यांकन को अवरुद्ध करता है।

DetectSpec

DetectSpec घोषणात्मक अनुबंध है। DetectTrace वह इंजन है जो उस अनुबंध का प्रमाणों के विरुद्ध मूल्यांकन करता है।

एक DetectSpec वर्णन कर सकता है:

1. निष्पादन प्रमाण
2. स्रोत टेलीमेट्री
3. संग्रह प्रमाण
4. normalization आवश्यकताएँ
5. नियम अर्थशास्त्र
6. अलर्ट अपेक्षाएँ और समय
7. सहसंबद्ध लाइव परीक्षण मामले

उदाहरण:

spec_version: detectspec/v1
id: DET-PS-LIVE-001
title: Live Encoded PowerShell

inputs:
  profiles:
    live: {}

test:
  cases:
    healthy:
      event:
        event:
          code: 1
        process:
          name: powershell.exe
          command_line: powershell.exe -enc AAA

    broken:
      event:
        event:
          code: 1
        winlog:
          event_data:
            CommandLine: powershell.exe -enc AAA
        process:
          name: powershell.exe
          args: powershell.exe -enc AAA

checkpoints:
  normalization:
    require_event:
      all:
        - field: process.name
          op: endswith
          value: powershell.exe
    required_fields:
      - field: process.command_line
        from: winlog.event_data.CommandLine

  rule:
    match:
      all:
        - field: process.name
          op: endswith
          value: powershell.exe
        - field: process.command_line
          op: regex
          value: "(?i)(?:\\s|^)-(?:enc|encodedcommand)\\b"

JSON Schema यहाँ है:

schemas/detectspec-v1.schema.json

रनटाइम वैलिडेटर और JSON Schema जानबूझकर अज्ञात DetectSpec संरचना के बारे में सख्त हैं ताकि वर्तनी की गलतियाँ जल्दी विफल हों।

Predicate DSL

लीफ़ predicates उपयोग करते हैं:

field: process.name
op: equals
value: powershell.exe

समर्थित ऑपरेटरों में शामिल हैं:

exists
equals
not_equals
contains
startswith
endswith
regex
in
gt
gte
lt
lte

Predicates को all, any, और not के साथ संयोजित किया जा सकता है।

उदाहरण:

all:
  - field: process.name
    op: endswith
    value: powershell.exe
  - any:
      - field: process.command_line
        op: contains
        value: "-enc"
      - field: process.command_line
        op: contains
        value: "-EncodedCommand"

पहले-विफल-चरण अर्थशास्त्र

DetectTrace एक सरल नियम का पालन करता है:

अनुमान से पहले प्रमाण। पहला विफल चरण जीतता है।

यदि normalization विफल हो जाता है, तो DetectTrace यह दिखावा नहीं करता कि वह जानता है कि डाउनस्ट्रीम नियम या अलर्ट सफल होता या नहीं। उन चरणों को BLOCKED के रूप में रिपोर्ट किया जाता है।

यदि प्रमाण अनुपलब्ध है बजाय खंडित होने के, तो DetectTrace अनुमान लगाने के बजाय UNKNOWN रिपोर्ट करता है।

स्थिर मशीन-पठनीय परिणाम स्कीमा है:

detecttrace.result/v1

महत्वपूर्ण फ़ील्ड में शामिल हैं:

healthy
first_failed_stage
failure_code
confidence
root_cause
remediation
run_id
stages

वर्तमान विफलता कोड में श्रेणियाँ शामिल हैं जैसे:

INGESTION_FAILURE
TELEMETRY_MISSING
SCHEMA_DRIFT
REQUIRED_FIELD_MISSING
RULE_NOT_FOUND
RULE_DISABLED
RULE_LOGIC_MISMATCH
RULE_EXECUTION_ERROR
ALERT_TIMEOUT
UNKNOWN

स्थानीय Elastic Security लैब

एक पुनरुत्पादनीय सुरक्षित लैब यहाँ शामिल है:

lab/elastic