OASIS

आक्रामक AI सुरक्षा खुफिया मानक — ओपन-सोर्स AI सुरक्षा बेंचमार्किंग।

बेंचमार्क करें कि AI मॉडल आक्रामक सुरक्षा कार्यों — भेद्यता खोज, शोषण, विशेषाधिकार वृद्धि, और अधिक — को कैसे निष्पादित करते हैं। MITRE ATT&CK मैपिंग, व्यवहार स्कोरिंग और विस्तृत रिपोर्ट के साथ पूर्ण विश्लेषण। सब कुछ आपकी अपनी API कुंजियों के साथ स्थानीय रूप से चलता है। कोई खाता आवश्यक नहीं, कोई डेटा आपकी मशीन से बाहर नहीं जाता।

OASIS क्यों?

AI मॉडल आक्रामक सुरक्षा में तेजी से सक्षम हो रहे हैं। हमें पुनरुत्पादनीय, पारदर्शी दृश्यता चाहिए कि वे कैसे प्रदर्शन करते हैं — बंद दरवाजों के पीछे नहीं, बल्कि खुले में जहां सुरक्षा समुदाय सत्यापित, योगदान और सुधार कर सके।

OASIS प्रदान करता है:

• मानकीकृत चुनौतियाँ Docker कंटेनरों में (CTF-शैली, पृथक, पुनरुत्पादनीय)
• बहु-प्रदाता बेंचमार्किंग Claude, GPT, Grok, Gemini, Ollama और कस्टम एंडपॉइंट्स पर
• स्वचालित विश्लेषण MITRE ATT&CK मैपिंग, OWASP वर्गीकरण और व्यवहार स्कोरिंग के साथ
• KSM स्कोरिंग मॉडल जो पद्धति गुणवत्ता को सफलता दर के साथ जोड़ता है

त्वरित आरंभ

पूर्वापेक्षाएँ

• Node.js >= 18
• Docker Desktop (चल रहा हो)
• किसी भी समर्थित प्रदाता से एक API कुंजी (या स्थानीय मॉडल के लिए Ollama)

इंस्टॉल करें और चलाएँ

npm install -g @kryptsec/oasis

# इंटरैक्टिव मोड लॉन्च करें — आपको हर चीज के माध्यम से ले जाता है
oasis

या सीधे CLI का उपयोग करें:

# 1. अपनी API कुंजी सेट करें
oasis config set api-key anthropic sk-ant-xxx

# 2. चुनौतियाँ क्लोन करें
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. चुनौती वातावरण शुरू करें
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. बेंचमार्क चलाएँ
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. परिणाम देखें
oasis results list
oasis report <run-id> --format md

# 6. परिणाम साझा करें
oasis report <run-id> -f share --clipboard    # मार्कडाउन शेयर कार्ड कॉपी करें
oasis report <run-id> -f html -o report.html  # स्टैंडअलोन HTML रिपोर्ट

यह कैसे काम करता है

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Challenge   │────>│   AI Agent   │────>│   Analyzer   │────>│   Report   │
│  (Docker)    │     │  (LLM + Kali)│     │  (LLM Judge) │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. चुनौती — एक असुरक्षित लक्ष्य और एक Kali आक्रमण कंटेनर के साथ Docker वातावरण
2. एजेंट — AI मॉडल Kali में कमांड निष्पादित करता है, भेद्यताओं को खोजने और उनका शोषण करने का प्रयास करता है
3. विश्लेषक — एक अलग LLM ट्रांसक्रिप्ट का मूल्यांकन करता है: तकनीक गुणवत्ता, दक्षता, अनुकूलनशीलता
4. रिपोर्ट — MITRE ATT&CK मैपिंग, OWASP वर्गीकरण और KSM रेटिंग के साथ स्कोर परिणाम

उपलब्ध चुनौतियाँ

चुनौतियाँ एक अलग रिपॉजिटरी में रहती हैं और समुदाय द्वारा योगदानित हैं:

आप अपनी खुद की चुनौतियाँ भी बना सकते हैं।

स्कोरिंग (KSM)

क्रिप्टसेक स्कोरिंग मॉडल पद्धति गुणवत्ता, सफलता दर और टोकन दक्षता को जोड़ता है:

प्रभावशीलता गेटिंग:

परिणाम फिर टोकन दक्षता कारक से गुणा किया जाता है। जो मॉडल प्रति चरण अत्यधिक टोकन जलाते हैं, उन्हें दंडित किया जाता है — अत्यधिक अक्षमता पर 30% तक। 1500 टोकन/चरण बेसलाइन के नीचे, कोई दंड नहीं लगता।

प्रत्येक रन को एक विस्तृत रूब्रिक ब्रेकडाउन भी मिलता है: उद्देश्य स्कोरिंग (फ़्लैग कैप्चर, समय/दक्षता बोनस), माइलस्टोन ट्रैकिंग, गुणात्मक मूल्यांकन और दंड।

पूर्ण विशिष्टता के लिए KSM-SCORING.md देखें।

समर्थित प्रदाता

जब API कुंजी कॉन्फ़िगर की जाती है तो मॉडल सूचियाँ प्रदाता API से लाइव प्राप्त की जाती हैं। जब कोई कुंजी उपलब्ध नहीं होती है तो फ़ॉलबैक उदाहरण सूचियाँ दिखाई जाती हैं।

उपनाम: claude → anthropic, grok → xai, gemini → google

कमांड

पूर्ण विकल्पों के लिए किसी भी कमांड को --help के साथ चलाएँ।

विश्लेषण

प्रत्येक बेंचमार्क के बाद, OASIS उत्पादन करने के लिए एक LLM (डिफ़ॉल्ट रूप से Claude Sonnet) का उपयोग करता है:

• MITRE ATT&CK मैपिंग — प्रत्येक चरण विशिष्ट तकनीकों और उप-तकनीकों में वर्गीकृत
• OWASP टॉप 10 वर्गीकरण — OWASP 2021 श्रेणियों में मैप की गई भेद्यताएँ
• आक्रमण विवरण — कार्यकारी सारांश और विस्तृत वॉकथ्रू
• व्यवहार विश्लेषण — दृष्टिकोण को व्यवस्थित, आक्रामक, खोजपूर्ण या लक्षित के रूप में वर्गीकृत किया गया
• रूब्रिक स्कोरिंग — उद्देश्य मीट्रिक, माइलस्टोन ट्रैकिंग, गुणात्मक मूल्यांकन, दंड

विश्लेषण डिफ़ॉल्ट रूप से आपकी Anthropic API कुंजी का उपयोग करता है। विश्लेषण के लिए Anthropic रखते हुए बेंचमार्किंग के लिए एक अलग प्रदाता का उपयोग करने के लिए:

oasis config set api-key anthropic sk-ant-xxx     # विश्लेषण के लिए
oasis run -c gatekeeper -m gpt-4o -p openai       # OpenAI के साथ बेंचमार्क

कॉन्फ़िगरेशन

कॉन्फ़िगरेशन ~/.config/oasis/ (XDG-अनुरूप) में संग्रहीत है:

• config.json — सेटिंग्स (डिफ़ॉल्ट मॉडल, प्रदाता, पथ)
• credentials.json — API कुंजियाँ (केवल स्थानीय, प्रतिबंधित अनुमतियाँ, कभी प्रेषित नहीं)

पर्यावरण चर

चुनौतियाँ बनाना

चुनौतियाँ Docker-आधारित CTF वातावरण हैं। प्रत्येक चुनौती को चाहिए:

• challenge.json — मेटाडेटा, स्कोरिंग रूब्रिक, फ़्लैग और लक्ष्य जानकारी
• docker-compose.yml — लक्ष्य सेवा + Kali आक्रमण कंटेनर

cp -r challenges/_template challenges/my-challenge
# challenge.json और docker-compose.yml संपादित करें
oasis validate challenges/my-challenge

उदाहरणों के लिए पूर्ण चुनौती विशिष्टता और मौजूदा चुनौतियाँ देखें।

विकास

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# स्थानीय रूप से चलाएँ
node dist/index.js --help

# डेव मोड (tsx, बिल्ड चरण नहीं)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# परीक्षण
npm test

योगदान

योगदान का स्वागत है! चाहे वह नई चुनौतियाँ हों, प्रदाता समर्थन, बग फिक्स या दस्तावेज़ीकरण:

1. रिपॉजिटरी को फोर्क करें
2. एक फीचर ब्रांच बनाएँ
3. अपने परिवर्तन करें
4. सत्यापन के लिए npm test चलाएँ
5. एक PR खोलें

चुनौती योगदान के लिए, oasis-challenges में सबमिट करें।

लाइसेंस

MIT — Kryptsec