अनुकूली नीति आकारण के माध्यम से स्वायत्त साइबर रक्षा एजेंटों का संरेखण

हमारे पेपर Alignment of Autonomous Cyber Defense Agents via Adaptive Policy Shaping के लिए कोड। यह रिपॉज़िटरी CybORG CAGE Challenge 2 का विस्तार करती है ताकि यह अध्ययन किया जा सके कि स्वायत्त रक्षकों को परिचालन प्राथमिकताओं की ओर कैसे निर्देशित किया जा सकता है, जबकि नेटवर्क की रक्षा करने की उनकी क्षमता बनी रहती है।

मूल CybORG CAGE Challenge 2 से अंतर

मूल CAGE 2 चुनौती CAGE इनाम का उपयोग करते हुए अंतर्निहित रेड एजेंटों के विरुद्ध ब्लू रक्षकों का मूल्यांकन करती है। यह संशोधित संस्करण परिचालन उद्देश्य, संशोधित आक्रामक नीतियाँ, और ब्लू रक्षकों के लिए संरेखण विधियाँ जोड़ता है। सिम्युलेटर और प्रयोग स्क्रिप्ट CybORG/ लेआउट में ही रहते हैं। मूल CAGE 2 गाइड मूल चुनौती विवरण को बनाए रखती है।

संशोधित परिदृश्य और लचीलापन मेट्रिक्स

संशोधित नेटवर्क में उपयोगकर्ता, एंटरप्राइज़, परिचालन, और रक्षक होस्टों के अतिरिक्त प्रमाणीकरण (Auth), डेटाबेस (Database), और फ्रंट-एंड (Front) सर्वर शामिल हैं। ये सर्वर गोपनीयता (C), अखंडता (I), और उपलब्धता (A) के माध्यम से व्यक्त परिचालन प्राथमिकताओं का प्रतिनिधित्व करते हैं:

सर्वर प्रकार	परिचालन प्राथमिकताएँ
प्रमाणीकरण (`Auth`)	गोपनीयता, अखंडता, उपलब्धता
डेटाबेस (`Database`)	गोपनीयता, उपलब्धता
फ्रंट-एंड (`Front`)	अखंडता, उपलब्धता

लचीलापन स्कोरिंग Cadet et al. Quantitative Resilience Modeling for Autonomous Cyber Defense से अनुकूलित है। कार्यान्वयन संबंधित CyberResilience कोड पर आधारित है।

हमारा लचीलापन मेट्रिक प्रत्येक चरण पर CIA गिरावटों को रिकॉर्ड करता है और उन्हें एक सामान्यीकृत लचीलापन गिरावट में संयोजित करता है, जिसमें गोपनीयता के लिए 0.6, अखंडता के लिए 0.2, और उपलब्धता के लिए 0.2 के डिफ़ॉल्ट भार होते हैं। यह विशेषता-आधारित नीति और संरेखण विश्लेषण के लिए उम्मीदवार ब्लू क्रियाओं को भी स्कोर करता है। उत्पन्न परिदृश्य CIA-महत्वपूर्ण सर्वरों को शून्य सामान्य CAGE होस्ट इनाम मान निर्दिष्ट करते हैं, जिससे परिचालन संरेखण और सामान्य नेटवर्क रक्षा प्रदर्शन का अलग-अलग मूल्यांकन किया जा सके।

CAGE 2 कोडबेस में किए गए अतिरिक्त आंतरिक परिवर्तन प्रयोग README में विस्तृत हैं।

CAGE 2 रेड एजेंट संशोधन

मूल Meander और B-line आक्रामकों का विस्तार जोड़े गए परिचालन सर्वरों को लक्षित करने और उत्पन्न नेटवर्क आकारों में होस्ट नामों का समर्थन करने के लिए किया गया है। मूल्यांकन पाँच विरोधियों का उपयोग करता है:

पेपर विरोधी	Python क्लास	प्रभाव लक्ष्य
M-CIA	`RedMeanderAgent_Combination_CIA`	CIA-महत्वपूर्ण `Auth`, `Database`, और `Front` सर्वर
M-CAGE	`RedMeanderAgent_Combination_CAGE`	CAGE प्रदर्शन में योगदान देने वाले अन्य पात्र समझौता किए गए होस्ट
Bline-C	`B_lineAgent_Resilience_C`	`Auth` या `Database` सर्वर
Bline-I	`B_lineAgent_Resilience_I`	`Auth` या `Front` सर्वर
Bline-A	`B_lineAgent_Resilience_A`	`Auth`, `Database`, या `Front` सर्वर

प्रशिक्षण RedMeanderAgent_Combination का उपयोग करता है, जो प्रत्येक प्रभाव-चयन निर्णय पर समान प्रायिकता के साथ CIA और CAGE प्रभाव लक्ष्यों के बीच चयन करता है। B-line प्रकार प्रति एपिसोड एक बार लक्ष्य सर्वर प्रकार का चयन करते हैं और अवलोकनों से मेल खाते होस्टों को हल करते हैं। देखें Meander_Resilience.py और B_line_resilience.py।

इंस्टॉलेशन

Python 3.10 या नया उपयोग करें और uv इंस्टॉल करें। रिपॉज़िटरी रूट से:

uv sync
cd CybORG

uv sync प्रोजेक्ट वातावरण बनाता है और CybORG तथा उसकी निर्भरताओं को इंस्टॉल करता है। स्क्रिप्ट्स को uv run ... के साथ और शेल लॉन्चर्स को uv run bash ... के साथ चलाएँ; मैन्युअल रूप से वातावरण सक्रिय करने की आवश्यकता नहीं है।

रिपॉज़िटरी प्रयोग स्क्रिप्ट्स

स्थान	सामग्री
`CybORG/CybORG/`	सिम्युलेटर, एजेंट, रिवॉर्ड, मेट्रिक्स, परिदृश्य, और अपस्ट्रीम परीक्षण
`CybORG/experiment_configs/`	टेस्ट-टाइम, ट्रेनिंग-टाइम, अनुकूली, स्केलिंग, और रेड-एजेंट मूल्यांकन कॉन्फ़िगरेशन
`CybORG/train_agents.py`	बेसलाइन या रिवॉर्ड-शेप्ड ब्लू एजेंट्स को प्रशिक्षित करें
`CybORG/test_experiment.py`	बेसलाइन, फिक्स्ड, और अनुकूली नीतियों का मूल्यांकन करें
`CybORG/test_experiment_training_time.py`	प्रशिक्षण के दौरान संरेखित किए गए एजेंट्स का मूल्यांकन करें
`CybORG/alignment_analysis.py`	संरेखण स्कोर की गणना करें और रिवॉर्ड ट्रेड-ऑफ़ का विश्लेषण करें
`CybORG/CybORG/Shared/Scenarios/scenario_generation.py`	कॉन्फ़िगर करने योग्य होस्ट जनसंख्या और रिवॉर्ड सेटिंग्स के साथ परिदृश्य उत्पन्न करें

प्रशिक्षण

मिश्रित मिऐंडरिंग हमलावर के विरुद्ध PPO डिफेंडर को प्रशिक्षित करने के लिए train_agents.py का उपयोग करें। PPOAgent बेसलाइन को प्रशिक्षित करता है; AlignedPPOAgent चयनित CIA विशेषता के लिए एक रिवॉर्ड टर्म जोड़ता है। प्रशिक्षण-समय बोनस को पेपर में lambda और केवल CLI में alpha कहा जाता है; यह टेस्ट-टाइम इंटरपोलेशन वेट से अलग है।

base के लिए एक बेसलाइन चेकपॉइंट प्रशिक्षित करने के लिए:

uv run python train_agents.py \
  --scenario scalability_experiments/base \
  --agent_type PPOAgent \
  --red_agent RedMeanderAgent_Combination \
  --alpha 0 --seed 0 --game_steps 200 --training_iter 500000 \
  --agent_export checkpoints/PPO_base_0_seed0

गोपनीयता के अनुरूप एक डिफेंडर को 1.5 के बोनस के साथ प्रशिक्षित करने के लिए:

uv run python train_agents.py \
  --scenario scalability_experiments/base \
  --agent_type AlignedPPOAgent \
  --red_agent RedMeanderAgent_Combination \
  --alignment_attribute C --alpha 1.5 \
  --seed 0 --game_steps 200 --training_iter 500000 \
  --agent_export checkpoints/PPO_base_1.5_C_seed0

पूर्ण प्रशिक्षण स्वीप्स के लिए:

uv run bash experiment_configs/train_agents/train_base.sh
uv run bash experiment_configs/train_agents/train_trainingtime_alignment.sh

ये लॉन्चर base, hosts_2, hosts_3, और hosts_4 को ट्रेनिंग सीड्स 0 1 2 3 4 के साथ कवर करते हैं। चेकपॉइंट्स CybORG/checkpoints/ के अंतर्गत बेसलाइन के लिए PPO_{scenario}_0_seed{seed}.zip और रिवॉर्ड-शेप्ड एजेंट्स के लिए PPO_{scenario}_{bonus}_{attribute}_seed{seed}.zip के रूप में सहेजे जाते हैं। चेकपॉइंट सहेजने के बाद, train_agents.py एक संक्षिप्त मूल्यांकन भी चलाता है। लॉगिंग डिफ़ॉल्ट रूप से अक्षम रहती है; इसे सक्षम करने के लिए किसी Python ट्रेनिंग कमांड में --wandb जोड़ें।

मूल्यांकन और विश्लेषण

मूल्यांकन स्क्रिप्ट्स प्रशिक्षित चेकपॉइंट्स लोड करती हैं और एजेंट्स को कॉन्फ़िगर किए गए रेड एडवर्सरी के विरुद्ध चलाती हैं। दी गई कॉन्फ़िगरेशन 100 एपिसोड, 42 से शुरू होने वाला एक मूल्यांकन सीड, और पाँच ट्रेनिंग सीड्स का उपयोग करती हैं। एपिसोड होराइज़न base, hosts_2, hosts_3, और hosts_4 के लिए क्रमशः 200, 300, 400, और 500 स्टेप्स हैं।

test_experiment.py Blue Monitor और PPO बेसलाइन का मूल्यांकन निश्चित या अनुकूली टेस्ट-टाइम अलाइनमेंट के साथ करता है:

# Baselines and fixed test-time interpolation
uv run python test_experiment.py --config experiment_configs/base.yaml
uv run python alignment_analysis.py --config experiment_configs/base.yaml

# Adaptive test-time policy selection
uv run python test_experiment.py --config experiment_configs/adaptive_alpha_config/base/cia.yaml
uv run python alignment_analysis.py --config experiment_configs/adaptive_alpha_config/base/cia.yaml

सबसे लोकप्रिय

alignment-cage-challenge-2