PrivacyTrace

टूल कॉल आपके बारे में कितना कुछ उजागर कर सकते हैं?
टूल-कॉल ट्रेस से गोपनीयता लीक

PrivacyTrace, उपयोगकर्ता वार्तालापों तक पहुँच के बिना, MCP टूल-कॉल ट्रेस से उपयोगकर्ता-प्रोफ़ाइल अनुमान का अध्ययन करता है। बेंचमार्क में यात्रा, स्वास्थ्य, खरीदारी और करियर शिक्षण के क्षेत्रों में 1,000 सिंथेटिक उपयोगकर्ता प्रोफ़ाइल, 4,000 एजेंट ट्रैजेक्टरी और 25 MCP सर्वर शामिल हैं।

इंस्टॉलेशन

संदर्भ वातावरण Linux पर Python 3.10 का उपयोग करता है:

git clone https://github.com/AI45Lab/PrivacyTrace.git
cd PrivacyTrace
PYTHON=python3.10 bash scripts/setup_environment.sh
source .venv/bin/activate

मॉडल कॉल के लिए, .env.example को .env में कॉपी करें और अपना एंडपॉइंट तथा API कुंजियाँ कॉन्फ़िगर करें। लाइव MCP टूल्स के लिए, .env.mcp.example से .env.mcp भी कॉन्फ़िगर करें और python mcp_servers/install.py --install-dependencies चलाएँ। निर्भरता विवरण के लिए environment setup देखें।

डेटा और परिणाम पुनरुत्पादन

पूरा डेटासेट Hugging Face पर होस्ट किया गया है। डेटासेट पृष्ठ पर एक्सेस का अनुरोध करें; डाउनलोड के लिए मैन्युअल स्वीकृति आवश्यक है। स्वीकृति के बाद:

hf auth login
python scripts/download_data.py
python -m eval.reproduce_results --input-root .

अंतिम कमांड डाउनलोड किए गए प्रयोग रिकॉर्ड से परिणाम तालिकाओं और आंकड़ों को पुनः बनाता है, बिना मॉडल कॉल के। आउटपुट artifacts/results/ में लिखे जाते हैं। संग्रह सामग्री के लिए डेटा एक्सेस और रिपोर्ट किए गए परिणामों के लिए पेपर देखें।

डेटासेट निर्माण

अपने कॉन्फ़िगर किए गए मॉडल एंडपॉइंट और MCP सेवाओं के साथ निम्नलिखित चरणों को चलाएँ:

# 1. Generate population-calibrated profiles.
python -m generate.generate_profiles --count 1000

# 2. Generate task scenarios in four domains.
python -m generate.generate_scenarios \
  --n 1000 \
  --input artifacts/profile_runs/latest/profiles.jsonl \
  --output artifacts/scenario/cases.jsonl

# 3. Collect and package agent trajectories.
python -m agent.run_scenarios \
  --profiles artifacts/profile_runs/latest/profiles.jsonl \
  --scenarios artifacts/scenario/cases.jsonl \
  --domains travel health shopping career_learning
python -m agent.package_trajectories --source-dir artifacts/trajectory_runs/latest

# 4. Infer user profiles from the traces.
python -m attack.run_attacks \
  --input artifacts/trajectories/trajectories.jsonl \
  --output-dir artifacts/privacy_attacks/run \
  --attack-mode two_stage

कमांड गाइड में स्कोरिंग, अवलोकन-चैनल प्रयोग और क्रॉस-डोमेन अनुमान शामिल हैं। प्रत्येक एंट्री पॉइंट के आर्ग्युमेंट्स के लिए उस पर --help का उपयोग करें।

कोड संगठन

निर्देशिका	सामग्री
generate/	प्रोफ़ाइल संश्लेषण, जनसंख्या अंशांकन, और परिदृश्य निर्माण
agent/	उपयोगकर्ता सिम्युलेटर, MCP एजेंट, ट्रैजेक्टरी संग्रह और पैकेजिंग
attack/	प्रोफ़ाइल अनुमान और चैनल/स्कोप प्रयोग
eval/	सिमेंटिक स्कोरिंग, परिणाम विश्लेषण, और पुनरुत्पादन
llm/	मॉडल प्रदाता और अनुरोध क्लाइंट
mcp_servers/	MCP सर्वर कैटलॉग, एडाप्टर, और अपस्ट्रीम निर्भरताएँ
config/	डोमेन सेटिंग्स, नीतियाँ, और टूल स्कीमा
data/	सांख्यिकीय संदर्भ इनपुट और अंशांकन लक्ष्य
examples/	छोटे उदाहरण कार्य रिकॉर्ड
scripts/	पर्यावरण सेटअप और डेटासेट डाउनलोड
docs/	उपयोग और विधि दस्तावेज़ीकरण
tests/	यूनिट परीक्षण

डेटा दस्तावेज़ीकरण के लिए डेटासेट कार्ड देखें। प्रोजेक्ट वेबसाइट को उसके अपने रिपॉज़िटरी में अनुरक्षित किया जाता है।

लाइसेंस

निर्दिष्ट किया जाना है। तृतीय-पक्ष घटक अपने मूल लाइसेंस बनाए रखते हैं; देखें THIRD_PARTY_NOTICES.md।