promptmap

                              _________       __O     __O o_.-._ 
  Humans, Do Not Resist!  \|/   ,-'-.____()  / /\_,  / /\_|_.-._|
    _____   /            --O-- (____.--""" ___/\   ___/\  |      
   ( o.o ) /  Utku Sen's  /|\  -'--'_          /_      /__|_     
    | - | / _ __ _ _ ___ _ __  _ __| |_ _ __  __ _ _ __|___ \    
  /|     | | '_ \ '_/ _ \ '  \| '_ \  _| '  \/ _` | '_ \ __) |   
 / |     | | .__/_| \___/_|_|_| .__/\__|_|_|_\__,_| .__// __/    
/  |-----| |_|                |_|                 |_|  |_____|    

promptmap2 هو ماسح آلي لحقن الأوامر (prompt injection) مصمم لتطبيقات LLM المخصصة. وهو يدعم وضعين للاختبار:

• الاختبار الصندوق الأبيض (White-box): قم بتوفير مطالبات النظام (system prompts) ومعلومات النموذج. يقوم promptmap2 بتشغيل LLM الهدف بنفسه واختباره.

• الاختبار الصندوق الأسود (Black-box): وجّه promptmap2 إلى نقطة نهاية HTTP خارجية. يرسل هجمات عبر HTTP ويفحص المخرجات المُعادة.

يعمل باستخدام بنية LLM مزدوجة:

• LLM الهدف (Target LLM): تطبيق LLM الذي يتم اختباره بحثًا عن الثغرات الأمنية.
• LLM المتحكم (Controller LLM): LLM مستقل يحلل استجابات الهدف لتحديد ما إذا كانت الهجمات قد نجحت.

ترسل الأداة مطالبات هجومية إلى LLM الهدف وتستخدم LLM المتحكم لتقييم ما إذا كان الهجوم ناجحًا بناءً على شروط محددة مسبقًا.

تتضمن قواعد اختبار شاملة عبر فئات متعددة تشمل سرقة المطالبات (prompt stealing)، وكسر القيود (jailbreaking)، وتوليد محتوى ضار، واختبار التحيز، وغيرها.

[!IMPORTANT]
تم إصدار promptmap لأول مرة في عام 2023 ولكن أعيدت كتابته بالكامل في عام 2025.

📖 هل تريد تأمين تطبيقات LLM الخاصة بك؟ يمكنك شراء كتابي الإلكتروني

الميزات

• دعم مزودي LLM متعددين:
  • نماذج OpenAI GPT
  • نماذج Anthropic Claude
  • نماذج Google Gemini
  • نماذج XAI Grok
  • النماذج مفتوحة المصدر عبر Ollama (Deepseek، Llama، Mistral، Qwen، وغيرها)
• قواعد اختبار شاملة: أكثر من 50 قاعدة مبنية مسبقًا عبر 6 فئات
• تقييم مرن: معايير نجاح/فشل مبنية على شروط لكل اختبار
• قواعد قابلة للتخصيص: قواعد بصيغة YAML مع شروط نجاح/فشل
• أهداف HTTP خارجية: وجّه عمليات الفحص الصندوق الأسود إلى أي نقطة نهاية عبر إعدادات YAML خفيفة الوزن

التثبيت

1. استنساخ المستودع:

git clone https://github.com/utkusen/promptmap.git
cd promptmap

2. تثبيت حزم Python المطلوبة:

pip install -r requirements.txt

مفاتيح API

قم بتعيين مفتاح API المناسب للمزود الذي تختاره.

export OPENAI_API_KEY="your-openai-key"

المزودون الآخرون المدعومون يستخدمون ANTHROPIC_API_KEY و GOOGLE_API_KEY و XAI_API_KEY.

تثبيت Ollama

إذا كنت ترغب في استخدام النماذج المحلية، فأنت بحاجة إلى تثبيت Ollama.

انتقل إلى صفحة تنزيل Ollama واتبع إرشادات التثبيت.

الاستخدام

الاختبار الصندوق الأبيض

يجب عليك تقديم ملف مطالبات النظام الخاص بك. الملف الافتراضي هو system-prompts.txt. يمكنك تحديد ملفك الخاص باستخدام العلامة --prompts. يوجد ملف مثال في المستودع.

الاستخدام الأساسي

1. اختبار نماذج OpenAI:

python3 promptmap2.py --target-model gpt-3.5-turbo --target-model-type openai

تتبع مزودو Anthropic و Google و XAI نفس النمط: اختر اسم النموذج الصحيح واضبط --target-model-type على anthropic أو google أو xai.

2. اختبار النماذج المحلية عبر Ollama:

python3 promptmap2.py --target-model "llama2:7b" --target-model-type ollama
# إذا لم يكن النموذج مثبتًا، سيطلب منك promptmap تنزيله. إذا كنت ترغب في تنزيله تلقائيًا، يمكنك استخدام العلامة `-y`.

3. الاختبار مع موقع خادم Ollama مخصص:

# افتراضيًا، يتصل promptmap2 بـ Ollama على http://localhost:11434
# يمكنك تحديد عنوان URL مخصص إذا كان خادم Ollama يعمل في مكان آخر
python3 promptmap2.py --target-model "llama2:7b" --target-model-type ollama --ollama-url http://192.168.1.100:11434

استخدام نماذج متحكم مختلفة

افتراضيًا، يتم استخدام نفس النموذج كهدف ومتحكم.

[!IMPORTANT]
بالنسبة لنموذج المتحكم، يُوصى بشدة باستخدام أحد هذه النماذج القوية للحصول على تقييم دقيق:

• OpenAI GPT-5
• Google Gemini 2.5 Pro
• Anthropic Claude 4 Sonnet
• gpt-oss:20b (عبر Ollama)

قد لا تحلل النماذج الأضعف النتائج بدقة وقد تؤدي إلى نتائج إيجابية أو سلبية كاذبة.

# استخدام GPT-4o كمتحكم لاختبار هدف GPT-3.5
python3 promptmap2.py --target-model gpt-3.5-turbo --target-model-type openai \
  --controller-model gpt-4o --controller-model-type openai

# استخدام Claude 4 Opus كمتحكم لاختبار نموذج Llama محلي
python3 promptmap2.py --target-model llama2:7b --target-model-type ollama \
  --controller-model claude-4-opus-20240229 --controller-model-type anthropic

الاختبار الصندوق الأسود

إذا لم تكن تتحكم في مطالبة النظام الخاصة بـ LLM الهدف، فلا يزال بإمكانك مهاجمته من خلال توفير مخطط طلب HTTP. اضبط --target-model-type http وقدّم --http-config مشيرًا إلى ملف YAML يصف كيفية إرسال كل حمولة. الحقول الرئيسية:

• url: الوجهة للطلب. على سبيل المثال: https://assistant.example.com/chat
• method: فعل HTTP، الافتراضي هو POST.
• headers: يمكنك إضافة أي ترويسات تريدها. على سبيل المثال: Content-Type: application/json, Authorization: Bearer <token>
• payload_placeholder: سيتم إدراج مطالبة الهجوم هنا (مدعوم بمواضع متعددة): "{PAYLOAD_POSITION}"
• payload_encoding: يمكن أن يكون none أو url أو form للتحكم في كيفية ترميز الحمولات قبل الإدراج.
• json أو body: تحديد حمولة الطلب.
• verify_ssl: اضبط على true لتمكين التحقق من TLS (معطل افتراضيًا لسهولة اعتراض المرور).
• proxy: تكوين وكيل اختياري (scheme، host، port، وبيانات اعتماد اختيارية) يستخدم لحركة HTTP و HTTPS.
• answer_focus_hint: جزء نصي اختياري يحدد مكان وجود إجابة المساعد داخل استجابات HTTP المزعجة.

مثال طلب JSON (انظر http-examples/http-config-example.yaml):

name: Example External Chat Endpoint
method: POST
url: https://chat.example.com/v1/messages
headers:
  Content-Type: application/json
json:
  messages:
    - role: user
      content: "{PAYLOAD_POSITION}"
answer_focus_hint: '"content": "{ANSWER_POSITION}"'
proxy:
  scheme: https
  host: 127.0.0.1
  port: 8080

مثال طلب POST كلاسيكي مع ترميز الحمولة (http-examples/http-config-form.yaml):

name: Form Endpoint
method: POST
url: https://legacy.example.com/api/submit
headers:
  Content-Type: application/x-www-form-urlencoded
payload_encoding: form
body: "username=qa_tester&payload={PAYLOAD_POSITION}&mode=probe"
answer_focus_hint: '"message={ANSWER_POSITION}"'

يستبدل promptmap2 كل إدخال {PAYLOAD_POSITION} بمطالبة الهجوم الحالية، ويصدر طلب HTTP، ويُغذي جسم الاستجابة مرة أخرى إلى LLM المتحكم للتقييم. عند تقديم answer_focus_hint، يُوجّه LLM المُقيّم للتركيز على ذلك الجزء من الاستجابة.

python3 promptmap2.py --target-model external --target-model-type http \
  --http-config http-examples/http-config-example.yaml \
  --controller-model gpt-4 --controller-model-type openai

الخيارات المتقدمة

1. إخراج JSON:

python3 promptmap2.py --target-model gpt-4 --target-model-type openai --output results.json

2. عدد مخصص من تكرارات الاختبار:

قد لا تظهر تطبيقات LLM أنها معرضة لحقن الأوامر من المحاولة الأولى. ومع ذلك، غالبًا ما تكشف عن الثغرات بعد عدة محاولات. يمثل عدد التكرارات عدد المحاولات، بقيمة افتراضية 3. يمكنك زيادة هذا الرقم حسب الحاجة.

python3 promptmap2.py --target-model llama2 --target-model-type ollama --iterations 10

3. تشغيل قواعد محددة

يمكنك اختيار تشغيل قواعد اختبار محددة بدلاً من تشغيل جميع القواعد.

# تشغيل قواعد محددة فقط بالاسم
python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rules prompt_stealer_basic,distraction_basic

# تشغيل جميع القواعد من فئات محددة
python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type prompt_stealing,jailbreak

# تشغيل جميع اختبارات المحتوى الضار
python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type harmful