EVMBench Certora Agent Harness

أداة وكيل قابلة للتهيئة لتوليد/تحسين مواصفات العقود الذكية بشكل تكراري باستخدام:

• مهام بنمط EVMBench (openai/frontier-evals -> project/evmbench)
• Certora Prover (Certora/CertoraProver)
• خلفية LLM: OpenAI API، أو OpenRouter API، أو Ollama المحلي، أو وضع المحاكاة

ما الذي تقوم به هذه الأداة

تتكرر الأداة على التحدي:

1. تقرأ ملفات العقد/السياق.
2. تطلب من LLM نص مواصفات Certora CVL (بإخراج JSON صارم).
3. تشغّل Certora.
4. تعيد إخراج المدقق إلى LLM.
5. تكرر حتى النجاح أو بلوغ الحد الأقصى من التكرارات.

يتم حفظ مخرجات التشغيل لكل تكرار.

هيكل المشروع

• src/evmbench_certora_harness/ التنفيذ الأساسي
• configs/harness.example.yaml ملف تهيئة نموذجي
• scripts/fetch_evmbench.sh مساعد لجلب مهام المعيار
• examples/sample_challenge/ هيكل محلي مصغّر
• 00_..05_*.md ملاحظات التجارب (متوافقة مع Obsidian)

المتطلبات المسبقة

• Python 3.9+
• تثبيت Certora Prover وقابلية تشغيله (certoraRun أو certoraRun.py)
• تبعيات Solver/سلسلة الأدوات المطلوبة من Certora (Z3/CVC5/JDK/إلخ.)
• خلفية LLM واحدة:
  • OpenAI: OPENAI_API_KEY
  • OpenRouter: OPENROUTER_API_KEY
  • Ollama: خادم محلي على http://localhost:11434

المصدر الأصلي لـ Certora:

• https://github.com/Certora/CertoraProver

المصدر الأصلي لـ EVMBench:

• https://github.com/openai/frontier-evals/tree/main/project/evmbench

التثبيت

python -m venv .venv
source .venv/bin/activate
pip install -e .

التهيئة

انسخ ملف التهيئة وحرّره:

cp configs/harness.example.yaml configs/harness.yaml

التشغيل

تحدٍ واحد:

python -m evmbench_certora_harness.cli run \
  --config configs/harness.yaml \
  --challenge datasets/evmbench/audits/2023-07-pooltogether \
  --max-iterations 4

أول تحدٍ من glob في ملف التهيئة:

python -m evmbench_certora_harness.cli run --config configs/harness.yaml --limit 1

تشغيل تجريبي (بدون تنفيذ Certora):

python -m evmbench_certora_harness.cli run --config configs/harness.yaml --dry-run

ملاحظات

• تختلف صيغة أوامر Certora حسب المشروع. حافظ على certora.command_template مدركًا للتحدي.
• تخزّن الأداة السجلات الكاملة تحت runs/ لتحليل ما بعد التنفيذ.