HiTMS: إطار عمل التشفير اللغوي الخفي متعدد التدفقات عالي الإنتاجية

كود بحثي لـ التشفير اللغوي الخفي عبر محادثات LLM، مع خط أساس أحادي التدفق وبروتوكول متعدد التدفقات (HiTMS) مُجمّع يخفي عدة رسائل سرية مستقلة في وقت واحد ويستغل تجميع GPU لتحقيق إنتاجية أعلى بكثير.

نموذج Bob يطرح الأسئلة؛ ونموذج Alice يجيب، مُشفّرًا الحمولة سرًا في اختياراته للرموز عبر مُشفّر خفي؛ يعيد Bob تشغيل النموذج على رد Alice لاستعادة البتات. التشفير وفك التشفير متطابقان بتًا-بتًا، لذا يُستعاد السر دون أي فقدان.

أبرز الميزات

• مُشفِران خفيان، كلاهما بتشفير/فك تشفير مطابق للبتات:
  • الترميز الحسابي (arithmetic*.py)
  • Discop (الحفاظ على التوزيع، discop*.py)
• بروتوكول أحادي التدفق (single_stream.py): لا يوجد حمل إضافي للتأطير — كل بت في القناة هو حمولة (~100% استغلال).
• بروتوكول HiTMS متعدد التدفقات (protocol.py): m تدفقًا سريًا مُجزّأً عبر الجولات، وتعيين تدفق→فتحة مدفوع بـ PRF، وفتحات خداعية، وترويسات طول 16-بت، وتدفق مفاتيح حشو. يتم توليد عدة استجابات لكل جولة في تمريرة أمامية مُجمّعة واحدة، لذا تتوسع الإنتاجية مع حجم الدفعة.
• مُشغِّلات تجارب قابلة لإعادة الإنتاج مع تدفقات مطالبات حتمية، وحفظ/استئناف بنقطة تفتيش لكل محاولة، ومعالجة الانهيار/إعادة اللف الباطلة.
• تقييم LLM-كحَكَم لعدم الإدراك (الطبيعية + التماسك).

النماذج المستخدمة في التجارب: meta-llama/Llama-3.2-3B-Instruct و google/gemma-3-4b-it. مجموعات البيانات: مجموعات فرعية إبداعية/مفتوحة النهاية من databricks/databricks-dolly-15k و HuggingFaceH4/no_robots.

هيكل المستودع

البيانات

data/ يحتوي على نتائج كل تجربة في الورقة — السعة، الإنتاجية، الاستغلال، درجات الحَكَم، وAUROC للكاشف — ككائن JSON واحد لكل محاولة. انظر data/README.md للمخطط الكامل.

النص الخفي المُولَّد نفسه غير مضَمّن: السجلات الخام تضمّن السؤال والاستجابة لكل جزء، مما يجعلها نحو 1 جيجابايت، لذا export_data.py يزيل تلك الحقول ويحتفظ بكل القياسات (~24 ميجابايت). جميع المشغِّلات مُبذَّرة (بذور ثابتة)، لذا إعادة تشغيل مسح تُعيد توليد النص تمامًا.

مجلدات المخرجات الخام (sweep_logs/, single_sweep_logs/, scaling_logs/, judge_logs/, cover_logs/, run_logs/, steganalysis_logs/) مستثناة من git — فهي كبيرة (الآخر يحتوي نقاط تفتيش كاشف مُدرَّبة بحجم متعدد الجيجابايت) وقابلة لإعادة التوليد بالكامل.

التثبيت

conda create -n ems python=3.10 -y && conda activate ems
pip install torch transformers datasets numpy
pip install openai          # needed only for judge_quality.py

يلزم GPU من نوع CUDA لتشغيل نماذج LLM. نقاط تفتيش Llama وGemma مقيدة على Hugging Face Hub، لذا شغّل huggingface-cli login (مع منح الوصول لتلك النماذج) قبل أول استخدام.

الاستخدام

ابنِ مجمّعات الأسئلة (مرة واحدة):

python build_question_pool.py        # -> dolly15k_creative_questions.json
python build_norobots_pool.py        # -> norobots_creative_questions.json

محاولة واحدة مفصّلة (فحص سلامة):

# multi-stream
CUDA_VISIBLE_DEVICES=0 python multi_round_demo.py
# single-stream
CUDA_VISIBLE_DEVICES=0 python single_stream_demo.py
# override model / coder / pool via env
ROUND_TRIP_MODEL=google/gemma-3-4b-it STEGO_ALGORITHM=discop \
  STEGO_QUESTION_POOL=norobots_creative_questions.json \
  CUDA_VISIBLE_DEVICES=0 python multi_round_demo.py

التجارب الكاملة (قابلة للاستئناف — أعد تشغيل نفس الأمر للمتابعة):

# multi-stream (8 streams x 1024 bits), all model/pool/coder combos, 500 trials
CUDA_VISIBLE_DEVICES=0 python run_sweep.py --trials 500
# single-stream baseline
CUDA_VISIBLE_DEVICES=0 python run_single_sweep.py --trials 500
# stream-count scaling (dolly + Llama + Discop)
CUDA_VISIBLE_DEVICES=0 python run_scaling_sweep.py --x-values 4 8 16 32 64

تقييم عدم الإدراك (يتطلب مفتاح OpenAI في OPENAI_API_KEY أو ملف OPENAI_API_key.txt محلي، وكلاهما مستثنى من git):

python judge_quality.py --dry-run        # plan only, no API calls
python judge_quality.py --limit 2        # tiny live smoke test
python judge_quality.py                  # full run (resumable)
python judge_quality.py --aggregate-only # recompute the score table

إعادة الإنتاج

كل مُشغِّل يثبّت بذوره (تبديل المطالبات، أخذ عينات الحمولة، RNG لأخذ العينات، torch.manual_seed) ويستهلك المطالبات من تدفق مطالبات حتمي وواعٍ بالتمريرات، لذا يمكن إعادة إنتاج مسح كامل من البداية إلى النهاية ويستأنف تمامًا من نقطة تفتيشه بعد الانقطاع.

ملاحظات

• هذا كود بحثي يرافق ورقة قيد الإعداد؛ قد تتغير الواجهات البرمجية.
• لا تلتزم أبدًا بالأسرار — OPENAI_API_key.txt و *.key و .env كلها متجاهَلة.