HiTMS：高吞吐量多流语言隐写框架

用于基于LLM聊天对话的语言隐写的研究代码，包含单流基线和批量**多流（HiTMS）**协议，可同时隐藏多条独立秘密消息，并利用GPU批处理实现更高的吞吐量。

Bob 模型提出问题；Alice 模型通过隐写编码器将载荷秘密编码到其令牌选择中，从而给出回答；Bob 在 Alice 的回复上重新运行模型以恢复比特。编码和解码是比特精确的，因此秘密被无损恢复。

亮点

• 两种编码器，均具有比特相同的编解码：
  • 算术编码（arithmetic*.py）
  • Discop（保持分布，discop*.py）
• 单流协议（single_stream.py）：无帧开销——每个信道比特都是载荷（约100%利用率）。
• 多流HiTMS协议（protocol.py）：将 m 个秘密流分片到多轮，采用PRF驱动的流→槽映射、诱饵槽、16位长度头和填充密钥流。每轮的多个响应在一次批量前向传播中生成，因此吞吐量随批大小扩展。
• 可复现的实验驱动程序，具有确定性提示流、逐试验检查点/恢复以及崩溃/无效重掷处理。
• LLM作为评判者的不可感知性评估（自然度+连贯性）。

实验中使用的模型：meta-llama/Llama-3.2-3B-Instruct 和 google/gemma-3-4b-it。数据集：databricks/databricks-dolly-15k 和 HuggingFaceH4/no_robots 的创意/开放式子集。

仓库结构

数据

data/ 保存了论文中每个实验的结果——容量、吞吐量、利用率、评判者得分和检测器AUROC——每个试验一个JSON对象。完整模式参见 data/README.md。

生成的隐写文本本身不包含在内：原始日志嵌入了每个片段的问答，使其约为1 GB，因此 export_data.py 会去除这些字段并保留所有测量值（约24 MB）。所有驱动程序都有固定种子，因此重新运行扫描会精确重新生成文本。

原始输出目录（sweep_logs/、single_sweep_logs/、scaling_logs/、judge_logs/、cover_logs/、run_logs/、steganalysis_logs/）被git忽略——它们很大（最后一个包含数GB的训练检测器检查点），并且可以完全重新生成。

安装

conda create -n ems python=3.10 -y && conda activate ems
pip install torch transformers datasets numpy
pip install openai          # only needed for judge_quality.py

运行LLM需要CUDA GPU。Llama和Gemma检查点在Hugging Face Hub上有访问限制，因此首次使用前请运行 huggingface-cli login（并授予对这些模型的访问权限）。

用法

构建问题池（一次性）：

python build_question_pool.py        # -> dolly15k_creative_questions.json
python build_norobots_pool.py        # -> norobots_creative_questions.json

单个详细试验（健全性检查）：

# multi-stream
CUDA_VISIBLE_DEVICES=0 python multi_round_demo.py
# single-stream
CUDA_VISIBLE_DEVICES=0 python single_stream_demo.py
# override model / coder / pool via env
ROUND_TRIP_MODEL=google/gemma-3-4b-it STEGO_ALGORITHM=discop \
  STEGO_QUESTION_POOL=norobots_creative_questions.json \
  CUDA_VISIBLE_DEVICES=0 python multi_round_demo.py

完整实验（可恢复——重新运行同一命令以继续）：

# multi-stream (8 streams x 1024 bits), all model/pool/coder combos, 500 trials
CUDA_VISIBLE_DEVICES=0 python run_sweep.py --trials 500
# single-stream baseline
CUDA_VISIBLE_DEVICES=0 python run_single_sweep.py --trials 500
# stream-count scaling (dolly + Llama + Discop)
CUDA_VISIBLE_DEVICES=0 python run_scaling_sweep.py --x-values 4 8 16 32 64

不可感知性评估（需要 OPENAI_API_KEY 环境变量或本地 OPENAI_API_key.txt 中的OpenAI密钥，两者均被git忽略）：

python judge_quality.py --dry-run        # plan only, no API calls
python judge_quality.py --limit 2        # tiny live smoke test
python judge_quality.py                  # full run (resumable)
python judge_quality.py --aggregate-only # recompute the score table

可复现性

每个驱动程序都固定其种子（提示打乱、载荷采样、采样RNG、torch.manual_seed），并从确定性的、支持遍数感知的提示流中消费提示，因此完整扫描可端到端复现，并在中断后从其检查点精确恢复。

备注

• 这是随论文（尚未完成）提供的研究代码；API可能会变化。
• 切勿提交秘密——OPENAI_API_key.txt、*.key 和 .env 已被忽略。