RRC ステガノグラフィー

Rotation Range-Coding (RRC) ステガノグラフィー — 大規模言語モデルが生成する自然言語テキストに秘密メッセージを埋め込む、効率的かつ証明可能な安全性を備えた言語ステガノグラフィー手法です。

論文: Efficient Provably Secure Linguistic Steganography via Range Coding

仕組み

この回転メカニズムは、素の範囲コーディングステガノグラフィーの2つの問題を解決します:

1. 確率分布の保持 — 回転された秘密値は各区間内で一様に分布するため、トークン選択は元の LM 分布に従います。
2. 新しいランダム性 — 各ステップで新しい PRNG オフセットを使用するため、ランダム性の再利用を防ぎます。

リポジトリ構造

.
├── RRC_embed.py   # Embedding (Algorithm 3) 
├── RRC_extract.py   # Extraction (Algorithm 4) 
├── test_roundtrip.py         # Self-contained end-to-end verification script
├── requirements.txt          # Python dependencies
└── README.md

要件

• Python ≥ 3.10
• PyTorch ≥ 2.0
• Transformers ≥ 4.35

依存関係をインストール:

pip install -r requirements.txt

クイックスタート

1. 正確性の検証

ラウンドトリップテストは、meta-llama/Llama-2-7b-hf を使用し、CPU/CUDA 上で実行されます:

python test_roundtrip.py

期待される出力:

>>> Step 3: Verification
    Original: 10110011001010111010011100101011...
    Extracted: 10110011001010111010011100101011...

    ✅ SUCCESS — extracted message matches perfectly!

2. 秘密メッセージの埋め込み

列 idx と text を含むプロンプトファイル 0.Prompts.tsv を用意し、以下を実行します:

python RRC_embed.py \
    --language_model meta-llama/Llama-3.1-8B \
    --bit_length 128 \
    --key 42 \
    --top_k -1

3. 秘密メッセージの抽出

python RRC_extract.py \
    --language_model meta-llama/Llama-3.1-8B \
    --bit_length 128 \
    --key 42 \
    --input_file 1.RC_decimal_Llama-3.1-8B_bit128.tsv

⚠️ 重要: 正しく抽出するには、送信者と受信者が同じ言語モデル、キー、ビット長、top-k 設定を使用する必要があります。

CLI 引数

RRC_embed.py

RRC_extract.py

技術的注記: Decimal の剰余演算

Python の Decimal 型は % 演算子に切り捨て除算を使用するため、負の剰余を返すことがあります (例: Decimal('-19672') % Decimal('65536') は 45864 ではなく -19672 になります)。この実装では、結果が常に [0, m) に収まることを保証する decimal_mod ヘルパーを使用しています:

def decimal_mod(a, m):
    return a - m * (a / m).to_integral_value(rounding=ROUND_FLOOR)

⚠️ 信頼性の高い秘密抽出のため、一部の操作 (sort、cumsum) は CUDA の非決定性を避けるために float64 精度で CPU にオフロードされます。これにより、保証されたエンコード–デコードの一貫性と引き換えに、ある程度の速度を犠牲にします。