CRAW: コーデック耐性オーディオウォーターマーキング

CRAW のソースコードです。これは STFT 振幅領域への埋め込みに基づく堅牢なオーディオウォーターマーキング手法です。エンコーダはバイナリメッセージをオーディオクリップの振幅スペクトログラムに埋め込み（位相はクリーン信号から保持されます）、デコーダはさまざまな信号処理、ニューラルコーデック、ノイズ除去、ボコーダ攻撃の下でメッセージを復元します。

このリポジトリは TimbreWatermarking（NDSS 2024）のフォークであり、以下を拡張しています：

• 堅牢な歪みレイヤー — トレーニング中の微分可能な攻撃シミュレーション（ノイズ、フィルタリング、FACodec、MP3、スペクトルゲーティングなど）。
• Q-Former プーリング — 抽出されたウォーターマーク特徴のアテンションベースの集約で、単純な平均プーリングを置き換えます。
• PESQ マスキング — 推論時に、サンプルごとのマスクが堅牢性に最も寄与しないセル（PESQ 勾配の大きさによる）のクリーンスペクトログラム内容を復元し、小さく調整可能な量の堅牢性を引き換えに忠実度の向上を得ます。
• 誤り訂正符号（ECC） — 生のメッセージビットをラップするリピティション、Reed–Solomon、LDPC、BCH コーデック。

リポジトリ構成

• watermarking_model/ — すべてのウォーターマーキングモデルコード：アーキテクチャ（model/）、トレーニング（train.py）、攻撃シミュレーション（distortions/、utils/distortions.py）、評価（eval/）、およびエクスポート/実験スクリプト（scripts/）。

セットアップ

Python 3.8 が必要です。

以下に示すベンダー提供のサードパーティ依存関係は、このリポジトリにはバンドルされていません。これらは FACodec/デノイザー/TiCodec 攻撃にのみ必要であり、基本的な埋め込み/デコードの検証には不要です（下記の推論を参照）。これらの攻撃を実行したい場合は、公開リポジトリを自分でクローンして、示されたパスに配置してください：

git clone https://github.com/lifeiteng/naturalspeech3_facodec.git watermarking_model/naturalspeech3_facodec
git clone https://github.com/modelscope/ClearerVoice-Studio.git watermarking_model/ClearerVoice-Studio
git clone https://github.com/y-ren16/TiCodec.git watermarking_model/codecs/ticodec_repo

メインの学習/評価パイプライン用の Python 依存関係は watermarking_model/requirements.txt に記載されています。 コーデック攻撃のレンダリング（EnCodec、TiCodec）については、各コーデックが独自の（時に競合する）依存関係を持つため、コーデックごとに別々の conda 環境を使用することを推奨します。セットアップ手順は各スクリプトの docstring（codecs/encode_*.py）を参照してください。

データ

学習と評価には LibriSpeech（train + test スプリット）を使用し、ゼロショットのクロスドメイン実験には LJSpeech を使用します。データセットのパスは、各実験の学習設定（watermarking_model/config/**/train_*.yaml）の path.raw_path フィールド、および eval/export スクリプトの --audio_dir で設定します。これらを、各自のローカルにある LibriSpeech と LJSpeech のコピーを指すようにしてください。

学習

cd watermarking_model
python3 train.py \
  -p config/process.yaml \
  -m config/craw/model.yaml \
  -t config/craw/train.yaml

これにより、フルモデル（ロバスト歪み層 + Q-Former + 繰り返しECC）が学習されます。これはCRAWの主要な結果で使用された構成です。学習ログはWeights & Biasesのcrawプロジェクトに記録されます。事前にご自身のアカウントでWANDB_ENTITYを設定するか、wandb loginでログインしてください。

学習では再現性のために固定の乱数シード（2022、train.py内でrandom/numpy/torch/torch.cudaに対して設定）を使用します。

PESQマスキングは学習時ではなくエクスポート/推論時に適用されます — scripts/export_watermarked_dynamic.py --grad_mode spect_ftを参照してください。

推論

事前学習済みのCRAWチェックポイント（エポック20、論文の主要な結果に対応）は、この提出物に直接バンドルされています — ダウンロードは不要です — 場所はwatermarking_model/results/craw/ckpt/pth/です（config/craw/model.yamlのtest.model_pathがここを指しています）。

1つのWAVファイルにメッセージを埋め込み、すぐにデコードして戻す（攻撃は適用しない）簡単な動作確認を行うには、次のようにします：

cd watermarking_model
python3 -m scripts.infer \
  -p config/process.yaml \
  -m config/craw/model.yaml \
  -t config/craw/train.yaml \
  --input /path/to/clean.wav \
  --output /path/to/watermarked.wav \
  --ckpt 20

これにより、埋め込まれた/デコードされたメッセージとビット精度が出力されます。論文で使用されている完全な攻撃スイート評価については、以下の eval/common_test.py を参照してください。

評価

eval/common_test.py は、学習済みチェックポイントに対して完全な攻撃スイート（古典的信号処理、ニューラルコーデック、デノイザー、ボコーダー）を実行し、攻撃ごとのデコード精度と忠実度（SI-SNR、PESQ、STOI）を報告します。

eval/tpr_eval.py は、クリーン音声の偽陽性率からモデルごとの検出しきい値を較正し、共通の FPR における TPR を報告します。eval/compare_tpr.py は、実験全体の結果をペア付きブートストラップ有意性検定付きで論文の比較表に集約します。scripts/plot_ablation_sweep.py、scripts/plot_fidelity_sweep.py、scripts/visualize_mask.py、scripts/visualize_mask_zoom.py は論文の図を生成します。

引用

このコードを使用する場合は、以下を引用してください:

@article{chernin2026craw,
  title={CRAW: Codec Robust Audio Watermarking},
  author={Chernin, David and Fetaya, Ethan},
  journal={arXiv preprint arXiv:2609.03107},
  year={2026},
  url={https://arxiv.org/abs/2609.03107}
}

謝辞

TimbreWatermarking (NDSS 2024) を基に構築されています。NaturalSpeech3 FACodec、 ClearerVoice-Studio、 TiCodec、および EnCodec をコーデック/デノイザー 攻撃に使用しています。