CRAW 的源代码,这是一种基于 STFT 幅度域嵌入的鲁棒音频水印方法。编码器将二进制消息嵌入音频片段的幅度频谱图(相位从干净信号中保留);解码器可在各种信号处理、神经编解码器、去噪和声码器攻击下恢复消息。
本仓库是 TimbreWatermarking(NDSS 2024)的分支,扩展了以下内容:
watermarking_model/ — 所有水印模型代码:架构(model/)、训练(train.py)、攻击模拟(distortions/、utils/distortions.py)、评估(eval/)以及导出/实验脚本(scripts/)。需要 Python 3.8。
以下随附的第三方依赖未捆绑在本仓库中。它们仅用于 FACodec/去噪器/TiCodec 攻击,不用于基本的嵌入/解码验证(见下方推理部分)。如果你想运行这些攻击,请自行将公共仓库克隆到所示路径:
git clone https://github.com/lifeiteng/naturalspeech3_facodec.git watermarking_model/naturalspeech3_facodec
git clone https://github.com/modelscope/ClearerVoice-Studio.git watermarking_model/ClearerVoice-Studio
git clone https://github.com/y-ren16/TiCodec.git watermarking_model/codecs/ticodec_repo
主训练/评估流程所需的 Python 依赖列于
watermarking_model/requirements.txt。
对于编解码器攻击渲染(EnCodec、TiCodec),我们建议为每个编解码器使用独立的
conda 环境,因为每个编解码器都有各自——有时相互冲突——的依赖;请参阅各脚本
docstring 中的设置说明(codecs/encode_*.py)。
训练和评估使用 LibriSpeech(训练集 + 测试集),对于零样本跨域实验,则使用
LJSpeech。数据集路径在各实验训练配置的 path.raw_path 字段中设置
(watermarking_model/config/**/train_*.yaml),并通过 eval/export 脚本上的
--audio_dir 设置——请将这些路径指向你自己本地的
LibriSpeech 和
LJSpeech 副本。
cd watermarking_model
python3 train.py \
-p config/process.yaml \
-m config/craw/model.yaml \
-t config/craw/train.yaml
这会训练完整模型(鲁棒失真层 + Q-Former + 重复 ECC)——即 CRAW 主要结果所用的配置。训练日志记录到 Weights & Biases 的 craw 项目下;请先设置 WANDB_ENTITY/通过 wandb login 登录你自己的账户。
训练使用固定的随机种子(2022,在 train.py 中为 random/numpy/torch/torch.cuda 设置)以保证可复现性。
PESQ 掩蔽在导出/推理时应用,而非训练期间——参见 scripts/export_watermarked_dynamic.py --grad_mode spect_ft。
一个预训练的 CRAW 检查点(第 20 个 epoch,与论文的主要结果一致)已直接打包在本提交中——无需下载——位于 watermarking_model/results/craw/ckpt/pth/(config/craw/model.yaml 的 test.model_path 指向此处)。
要将消息嵌入单个 WAV 文件并立即解码回来(不施加任何攻击)作为快速健全性检查:
cd watermarking_model
python3 -m scripts.infer \
-p config/process.yaml \
-m config/craw/model.yaml \
-t config/craw/train.yaml \
--input /path/to/clean.wav \
--output /path/to/watermarked.wav \
--ckpt 20
这会打印嵌入/解码后的消息和比特准确率。关于论文中使用的完整攻击套件评估,请参见下方的 eval/common_test.py。
eval/common_test.py 针对训练好的检查点运行完整的攻击套件(经典信号处理、神经编解码器、降噪器、声码器),并报告每种攻击的解码准确率和保真度(SI-SNR、PESQ、STOI)。
eval/tpr_eval.py 根据干净音频的假阳性率校准每个模型的检测阈值,并报告在共享 FPR 下的 TPR;eval/compare_tpr.py 将各实验的结果汇总到论文的对比表中,并进行配对自助法显著性检验。scripts/plot_ablation_sweep.py、scripts/plot_fidelity_sweep.py、scripts/visualize_mask.py 和 scripts/visualize_mask_zoom.py 生成论文的图表。
如果您使用此代码,请引用:
@article{chernin2026craw,
title={CRAW: Codec Robust Audio Watermarking},
author={Chernin, David and Fetaya, Ethan},
journal={arXiv preprint arXiv:2609.03107},
year={2026},
url={https://arxiv.org/abs/2609.03107}
}
基于 TimbreWatermarking (NDSS 2024)构建。使用 NaturalSpeech3 FACodec、 ClearerVoice-Studio、 TiCodec 和 EnCodec 实现编解码器/降噪器 攻击。