
Framework robusto de marca d'água em áudio que incorpora mensagens binárias em espectrogramas de magnitude, com simulação diferenciável de ataques, pooling Q-Former, mascaramento PESQ e códigos de correção de erros para resiliência contra ataques de codec e processamento de sinal.
Código-fonte do CRAW, um método robusto de marca d'água de áudio baseado em incorporação no domínio da magnitude da STFT. Um codificador incorpora uma mensagem binária no espectrograma de magnitude de um clipe de áudio (a fase é preservada do sinal limpo); um decodificador recupera a mensagem sob uma ampla variedade de ataques de processamento de sinal, codecs neurais, denoising e vocoder.
Este repositório é um fork do TimbreWatermarking (NDSS 2024), estendido com:
watermarking_model/ — todo o código do modelo de marca d'água:
arquitetura (model/), treinamento (train.py), simulação de ataques
(distortions/, utils/distortions.py), avaliação
(eval/) e scripts de exportação/experimentos (scripts/).Requer Python 3.8.
As dependências de terceiros incluídas abaixo não estão empacotadas neste repositório. Elas são necessárias apenas para os ataques FACodec/denoiser/TiCodec especificamente — não para a verificação básica de embed/decode (veja Inferência abaixo). Se você quiser executar esses ataques, clone os repositórios públicos você mesmo nos caminhos mostrados:
git clone https://github.com/lifeiteng/naturalspeech3_facodec.git watermarking_model/naturalspeech3_facodec
git clone https://github.com/modelscope/ClearerVoice-Studio.git watermarking_model/ClearerVoice-Studio
git clone https://github.com/y-ren16/TiCodec.git watermarking_model/codecs/ticodec_repo
As dependências Python para o pipeline principal de treino/avaliação estão listadas em
watermarking_model/requirements.txt.
Para a renderização de ataques de codec (EnCodec, TiCodec), recomendamos um ambiente
conda separado por codec, uma vez que cada um tem as suas próprias — por vezes
conflituantes — dependências; consulte as instruções de configuração na docstring de cada script
(codecs/encode_*.py).
O treino e a avaliação utilizam o LibriSpeech (divisões de treino + teste) e, para as
experiências zero-shot de domínio cruzado, o LJSpeech. Os caminhos dos conjuntos de dados são definidos no
campo path.raw_path da configuração de treino de cada experiência
(watermarking_model/config/**/train_*.yaml) e através de --audio_dir nos
scripts de avaliação/exportação — aponte estes para as suas próprias cópias locais do
LibriSpeech e do
LJSpeech.
cd watermarking_model
python3 train.py \
-p config/process.yaml \
-m config/craw/model.yaml \
-t config/craw/train.yaml
Isso treina o modelo completo (camada de distorção robusta + Q-Former + ECC de
repetição) — a configuração usada para os resultados principais do CRAW. O treinamento registra no
Weights & Biases sob o projeto craw; defina
WANDB_ENTITY/faça login via wandb login para sua própria conta primeiro.
O treinamento usa uma semente aleatória fixa (2022, definida em train.py
para random/numpy/torch/torch.cuda) para reprodutibilidade.
A máscara PESQ é aplicada no momento de exportação/inferência, não durante
o treinamento — consulte scripts/export_watermarked_dynamic.py --grad_mode spect_ft.
Um checkpoint CRAW pré-treinado (época 20, correspondente aos resultados principais do artigo) está
incluído diretamente nesta submissão — sem necessidade de download — em
watermarking_model/results/craw/ckpt/pth/ (config/craw/model.yaml's
test.model_path aponta para cá).
Para incorporar uma mensagem em um arquivo WAV e imediatamente decodificá-la de volta (sem ataque aplicado) como uma verificação rápida de sanidade:
cd watermarking_model
python3 -m scripts.infer \
-p config/process.yaml \
-m config/craw/model.yaml \
-t config/craw/train.yaml \
--input /path/to/clean.wav \
--output /path/to/watermarked.wav \
--ckpt 20
Isso imprime a mensagem incorporada/decodificada e a precisão de bits. Para a avaliação completa do conjunto de ataques usada no artigo, consulte eval/common_test.py abaixo.
eval/common_test.py executa o conjunto completo de ataques (processamento clássico de sinais, codecs neurais, denoisers, vocoders) contra um checkpoint treinado e reporta a precisão de decodificação e a fidelidade por ataque (SI-SNR, PESQ, STOI).
eval/tpr_eval.py calibra um limiar de detecção por modelo a partir das taxas de falsos positivos em áudio limpo e reporta o TPR em um FPR compartilhado; eval/compare_tpr.py agrega os resultados entre experimentos nas tabelas comparativas do artigo com testes de significância por bootstrap pareado. scripts/plot_ablation_sweep.py, scripts/plot_fidelity_sweep.py, scripts/visualize_mask.py e scripts/visualize_mask_zoom.py geram as figuras do artigo.
Se você usar este código, por favor cite:
@article{chernin2026craw,
title={CRAW: Codec Robust Audio Watermarking},
author={Chernin, David and Fetaya, Ethan},
journal={arXiv preprint arXiv:2609.03107},
year={2026},
url={https://arxiv.org/abs/2609.03107}
}
Baseado em TimbreWatermarking (NDSS 2024). Utiliza NaturalSpeech3 FACodec, ClearerVoice-Studio, TiCodec e EnCodec para ataques de codec/denoiser.