ВЛИЯНИЕ ВСТРАИВАНИЯ ВОДЯНЫХ ЗНАКОВ В АУДИО НА КОНТРМЕРЫ АНТИ-СПУФИНГА

Этот репозиторий содержит официальную реализацию нашей статьи: THE IMPACT OF AUDIO WATERMARKING ON AUDIO ANTI-SPOOFING COUNTERMEASURES . Интерактивное демо и визуализации доступны здесь.

Что внутри

Набор данных Watermark-Spoofing (WSD) — скрипты и файлы меток для создания наших наборов с водяными знаками для оценки и обучения.
Knowledge-Preserving Watermark Learning (KPWL) — скрипты для воспроизведения фреймворка KPWL и экспериментов.

Набор данных Watermark-Spoofing (WSD)

Мы формируем WSD из публичных корпусов и сравниваем его с исходными наборами данных:

ASVspoof 2019 (LA) — обучающий раздел, используемый для обучения модели. Скачать: https://datashare.is.ed.ac.uk/handle/10283/3336
ASVspoof 2021 (LA & DF) — используется для оценки.

-LA: https://zenodo.org/record/4837263 -DF: https://zenodo.org/record/4835108
In-the-Wild — используется для оценки. Скачать: https://deepfake-total.com/in_the_wild

Типичная настройка: обучение на ASVspoof 2019 LA (train); оценка на ASVspoof 2021 LA/DF (eval) и In-the-Wild.

Утилиты генерации данных находятся в data_generation/. Следуйте README в этой папке, чтобы воспроизвести WSD и его варианты (разбиения на видимые/невидимые водяные знаки).

Установка (KPWL)

# 1) Clone
git clone https://github.com/Alphawarheads/Watermark_Spoofing.git
cd Watermark_Spoofing

# 2) (Optional) Use the bundled Fairseq snapshot
unzip fairseq-a54021305d6b3c4c5959ac9395135f63202db8f1.zip

# 3) Conda env
conda create -n kpwl python=3.7 -y
conda activate kpwl

# 4) PyTorch (adjust CUDA/ROCm wheels as needed)
pip install torch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1

# 5) Fairseq (editable)
cd fairseq-a54021305d6b3c4c5959ac9395135f63202db8f1
pip install --editable ./
cd ..

# 6) Project requirements
pip install -r requirements.txt

Примечания: основные эксперименты обучались на 4 GPU/DCU.

Предобученный wav2vec 2.0 XLS-R (300M)

Скачайте веса XLS-R здесь: https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr

Оценка

Приведённые ниже команды создают три файла score.txt (по одному для каждого оценочного набора). Эти оценки затем используются для вычисления EER (%).

Совет: Всегда используйте полные флаги --eval_track и --eval_output (не сокращайте до --eval).

LA 2021

Оригинал (без водяных знаков):

TRACK=LA
PROTOCOLS=/public/home/qinxy/.../ASVspoof2021.LA.cm.eval.trl.txt
DATABASE_PATH=/public/home/qinxy/AudioData/Antispoofing/ASVspoof2021/ASVspoof2021_LA_eval/flac/
EVAL_OUTPUT=/public/home/qinxy/.../test2/${COMMENT}_eval_ori_LA21.txt
CUDA_VISIBLE_DEVICES=0,1,2,3 \
torchrun --standalone --nproc_per_node=4 \
    main_multinodes.py --track="$TRACK" --is_eval --eval \
  --model_path models/model_4dcu_kpwl.pth \
  --protocols_path="$PROTOCOLS" \
  --database_path="$DATABASE_PATH" \
  --eval_output="$EVAL_OUTPUT"

Watermark-Spoof (видимые):

TRACK=LA
PROTOCOLS=/public/home/qinxy/zhangzs/watermarking/The-A-Files-master/protocols/tagged/LA21/protocol_wm_75_only.txt
DATABASE_PATH=/public/home/qinxy/AudioData/Antispoofing/LA21_phase1/
EVAL_OUTPUT=/public/home/qinxy/.../test2/${COMMENT}_eval_wm_seen_LA21.txt

Watermark-Spoof (невидимые):

TRACK=LA
PROTOCOLS=/public/home/qinxy/zhangzs/watermarking/The-A-Files-master/protocols/tagged_phase2/LA21/split/protocol_wm_75_only.txt
DATABASE_PATH=/public/home/qinxy/AudioData/Antispoofing/LA21_phase2/
EVAL_OUTPUT=/public/home/qinxy/.../test2/${COMMENT}_eval_wm_unseen_LA21.txt

См. eval.sh для полного набора скриптов оценки.

Тестирование с нашими предобученными моделями:

Объединение результатов и оценка

_wm_ в имени файла = оценки, полученные на аудио с водяными знаками.
_ori_ в имени файла = оценки, полученные на оригинальном (без водяных знаков) аудио.

# If auto_merge_scores is not in the same file, import it:
# from your_module import auto_merge_scores

TRACK = "ITW"     # one of {"LA21", "DF21", "ITW"}
comment = "ori"   # label used in your score filenames

outs = auto_merge_scores(
    track=TRACK,
    score_wm_path=f"/public/.../test2/{comment}_train_eval_wm_SLS_{TRACK}.txt",
    score_ori_path=f"/public/.../test2/{comment}_train_eval_ori_SLS_{TRACK}.txt",
)

print("Output Results:")
for p in outs:
    print(" -", p)

См. README в generate_data/ для подробностей о том, как создаются протоколы.

Обучение

Предварительное обучение базовой модели (оригинал)

CUDA_VISIBLE_DEVICES=0,1,2,3 \
torchrun --standalone --nproc_per_node=4 \
  main_multinodes.py \
  --track=DF --lr=0.000001 --batch_size=5 --loss=WCE \
  --num_epochs=50 --comment 4dcu_baseline

Тонкая настройка KPWL

CUDA_VISIBLE_DEVICES=0,1,2,3 \
torchrun --standalone --nproc_per_node=4 \
    main_kpwl.py \
  --eval_track=DF --lr=5e-7 --batch_size=5 --num_epochs=2 \
  --model_path best_model.pth \
  --comment model_4dcu_kpwl

Благодарности и сторонний код

Этот репозиторий основан на следующих проектах с открытым исходным кодом и включает их модифицированные компоненты:

SLSforASVspoof-2021-DF — https://github.com/QiShanZhang/SLSforASVspoof-2021-DF.git

The-A-Files — https://github.com/pawel-kaczmarek/The-A-Files.git

Части кода адаптированы из этих репозиториев. Весь сторонний код остаётся под его исходными лицензиями; пожалуйста, обратитесь к файлам LICENSE вышестоящих проектов и сохраните все применимые уведомления об авторских правах. Если какой-либо атрибуции или детали лицензирования не хватает, сообщите нам, и мы оперативно это исправим.

Контакт / Цитирование Если вы используете этот репозиторий или WSD/KPWL в своих исследованиях, пожалуйста, цитируйте статью и укажите ссылку на этот репозиторий.

Watermark_Spoofing

Популярное