fzjcdt/co-weight-driftРеференсная реализация на PyTorch быстрого метода состязательного обучения, предотвращающего катастрофическое переобучение за счёт связанных целевых функций и защиты от дрейфа весов на основе EMA, с оценкой AutoAttack.
Эталонная реализация на PyTorch метода, описанного в вышеуказанной статье. Быстрое состязательное обучение (FAT) страдает от катастрофического переобучения (CO): робастная точность FGSM остаётся высокой, тогда как робастная точность PGD обрушивается в течение пары эпох. Данная кодовая база реализует два вклада статьи:
Робастная точность (%) при полном стандартном AutoAttack (AA) и атаке с ослаблением ограничений (CR), ε = 8/255, ResNet18 (PreActResNet18 на Tiny-ImageNet), среднее ± выборочное стандартное отклонение. Строки базовых методов — это опубликованные результаты FastAT_Benchmark при идентичном протоколе.
| Метод | C10 AA | C10 CR | C100 AA | C100 CR | Tiny AA | Tiny CR |
|---|---|---|---|---|---|---|
| PGD-AT-WA (многошаговый эталон) | 50.49±0.15 | 50.51±0.16 | 26.90±0.17 | 26.87±0.17 | 19.77±0.16 | 19.75±0.13 |
| NuAT | 50.10±0.18 | 50.11±0.19 | 14.41±3.29 | 17.66±0.42 | 10.20±0.44 | 10.19±0.44 |
| LIET | 49.99±0.15 | 49.93±0.15 | 26.64±0.13 | 26.63±0.14 | 19.88±0.09 | 19.86±0.07 |
| FGSM-PGI | 49.89±0.08 | 49.89±0.12 | 26.29±0.16 | 26.31±0.12 | 19.55±0.11 | 19.52±0.12 |
| FGSM-FUAP | 49.73±0.12 | 49.71±0.12 | 25.95±0.08 | 25.94±0.05 | 19.10±0.18 | 19.09±0.19 |
| FGSM-CUAP | 49.55±0.22 | 49.54±0.22 | 25.85±0.50 | 25.83±0.49 | 19.19±0.09 | 19.20±0.11 |
| База + защита (наша) | 50.45±0.20 | 50.44±0.16 | 27.15±0.04 | 27.20±0.07 | 20.47±0.11 | 20.54±0.15 |
Наивысшая точность AutoAttack и CR среди быстрых методов на всех трёх наборах данных при стоимости FAT (~0.7–1.1 ч на запуск на одном A100 против ~2 ч для многошагового эталона). На CIFAR-10 база без защиты — это подбрасывание монеты: 2 из 4 сидов коллапсируют в артефакты CO (AutoAttack 7.5), тогда как выжившие совпадают со строкой с защитой (50.67±0.08) — эффект защиты состоит ровно в устранении этого режима отказа. Примечательно, что компоненты FAB-T и square из AutoAttack находят ноль дополнительных точек на всех наших опубликованных контрольных точках (отсутствие признаков маскирования градиента). Значения по каждому сиду и сырые логи: logs/.
pip install -r requirements.txt
Протестировано с Python 3.12, torch 2.5.1, torchvision 0.20.1, torchattacks 3.5.1, CUDA 12.4, на A100-PCIE-40GB. Каталог autoattack/ в этом репозитории — это вендорная копия, с которой были получены опубликованные результаты (Francesco Croce's AutoAttack); запуск из корня репозитория обеспечивает её приоритет над любой копией, установленной через pip.
train.py реализует метод из статьи; значения по умолчанию соответствуют рецепту для CIFAR-10.
# CIFAR-10 (γ_max=4.0, m_max=2.5, λ_d=0.3, guard θ=0.08) — 4 seeds
bash scripts/train_cifar10.sh 0 # GPU 0, seeds 0 1 2 3
# CIFAR-100 (γ_max=1.25, m_max=4.5, λ_d=0)
bash scripts/train_cifar100.sh 0
# Tiny-ImageNet (PreActResNet18, γ_max=1.0, m_max=2.5, λ_d=0)
bash scripts/train_tiny.sh 0
# or a single run directly (equivalent to the CIFAR-10 script)
python train.py --dataset cifar10 --seed 0 --gpu 0 \
--nuc-max 4.0 --mse-extra 2.5 --lam-d 0.3 --guard val --guard-thr 0.08 \
--out-dir results/cifar10/guard_s0
Каждый запуск записывает train.log (значение val PGD-10 на каждой эпохе для исходных и EMA-весов, строки срабатывания guard), probe.csv (опциональная динамика CO на уровне батча) и best.pth / last.pth / ema_last.pth. best.pth — это эпоха с наибольшим значением валидационного PGD-10 (исходные веса против EMA-весов, при равенстве решает чистая точность).
--guard none отключает guard (незащищённая база; ожидайте подбрасывание монеты CO на CIFAR-10).--init-style bu переключает инициализацию возмущения с используемого в статье свежего half-sign при 0.5ε на 70% ±ε Rademacher / 30% U[−ε, ε].--probe-every 0 отключает диагностические пробы. Учтите, что пробы потребляют RNG и поэтому возмущают траекторию обучения («лотерея инструментирования», описанная в статье) — согласуйте этот флаг с тем выпущенным запуском, с которым вы сравниваете (см. logs/README.md).# complete standard AutoAttack + CR attack, full test set, bs=200
bash scripts/eval.sh results/cifar10/guard_s0 0 # GPU 0, ResNet18
bash scripts/eval.sh results/tiny-imagenet/guard_s0 0 preact18
# or individually
python aa_eval.py --run-dir results/cifar10/guard_s0 --gpu 0 --full # autoattack_full.log
python cr_eval.py --run-dir results/cifar10/guard_s0 --gpu 0 # cr_attack.log
aa_eval.py --full запускает полный стандартный набор (apgd-ce, apgd-t, FAB-T, square) — протокол, лежащий в основе каждого показателя AA в статье. Без --full запускается 2-атаковая dev-версия бенчмарка (apgd-ce + apgd-t), которая на наших моделях отличается не более чем на 0.02.
train.py # coupled FAT + EMA self-anchor guard (the method)
aa_eval.py # AutoAttack evaluation (full suite / 2-attack variant)
cr_eval.py # CR attack evaluation
models/ # ResNet18 / PreActResNet18 (from FastAT_Benchmark)
utils/ # datasets, seeding, logger (from FastAT_Benchmark)
attacks/ # CR attack (from FastAT_Benchmark)
autoattack/ # vendored AutoAttack (Francesco Croce, fra31)
scripts/ # per-dataset training launchers + eval
logs/ # raw logs of every run behind the paper's tables
Идентичен FastAT_Benchmark: ResNet18 (CIFAR-10/100) и PreActResNet18 (Tiny-ImageNet); ε = 8/255; 100 эпох; SGD (lr 0.1, momentum 0.9, weight decay 5e-4) с OneCycleLR; размер батча 128; разбиение 49 000 / 1 000 train / val; label smoothing 0.4; выбор модели по валидационному PGD-10; оценка на полном тестовом наборе с PGD-{10,20,50}, AutoAttack и CR-атакой. Все запуски используют set_seed с детерминированным режимом cudnn.
models/, utils/, CR-атака в attacks/) и все результаты базовых методов взяты из FastAT_Benchmark — пожалуйста, цитируйте его, если вы используете сравнительные числа.autoattack/ — это AutoAttack от Francesco Croce (включён без изменений).Статья находится на рецензировании. Если вы используете этот код, пожалуйста, цитируйте её по названию, пока не станет доступна запись BibTeX: