Сертифицированное разобучение для нейронных сетей

Этот репозиторий содержит реализацию для статьи «Certified Unlearning for Neural Networks» (ICML 2025).

Методы

PABI (Privacy Amplification by Iteration): Gradient Clipping в статье
DP-SGD: С групповой конфиденциальностью, как описано в статье
Contractive Coefficients: Model Clipping в статье
DP-Baseline: Output Perturbation в статье
Повторное обучение

Установка

# Clone the repository
git clone https://github.com/stair-lab/certified-unlearning-neural-networks-icml-2025.git
cd certified-unlearning-neural-networks-icml-2025

# alternatively use conda
python -m venv venv
source venv/bin/activate

pip install -r requirements.txt

Структура проекта

.
├── src/
│   ├── data/
│   │   ├── base_datamodule.py     # Base data loading functionality
│   │   ├── cifar_dataset.py       # CIFAR-10/100 data loaders
│   │   ├── mnist_dataset.py       # MNIST data loader
│   │   └── datamodule.py          # Data module factory
│   ├── models/
│   │   ├── model.py               # Model factory
│   │   ├── tiny_net.py             
│   │   └── two_layer_net.py        
│   ├── training/
│   │   └── trainer.py             # Main training/unlearning logic
│   └── utils/
│       ├── dp.py                  
│       └── utils.py               
├── experiment.py                  # Main experiment runner
├── run_exp.py                     # Multi-GPU experiment launcher
├── feature_extractor.py           # Extract ResNet-18 backbone features

Конфигурации экспериментов

Репозиторий включает предварительно настроенные эксперименты в следующих каталогах:

budget_curve_runs/: эксперименты по анализу бюджета конфиденциальности - Рисунок 1
convergence_curve_runs/: эксперименты по анализу сходимости - Рисунок 2
dp_sgd_runs/: эксперименты DP-SGD и базовые эксперименты - Рисунок 3
eps_sweep_runs/: эксперименты с перебором параметра конфиденциальности (ε) - Рисунок 4 (в Приложении)

Использование

Запуск одного эксперимента

Для запуска одного эксперимента с конкретной конфигурацией:

python experiment.py --config dp_sgd_runs/dp-sgd-cifar10-fc/1tmh6p2f_config.yaml

Запуск нескольких экспериментов

Для запуска нескольких экспериментов параллельно на нескольких GPU:

python run_exp.py -n <num_gpus> -e <experiment_dir> [--offset <gpu_offset>] [-j <jobs_per_gpu>]

Параметры:

-n: количество используемых GPU
-e: каталог, содержащий конфигурации экспериментов
--offset: смещение индекса GPU (по умолчанию: 0)
-j: количество одновременных задач на GPU (по умолчанию: 1)

Извлечение признаков

Для экспериментов по трансферному обучению:

python feature_extractor.py

Этот скрипт извлекает признаки ResNet-18 из CIFAR-10/100 и сохраняет их для использования с конфигурациями наборов данных cifar10_feature и cifar100_feature.

Цитирование

Если вы используете этот код в своих исследованиях, пожалуйста, цитируйте:

@article{koloskova2025certified,
  title={Certified Unlearning for Neural Networks},
  author={Koloskova, Anastasia and Allouah, Youssef and Jha, Animesh and Guerraoui, Rachid and Koyejo, Sanmi},
  journal={arXiv preprint arXiv:2506.06985},
  year={2025}
}

certified-unlearning-neural-networks-icml-2025

Популярное