Certified Unlearning for Neural Networks

このリポジトリには、論文「Certified Unlearning for Neural Networks」(ICML 2025) の実装が含まれています。

手法

PABI (Privacy Amplification by Iteration): 論文における Gradient Clipping
DP-SGD: 論文に記載されているグループプライバシーを使用
Contractive Coefficients: 論文における Model Clipping
DP-Baseline: 論文における Output Perturbation
再学習

インストール

# Clone the repository
git clone https://github.com/stair-lab/certified-unlearning-neural-networks-icml-2025.git
cd certified-unlearning-neural-networks-icml-2025

# alternatively use conda
python -m venv venv
source venv/bin/activate

pip install -r requirements.txt

プロジェクト構成

.
├── src/
│   ├── data/
│   │   ├── base_datamodule.py     # Base data loading functionality
│   │   ├── cifar_dataset.py       # CIFAR-10/100 data loaders
│   │   ├── mnist_dataset.py       # MNIST data loader
│   │   └── datamodule.py          # Data module factory
│   ├── models/
│   │   ├── model.py               # Model factory
│   │   ├── tiny_net.py             
│   │   └── two_layer_net.py        
│   ├── training/
│   │   └── trainer.py             # Main training/unlearning logic
│   └── utils/
│       ├── dp.py                  
│       └── utils.py               
├── experiment.py                  # Main experiment runner
├── run_exp.py                     # Multi-GPU experiment launcher
├── feature_extractor.py           # Extract ResNet-18 backbone features

実験設定

このリポジトリには、以下のディレクトリにあらかじめ設定された実験が含まれています:

budget_curve_runs/: プライバシー予算分析実験 - 図1
convergence_curve_runs/: 収束解析実験 - 図2
dp_sgd_runs/: DP-SGDおよびベースライン実験 - 図3
eps_sweep_runs/: プライバシーパラメータ（ε）スイープ実験 - 図4（付録）

使い方

単一実験の実行

特定の設定で単一の実験を実行するには:

python experiment.py --config dp_sgd_runs/dp-sgd-cifar10-fc/1tmh6p2f_config.yaml

複数実験の実行

複数の実験をGPU上で並列に実行するには:

python run_exp.py -n <num_gpus> -e <experiment_dir> [--offset <gpu_offset>] [-j <jobs_per_gpu>]

パラメータ:

-n: 使用するGPU数
-e: 実験設定を含むディレクトリ
--offset: GPUインデックスのオフセット（デフォルト: 0）
-j: GPUあたりの並行ジョブ数（デフォルト: 1）

特徴抽出

転移学習実験用

python feature_extractor.py

これにより、CIFAR-10/100からResNet-18の特徴を抽出し、cifar10_featureおよびcifar100_featureデータセット設定で使用できるように保存します。

引用

本コードを研究で使用する場合は、以下のように引用してください:

@article{koloskova2025certified,
  title={Certified Unlearning for Neural Networks},
  author={Koloskova, Anastasia and Allouah, Youssef and Jha, Animesh and Guerraoui, Rachid and Koyejo, Sanmi},
  journal={arXiv preprint arXiv:2506.06985},
  year={2025}
}

certified-unlearning-neural-networks-icml-2025

人気