
양자화된 신경망의 프라이버시 평가를 위한 연구 코드베이스: PTQ/QAT 환경에서 대상/섀도 모델을 훈련하고, DP 방어를 적용한 상태에서 멤버십 추론 공격(MIA, RMIA, 화이트박스)을 실행합니다.
논문 "Revisiting Privacy Risks in Quantized Deep Neural Networks"의 공식 코드입니다.
이 저장소는 양자화된 심층 신경망의 프라이버시 평가를 위한 연구 코드베이스를 포함합니다. 일반적인 학습 후 양자화(PTQ) 및 양자화 인식 학습(QAT) 설정에서 대상/그림자 모델을 학습하고, 중간 공격 특징을 디스크에 저장하며, 멤버십 추론 관련 공격 및 지표 모음(예: MIA, RMIA, WhiteBoxMIA, WhiteBoxMIA_Partial)을 실행하는 기능을 지원합니다. 이 코드베이스는 또한 방어된 모델을 위한 Opacus 기반 차분 프라이버시 학습 경로(예: 제공된 예제 스크립트의 dropout / DP / adversarial 변형)를 통합합니다.
평가 워크플로는 두 단계로 나뉩니다: (1) 학습 (--training target|shadow|both)을 통해 save/<attack_method>/... 아티팩트를 생성하고, (2) 공격 전용 평가 (--training None)를 통해 저장된 사후 확률/모델을 불러와 result/<attack_method>/... 아래에 지표를 보고합니다.
일반적인 실험에는 NVIDIA GPU 지원이 있는 머신이 필요합니다. PyTorch에는 CUDA 12.1 휠을 권장합니다(아래 명령 참조). requirements.txt에 고정된 버전과 일치하도록 Python 3.10을 사용하세요.
대부분의 요구 사항은 다음으로 설치할 수 있습니다:
conda create --name priv-qdnn python=3.10
conda activate priv-qdnn
pip install -r requirements.txt --extra-index-url https://download.pytorch.org/whl/cu121
참고:
--extra-index-url 없이 pip install -r requirements.txt를 실행하세요(플랫폼에 CPU 휠이 PyPI에 있는 경우).aimet-torch 설치가 필요합니다(quantization/PTQ/adaround.py 참조). 플랫폼에서 pip가 aimet-torch를 해석할 수 없다면, 먼저 Qualcomm AIMET 설치 지침을 따른 뒤 나머지 종속성을 설치하세요.데이터셋은 이 저장소에 포함되어 있지 않습니다. 네 가지가 지원되며, 각각 필요한 설정의 정도가 다릅니다.
둘 다 처음 사용할 때 data/로 가져오므로 수동 단계가 필요하지 않습니다. 실험을 처음 실행할 때 머신에 네트워크 접근 권한이 있는지만 확인하면 됩니다.
data/load_data.py의 torchvision.datasets.CIFAR100(..., download=True)에 의해 다운로드됩니다.data/cinic10.py의 fetch_cinic10()에 의해 다운로드되고 압축이 해제됩니다. 대용량 아카이브이므로 첫 실행 시 시간과 디스크 공간을 충분히 확보하세요.이 두 가지는 자동 다운로더가 없습니다. 원본 아카이브를 가져와 data/<dataset>/raw/ 아래에 압축을 푼 다음, 로더가 기대하는 .npy 파일로 변환하세요.
| 데이터셋 | 원본 아카이브 |
|---|---|
| Texas100 | https://www.comp.nus.edu.sg/~reza/files/dataset_texas.tgz |
| Location | https://github.com/privacytrustlab/datasets (location 세트) |
압축 해제 후 예상되는 레이아웃:
data/texas/raw/texas/100/feats
data/texas/raw/texas/100/labels
data/location/raw/bangkok
그런 다음 train/test 분할을 생성합니다:
python data/prepare_tabular.py --dataset both
--dataset는 texas, location, both를 허용합니다. --raw_root를 사용하여 다른 위치를 지정하고(기본값 data/<dataset>/raw), --test_size / --seed로 분할을 변경할 수 있습니다(기본값 0.2 및 41).
이 명령은 data/tabular_datasets.py가 로드하는 파일들을 작성합니다:
data/<dataset>/{train_feats,train_labels,test_feats,test_labels}.npy
이 .npy 파일들이 없으면 --dataset_name texas 또는 --dataset_name location을 사용하는 모든 실행은 누락된 경로를 명시하는 FileNotFoundError와 함께 실패합니다.
attack: 공격 구현 및 평가 진입점 (MIA, RMIA, WhiteBox_MIA 등).training: 대상/그림자 학습 루프 및 방어된 학습 변형 (DP / 적대적 분기, 유틸리티).model: 학습 및 공격에서 사용되는 모델 정의와 래퍼.quantization: PTQ/QAT 양자화 파이프라인 및 헬퍼 (AIMET AdaRound 통합 포함).data: 데이터셋 다운로드 헬퍼, 준비 스크립트, PyTorch Dataset 래퍼.dp: DP 학습 경로에서 사용되는 차분 프라이버시 유틸리티.example: 엔드투엔드 실험용 셸 스크립트 (MIA 데이터 수집 + 공격 전용 평가 / 방어).experiment: 논문 분석의 기반이 되는 메커니즘 연구 — LOOD 스타일 암기 점수 (memorization.py) 및 그래디언트 노름 양자화 테이블 (grad_norm_quantization_table.py, grad_norm_range_normalized_table.py).plot: 논문용 그림 및 테이블 생성; 출력 PDF와 CSV는 plot/figures/에 저장됩니다.main.py: 통합 CLI 진입점 (--training으로 학습 모드와 공격 전용 모드 전환).parameter_parser.py: 모든 명령줄 인수와 기본값.extract_last_layer_grad_norm.py: 멤버 및 비멤버 부분집합에 대한 마지막 계층 분류기 그래디언트의 샘플별 L2 노름으로, experiment/ 테이블에서 재사용됩니다.다음 패턴은 저장소의 의도된 워크플로와 일치합니다: MIA로 학습하여 save/MIA/...를 채운 후, --training None으로 MIA를 실행합니다.
# Stage 1: train target + shadow and save MIA artifacts
python main.py \
--dataset_name cifar100 \
--net_name resnet18 \
--quantization hawq --a_bit 8 --w_bit 8 \
--attack_method MIA \
--training both \
--num_epochs 50 --trials 3 \
--device cuda:0
# Stage 2: attack-only MIA evaluation (confidence threshold attack only)
python main.py \
--dataset_name cifar100 \
--net_name resnet18 \
--quantization hawq --a_bit 8 --w_bit 8 \
--attack_method MIA \
--compleaknr_attacks confidence \
--training None \
--trials 3 \
--device cuda:0
각 공격 실행마다 콘솔은 해당 공격 구현의 진행 상황을 출력합니다(예: MIA의 경우 시행별 지표, 공격 전용 실행은 result/MIA/...에 저장됨).
--compleaknr_attacks는 공격 전용 MIA 항목을 제어합니다:
confidence — 신뢰도 임계값 공격만 실행합니다. 저장된 사후확률만 사용하므로 빠르고 모델 파일이 필요 없습니다.all (인자의 기본값) — 여섯 가지 블랙박스 변형을 모두 실행합니다: 신뢰도 임계값, 엔트로피 임계값, 수정된 엔트로피, 두 가지 학습 기반 공격(사후확률에 대한 LR/RF, 그리고 사후확률과 레이블에 대한 LR/RF), 그리고 SAMIA.두 모드는 요구 사항이 다르다는 점에 유의하세요. 처음 다섯 가지 변형은 저장된 사후확률만 읽지만, SAMIA는 추가로 저장된 대상 및 섀도 모델을 save/MIA/.../target/<trial>/model.pth와 save/MIA/.../shadow/0/model.pth에서 로드하고, 교란된 입력에 대해 질의하여 출력 민감도를 추정합니다. 이는 모델 출력만 사용한다는 점에서 여전히 블랙박스이지만(그래디언트나 내부 활성화는 사용하지 않음), 해당 체크포인트가 존재해야 하며 상당히 느립니다.
--compleaknr_attacks를 생략하면 여섯 가지가 모두 실행됩니다. 빠른 경로만 원하거나 모델 체크포인트를 사용할 수 없을 때는 위와 같이 confidence를 명시적으로 전달하세요.
다음을 통해 더 큰 규모의 스윕도 재현할 수 있습니다:
bash example/MIA_cifar100_train.sh
bash example/MIA_cinic10_train.sh
bash example/defense/run_adv.sh
bash example/defense/run_dp.sh
bash example/defense/run_dropout.sh
bash example/RMIA.sh
클러스터에 맞게 해당 스크립트 내의 디바이스 ID(cuda:*)와 하이퍼파라미터를 수정하세요.
아래는 공격 전용 모드에서 --compleaknr_attacks confidence를 사용하는 방어된 모델에 대한 최소 예시입니다.
# Dropout defense (resnet18_drop010): train target, then black-box confidence attack
python main.py --training target --attack_method MIA --dataset cifar100 --net_name resnet18_drop010 --quantization Original --a_bit 32 --w_bit 32 --trials 1 --device cuda:0
python main.py --attack_method MIA --compleaknr_attacks confidence --dataset_name cifar100 --net_name resnet18_drop010 --quantization Original --a_bit 32 --w_bit 32 --training None --trials 1 --device cuda:0
# DP defense (resnet18_dp, eps=5.0): train target, then black-box confidence attack
python main.py --training target --attack_method MIA --dataset cifar100 --net_name resnet18_dp --quantization Original --a_bit 32 --w_bit 32 --num_epochs 20 --batch_size 512 --eps 5.0 --trials 1 --device cuda:0
python main.py --attack_method MIA --compleaknr_attacks confidence --dataset cifar100 --net_name resnet18_dp --quantization Original --a_bit 32 --w_bit 32 --training None --eps 5.0 --trials 1 --device cuda:0
# Adversarial defense (resnet18_adversarial): train target, then black-box confidence attack
python main.py --training target --attack_method MIA --dataset cifar100 --net_name resnet18_adversarial --quantization Original --a_bit 32 --w_bit 32 --num_epochs 50 --trials 1 --device cuda:0
python main.py --attack_method MIA --compleaknr_attacks confidence --dataset cifar100 --net_name resnet18_adversarial --quantization Original --a_bit 32 --w_bit 32 --training None --trials 1 --device cuda:0
전체 양자화 방법 및 비트 폭에 대한 스윕을 수행하려면 다음을 사용하십시오:
example/defense/run_dropout.sh, example/defense/run_dp.sh, example/defense/run_adv.sh.
이 저장소는 두 가지 화이트박스 공격 진입점을 제공합니다:
WhiteBoxMIA: 섀도 기반 화이트박스 MIA (섀도 특징으로 공격 모델을 학습하고 대상 특징으로 평가).WhiteBoxMIA_Partial: 대상 전용 분할 모드 (섀도 모델 불필요; 대상 특징을 학습/테스트용으로 분할).두 방식 모두 save/MIA/...에서 저장된 모델을 로드하므로, 1단계가 완료된 후에 실행하십시오:
# WhiteBoxMIA (shadow mode)
python main.py \
--dataset_name cifar100 \
--net_name resnet18 \
--quantization hawq --a_bit 8 --w_bit 8 \
--attack_method WhiteBoxMIA \
--training None \
--trials 3 \
--device cuda:0
# WhiteBoxMIA_Partial (target-only split mode)
python main.py \
--dataset_name cifar100 \
--net_name resnet18 \
--quantization hawq --a_bit 8 --w_bit 8 \
--attack_method WhiteBoxMIA_Partial \
--training None \
--trials 3 \
--device cuda:0
결과는 result/WhiteBoxMIA/... 및 result/WhiteBoxMIA_Partial/...에 기록됩니다.