deep-pwning

Deep-pwning은 코드 중복을 최소화하기 위해 여러 구성 요소로 모듈화되었습니다. 잠재적 분류 작업의 특성이 매우 다르기 때문에 현재 코드 반복은 이미지와 구문(단어 벡터 사용)을 분류하는 데 최적화되어 있습니다.

다음은 Deep-pwning의 현재 반복을 구성하는 코드 모듈입니다.

1. 드라이버(Drivers)

   드라이버는 코드의 주 실행 지점입니다. 여기서 다른 모듈과 구성 요소를 연결하고 적대적 생성 프로세스에 더 많은 사용자 정의를 주입할 수 있습니다.

2. 모델(Models)

   실제 기계 학습 모델 구현이 위치하는 곳입니다. 예를 들어, 제공된 lenet5 모델 정의는 lenet5.py 내의 model() 함수에 있습니다. 네트워크를 다음과 같이 정의합니다.

   root@kitploit:~

      -> 입력
      -> 컨볼루션 레이어 1
      -> 최대 풀링 레이어 1
      -> 컨볼루션 레이어 2
      -> 최대 풀링 레이어 2
      -> 드롭아웃 레이어
      -> 소프트맥스 레이어
      -> 출력
   

   

   LeCun 등 [LeNet-5 컨볼루션 신경망](http://yann.lecun.com/exdb/lenet/)

3. 적대적(Advgen)

   이 모듈은 모델에 대한 적대적 출력을 생성하는 코드를 포함합니다. 각 advgen 클래스에 정의된 run() 함수는 Tensorflow에서 정의된 기계 학습 모델에 대한 여러 미리 정의된 텐서 연산을 포함하는 input_dict를 입력으로 받습니다. 적대적 샘플을 생성하는 모델이 알려진 경우 입력 사전의 변수는 해당 모델 정의를 기반으로 해야 합니다. 반면 모델을 알 수 없는 경우(블랙 박스 생성) 대체 모델을 사용/구현해야 하며, 해당 모델 정의를 사용해야 합니다. 전달해야 하는 변수는 입력 텐서 플레이스홀더 변수와 레이블(종종 x -> 입력 및 y_ -> 레이블로 참조), 모델 출력(종종 y_conv로 참조), 그리고 적대적 이미지의 기반이 되는 실제 테스트 데이터와 레이블입니다.

4. 구성(Config)

   애플리케이션 구성.

5. 유틸리티(Utils)

   다른 곳에 속하지 않는 기타 유틸리티입니다. 데이터 읽기, Tensorflow 큐 입력 처리 등을 위한 도우미 함수를 포함합니다.

애플리케이션과 관련된 리소스 디렉터리는 다음과 같습니다.

1. 체크포인트(Checkpoints)

   Tensorflow를 사용하면 부분 훈련된 모델을 로드하여 훈련을 재개하거나, 완전히 훈련된 모델을 애플리케이션에 로드하여 평가 또는 다른 작업을 수행할 수 있습니다. 이러한 저장된 '체크포인트'는 모두 이 리소스 디렉터리에 저장됩니다.

2. 데이터(Data)

   이 디렉터리는 드라이버 애플리케이션이 입력으로 받는 모든 입력 데이터를 저장합니다.

3. 출력(Output)

   이것은 생성된 적대적 이미지를 포함한 모든 애플리케이션 출력의 출력 디렉터리입니다.

시작하기

설치

Tensorflow 설치 방법에 대한 지침은 https://www.tensorflow.org/versions/r0.8/get_started/os_setup.html 에서 찾을 수 있으며, 설치할 Tensorflow 바이너리를 선택할 수 있습니다.

실행 예제 (MNIST 드라이버 사용)

이전에 훈련된 체크포인트에서 복원하려면 (config/mnist.conf 설정)

처음부터 훈련하려면 (설정에 지정된 폴더에 있는 이전 체크포인트는 덮어쓰여집니다)

작업 목록

• 적대적 샘플 생성에 대한 중요도 맵(saliency map) 방법 구현
• 문헌에서 제안된 일부 방어 예제를 위한 defense 모듈 추가
• Tensorflow 0.9.0으로 업그레이드
• sentiment driver에서 사전 훈련된 word2vec 모델 사용 지원 추가
• models에 SVM 및 로지스틱 회귀 지원 추가 (+ 이를 사용하는 예제 추가)
• 이미지 및 구문 분류기가 아닌 예제 추가
• 더 빠른 훈련 속도를 위한 다중 GPU 훈련 지원 추가

요구 사항

• Tensorflow 0.8.0
• Matplotlib >= 1.5.1
• Numpy >= 1.11.1
• Pandas >= 0.18.1
• Six >= 1.10.0

dpwn은 Tensorflow 0.8.0이 필요합니다. Tensorflow 0.9.0은 몇 가지를 도입합니다.

기여

(멋진 Requests 저장소 kennethreitz의 것을 빌려왔습니다)

• 기능 아이디어나 버그에 대한 논의를 시작하려면 open issues를 확인하거나 새 이슈를 여세요.
• GitHub에서 저장소를 포크하고 master 브랜치(또는 그로부터 분기)에서 변경을 시작하세요.
• 버그가 수정되었거나 기능이 예상대로 작동함을 보여주는 테스트를 작성하세요.
• 풀 리퀘스트를 보내고 병합 및 게시될 때까지 관리자를 귀찮게 하세요. :) 자신을 AUTHORS.md에 추가하는 것을 잊지 마세요.

감사의 말

이 프로젝트에 직간접적으로 기여하고 이 프레임워크에 영감을 준 많은 기계 학습 및 보안 연구자들의 인상적인 작업이 있습니다. 다음은 어떤 식으로든 사용되거나 참조된 리소스의 불완전한 목록입니다.

논문

• Szegedy et al. Intriguing properties of neural networks
• Papernot et al. The Limitations of Deep Learning in Adversarial Settings
• Papernot et al. Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples
• Goodfellow et al. Explaining and Harnessing Adversarial Examples
• Papernot et al. Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples
• Grosse et al. Adversarial Perturbations Against Deep Neural Networks for Malware Classification
• Nguyen et al. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
• Xu et al. Automatically Evading Classifiers: A Case Study on PDF Malware Classifiers
• Kantchelian et al. Evasion and Hardening of Tree Ensemble Classifiers
• Biggio et al. Support Vector Machines Under Adversarial Label Noise
• Biggio et al. Poisoning Attacks against Support Vector Machines
• Papernot et al. Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
• Ororbia II et al. Unifying Adversarial Training Algorithms with Flexible Deep Data Gradient Regularization
• Jin et al. Robust Convolutional Neural Networks under Adversarial Noise
• Goodfellow et al. Deep Learning Adversarial Examples – Clarifying Misconceptions

코드

• tensorflow/tensorflow
• WildML Implementing a CNN for Text Classification in Tensorflow
• wgrathwohl/captcha_crusher
• josecl/cool-php-captcha

데이터셋

• Krizhevsky et al. The CIFAR-10 dataset
• LeCun et al. THE MNIST DATABASE of handwritten digits
• Pang et al. Movie Review Data (v2.0 from Rotten Tomatoes)