dot (ou Deepfake Offensive Toolkit) permet de créer en temps réel des deepfakes contrôlables prêts pour l'injection dans des caméras virtuelles. dot a été créé pour effectuer des tests de pénétration contre, par exemple, les systèmes de vérification d'identité et de visioconférence, à l'usage des analystes de sécurité, des membres d'équipes Rouges et des chercheurs en biométrie.

Si vous souhaitez en savoir plus sur l'utilisation de dot pour les tests de pénétration avec des deepfakes dans l'industrie, lisez ces articles de The Verge et Biometric Update.

dot est développé à des fins de recherche et de démonstration. En tant qu'utilisateur final, vous avez la responsabilité de respecter toutes les lois applicables lorsque vous utilisez ce programme. Les auteurs et les développeurs contributeurs déclinent toute responsabilité et ne sont pas responsables de toute utilisation abusive ou de tout dommage causé par l'utilisation de ce programme.

Comment ça fonctionne

En bref, dot fonctionne comme suit :

flowchart LR;
    A(flux de votre webcam) --> B(ensemble de deepfakes en temps réel);
    B(ensemble de deepfakes en temps réel) --> C(injection de caméra virtuelle);

Tous les deepfakes pris en charge par dot ne nécessitent pas d'apprentissage supplémentaire. Ils peuvent être utilisés en temps réel, à la volée, sur une photo qui devient la cible de l'usurpation d'identité faciale. Méthodes prises en charge :

• échange de visage (via SimSwap), aux résolutions 224 et 512
  • avec option de super-résolution faciale (via GPen) aux résolutions 256 et 512
• échange de visage de moindre qualité (via OpenCV)
• FOMM, First Order Motion Model pour l'animation d'images

Exécution de dot

Interface graphique

Installation de l'interface graphique

Téléchargez et exécutez l'exécutable dot pour votre système d'exploitation :

• Windows (testé sur Windows 10 et 11) :

  • Téléchargez dot.zip depuis ce lien, décompressez-le puis exécutez dot.exe

• Ubuntu :

  • À faire

• Mac (testé sur Apple M2 Sonoma 14.0) :

  • Téléchargez dot-m2.zip depuis ce lien et décompressez-le
  • Ouvrez le terminal et exécutez xattr -cr dot-executable.app pour supprimer les attributs étendus
  • En cas d'erreur de lecture de la caméra :
    • Cliquez droit et choisissez Afficher le contenu du paquet
    • Exécutez dot-executable depuis le dossier Contents/MacOS

Utilisation de l'interface graphique

Exemple d'utilisation :

1. Spécifiez l'image source dans le champ source.
2. Spécifiez l'identifiant de la caméra dans le champ target. Dans la plupart des cas, 0 est l'identifiant correct.
3. Spécifiez le fichier de configuration dans le champ config_file. Sélectionnez une configuration par défaut dans la liste déroulante ou utilisez un fichier personnalisé.
4. (Optionnel) Cochez la case use_gpu pour utiliser le GPU.
5. Cliquez sur le bouton RUN pour démarrer le deepfake.

Pour plus d'informations sur chaque champ, cliquez sur le menu Help/Usage.

Regardez la vidéo de démonstration suivante pour mieux comprendre l'interface :

Ligne de commande

Installation en ligne de commande

Installer les prérequis

• Linux

  sudo apt install ffmpeg cmake
  

• MacOS

  brew install ffmpeg cmake
  

• Windows

  1. Téléchargez et installez Visual Studio Community depuis ici
  2. Installez le développement Desktop en C++ depuis l'installateur Visual Studio

Créer un environnement Conda

Les instructions supposent que Miniconda est installé sur votre machine. Si ce n'est pas le cas, vous pouvez vous référer à ce lien pour les instructions d'installation.

Avec support GPU

conda env create -f envs/environment-gpu.yaml
conda activate dot

Installez les dépendances torch et torchvision en fonction de la version CUDA installée sur votre machine :

• Installez CUDA 11.8 depuis ce lien

• Installez cudatoolkit depuis conda : conda install cudatoolkit=<cuda_version_no> (remplacez <cuda_version_no> par la version sur votre machine)

• Installez les dépendances torch et torchvision : pip install torch==2.0.1+<cuda_tag> torchvision==0.15.2+<cuda_tag> torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118, où <cuda_tag> est le tag CUDA défini par Pytorch. Par exemple, pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118 pour CUDA 11.8.

  Remarque : torch1.9.0+cu111 peut également être utilisé.

Pour vérifier que torch et torchvision sont installés correctement, exécutez la commande suivante : python -c "import torch; print(torch.cuda.is_available())". Si la sortie est True, les dépendances sont installées avec le support CUDA.

Avec support MPS (Apple Silicon)

conda env create -f envs/environment-apple-m2.yaml
conda activate dot

Pour vérifier que torch et torchvision sont installés correctement, exécutez la commande suivante : python -c "import torch; print(torch.backends.mps.is_available())". Si la sortie est True, les dépendances sont installées avec le support du framework Metal.

Avec support CPU (lent, déconseillé)

conda env create -f envs/environment-cpu.yaml
conda activate dot

Installer dot

pip install -e .

Télécharger les modèles

• Téléchargez les points de contrôle du modèle dot depuis ce lien
• Décompressez le fichier téléchargé à la racine de ce projet

Utilisation en ligne de commande

Exécutez dot --help pour obtenir une liste complète des options disponibles.

1. Simswap

   dot -c ./configs/simswap.yaml --target 0 --source "./data" --use_gpu
   

2. SimSwapHQ

   dot -c ./configs/simswaphq.yaml --target 0 --source "./data" --use_gpu