डॉट (जिसे डीपफेक आक्रामक टूलकिट भी कहा जाता है) वास्तविक समय में नियंत्रणीय डीपफेक को वर्चुअल कैमरों में इंजेक्शन के लिए तैयार करता है। डॉट को उदाहरण के लिए, पहचान सत्यापन और वीडियो कॉन्फ्रेंसिंग प्रणालियों के विरुद्ध पैठ परीक्षण करने के लिए बनाया गया है, जिसका उपयोग सुरक्षा विश्लेषकों, रेड टीम सदस्यों और बायोमेट्रिक्स शोधकर्ताओं द्वारा किया जाता है।

यदि आप उद्योग में डीपफेक के साथ पैठ परीक्षणों के लिए डॉट के उपयोग के बारे में अधिक जानना चाहते हैं, तो ये लेख पढ़ें: The Verge और Biometric Update.

डॉट अनुसंधान और प्रदर्शन उद्देश्यों के लिए विकसित किया गया है। अंतिम उपयोगकर्ता के रूप में, इस प्रोग्राम का उपयोग करते समय सभी लागू कानूनों का पालन करना आपकी जिम्मेदारी है। लेखक और योगदान देने वाले डेवलपर्स कोई देयता नहीं लेते हैं और इस प्रोग्राम के उपयोग से होने वाले किसी भी दुरुपयोग या क्षति के लिए जिम्मेदार नहीं हैं।

यह कैसे काम करता है

संक्षेप में, डॉट इस प्रकार काम करता है

flowchart LR;
    A(your webcam feed) --> B(suite of realtime deepfakes);
    B(suite of realtime deepfakes) --> C(virtual camera injection);

डॉट द्वारा समर्थित सभी डीपफेक को अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती है। इनका उपयोग वास्तविक समय में तुरंत एक फोटो पर किया जा सकता है जो चेहरे के प्रतिरूपण का लक्ष्य बन जाता है। समर्थित विधियाँ:

• फेस स्वैप (SimSwap के माध्यम से), रिज़ॉल्यूशन 224 और 512 पर
  • चेहरे की सुपररिज़ॉल्यूशन के विकल्प के साथ (GPen के माध्यम से) रिज़ॉल्यूशन 256 और 512 पर
• निम्न गुणवत्ता फेस स्वैप (OpenCV के माध्यम से)
• FOMM, छवि एनीमेशन के लिए प्रथम क्रम गति मॉडल

डॉट चलाना

ग्राफिकल इंटरफेस

GUI स्थापना

अपने OS के लिए dot निष्पादन योग्य डाउनलोड करें और चलाएँ:

• Windows (Windows 10 और 11 पर परीक्षण किया गया):

  • dot.zip यहाँ से डाउनलोड करें, इसे अनज़िप करें और फिर dot.exe चलाएँ

• Ubuntu:

  • ToDo

• Mac (Apple M2 Sonoma 14.0 पर परीक्षण किया गया):

  • dot-m2.zip यहाँ से डाउनलोड करें और अनज़िप करें
  • टर्मिनल खोलें और xattr -cr dot-executable.app चलाएँ ताकि किसी भी विस्तारित विशेषताओं को हटाया जा सके
  • कैमरा पढ़ने में त्रुटि के मामले में:
    • राइट क्लिक करें और Show Package Contents चुनें
    • Contents/MacOS फ़ोल्डर से dot-executable चलाएँ

GUI उपयोग

उपयोग उदाहरण:

1. source फ़ील्ड में स्रोत छवि निर्दिष्ट करें।
2. target फ़ील्ड में कैमरा आईडी नंबर निर्दिष्ट करें। अधिकांश मामलों में, 0 सही कैमरा आईडी है।
3. config_file फ़ील्ड में कॉन्फ़िग फ़ाइल निर्दिष्ट करें। ड्रॉपडाउन सूची से एक डिफ़ॉल्ट कॉन्फ़िगरेशन चुनें या एक कस्टम फ़ाइल का उपयोग करें।
4. (वैकल्पिक) GPU का उपयोग करने के लिए use_gpu फ़ील्ड चेक करें।
5. डीपफेक शुरू करने के लिए RUN बटन पर क्लिक करें।

प्रत्येक फ़ील्ड के बारे में अधिक जानकारी के लिए, Help/Usage मेनू पर क्लिक करें।

इंटरफ़ेस की बेहतर समझ के लिए निम्नलिखित डेमो वीडियो देखें

कमांड लाइन

CLI स्थापना

पूर्वापेक्षाएँ स्थापित करें

• Linux

  sudo apt install ffmpeg cmake
  

• MacOS

  brew install ffmpeg cmake
  

• Windows

  1. Visual Studio Community यहाँ से डाउनलोड और इंस्टॉल करें
  2. Visual Studio इंस्टालर से C++ के साथ डेस्कटॉप डेवलपमेंट इंस्टॉल करें

कोंडा वातावरण बनाएँ

ये निर्देश मानते हैं कि आपकी मशीन पर Miniconda स्थापित है। यदि नहीं, तो आप स्थापना निर्देशों के लिए इस लिंक का संदर्भ ले सकते हैं।

GPU समर्थन के साथ

conda env create -f envs/environment-gpu.yaml
conda activate dot

अपनी मशीन पर स्थापित CUDA संस्करण के आधार पर torch और torchvision निर्भरताएँ स्थापित करें:

• CUDA 11.8 को लिंक से इंस्टॉल करें

• conda से cudatoolkit इंस्टॉल करें: conda install cudatoolkit=<cuda_version_no> (<cuda_version_no> को अपनी मशीन के संस्करण से बदलें)

• torch और torchvision निर्भरताएँ स्थापित करें: pip install torch==2.0.1+<cuda_tag> torchvision==0.15.2+<cuda_tag> torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118, जहाँ <cuda_tag> Pytorch द्वारा परिभाषित CUDA टैग है। उदाहरण के लिए, CUDA 11.8 के लिए pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

  नोट: torch1.9.0+cu111 का भी उपयोग किया जा सकता है।

यह जाँचने के लिए कि torch और torchvision सही ढंग से स्थापित हैं, निम्नलिखित कमांड चलाएँ: python -c "import torch; print(torch.cuda.is_available())"। यदि आउटपुट True है, तो निर्भरताएँ CUDA समर्थन के साथ स्थापित हैं।

MPS समर्थन के साथ (Apple Silicon)

conda env create -f envs/environment-apple-m2.yaml
conda activate dot

यह जाँचने के लिए कि torch और torchvision सही ढंग से स्थापित हैं, निम्नलिखित कमांड चलाएँ: python -c "import torch; print(torch.backends.mps.is_available())"। यदि आउटपुट True है, तो निर्भरताएँ Metal प्रोग्रामिंग फ्रेमवर्क समर्थन के साथ स्थापित हैं।

CPU समर्थन के साथ (धीमा, अनुशंसित नहीं)

conda env create -f envs/environment-cpu.yaml
conda activate dot

डॉट स्थापित करें

pip install -e .

मॉडल डाउनलोड करें

• डॉट मॉडल चेकपॉइंट्स यहाँ से डाउनलोड करें
• डाउनलोड की गई फ़ाइल को इस परियोजना के रूट में अनज़िप करें

CLI उपयोग

उपलब्ध विकल्पों की पूरी सूची प्राप्त करने के लिए dot --help चलाएँ।

1. Simswap

   dot -c ./configs/simswap.yaml --target 0 --source "./data" --use_gpu
   

2. SimSwapHQ

   dot -c ./configs/simswaphq.yaml --target 0 --source "./data" --use_gpu
   

3. FOMM

   dot -c ./configs/fomm.yaml --target 0 --source "./data" --use_gpu
   

4. FaceSwap CV2

   dot -c ./configs/faceswap_cv2.yaml --target 0 --source "./data" --use_gpu
   

नोट: चेहरे की सुपररिज़ॉल्यूशन सक्षम करने के लिए, --gpen_type gpen_256 या --gpen_type gpen_512 फ़्लैग का उपयोग करें। CPU पर डॉट का उपयोग करने के लिए (अनुशंसित नहीं), --use_gpu फ़्लैग पास न करें।

CLI के साथ डॉट को नियंत्रित करना

अस्वीकरण: हम निम्नलिखित प्रदर्शन के लिए SimSwap तकनीक का उपयोग करते हैं