Magika

Magika एक नवीन AI-संचालित फ़ाइल प्रकार पहचान उपकरण है जो सटीक पहचान प्रदान करने के लिए डीप लर्निंग की हालिया प्रगति पर निर्भर करता है। अंदरूनी रूप से, Magika एक कस्टम, अत्यधिक अनुकूलित मॉडल का उपयोग करता है जिसका वज़न केवल कुछ MB होता है, और यह एकल CPU पर चलने पर भी मिलीसेकंड के भीतर सटीक फ़ाइल पहचान सक्षम करता है। Magika को 200+ सामग्री प्रकारों (बाइनरी और टेक्स्टुअल दोनों फ़ाइल स्वरूपों को कवर करते हुए) में लगभग 100M नमूनों के डेटासेट पर प्रशिक्षित और मूल्यांकन किया गया है, और यह हमारे परीक्षण सेट पर औसतन लगभग 99% सटीकता प्राप्त करता है।

यहाँ Magika कमांड लाइन आउटपुट कैसा दिखता है इसका एक उदाहरण है:

Magika का उपयोग बड़े पैमाने पर Google उपयोगकर्ताओं की सुरक्षा में सुधार करने के लिए किया जाता है, जिसमें Gmail, Drive, और Safe Browsing फ़ाइलों को उचित सुरक्षा और सामग्री नीति स्कैनरों तक पहुँचाया जाता है, और साप्ताहिक आधार पर सैकड़ों अरब नमूनों को संसाधित किया जाता है। Magika को VirusTotal (उदाहरण) और abuse.ch (उदाहरण) के साथ भी एकीकृत किया गया है।

अधिक संदर्भ के लिए आप हमारी प्रारंभिक Google के OSS ब्लॉग पर घोषणा पोस्ट पढ़ सकते हैं, आप Magika की वेबसाइट देख सकते हैं, और आप हमारे शोध पत्र में अधिक पढ़ सकते हैं, जो IEEE/ACM International Conference on Software Engineering (ICSE) 2025 में प्रकाशित हुआ है।

आप कुछ भी इंस्टॉल किए बिना हमारे वेब डेमो का उपयोग करके Magika आज़मा सकते हैं, जो आपके ब्राउज़र में स्थानीय रूप से चलता है!

मुख्य विशेषताएँ

Rust में लिखे गए कमांड लाइन टूल, एक Python API, और Rust, JavaScript/TypeScript (एक प्रयोगात्मक npm पैकेज के साथ, जो हमारे web demo को शक्ति देता है), और GoLang (WIP) के लिए अतिरिक्त बाइंडिंग के रूप में उपलब्ध है।
200+ content types में फैले ~100M फ़ाइलों के डेटासेट पर प्रशिक्षित और मूल्यांकन किया गया।
हमारे टेस्ट सेट पर, Magika लगभग 99% औसत परिशुद्धता और रिकॉल प्राप्त करता है, जो मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करता है -- विशेष रूप से टेक्स्टुअल कंटेंट प्रकारों पर।
मॉडल लोड होने के बाद (जो एक बार का ओवरहेड है), अनुमान समय प्रति फ़ाइल लगभग 5ms है, भले ही एक ही CPU पर चलाया जाए।
आप Magika को एक साथ हज़ारों फ़ाइलों के साथ भी आमंत्रित कर सकते हैं। आप किसी निर्देशिका को पुनरावर्ती रूप से स्कैन करने के लिए -r का भी उपयोग कर सकते हैं।
फ़ाइल आकार से स्वतंत्र, लगभग-स्थिर अनुमान समय; Magika फ़ाइल की सामग्री के केवल एक सीमित उपसमुच्चय का उपयोग करता है।
Magika एक प्रति-कंटेंट-प्रकार थ्रेशोल्ड प्रणाली का उपयोग करता है जो यह निर्धारित करती है कि मॉडल के लिए पूर्वानुमान पर "भरोसा" करना है या नहीं, या क्या "Generic text document" या "Unknown binary data" जैसा सामान्य लेबल लौटाना है।
त्रुटियों के प्रति सहनशीलता को विभिन्न पूर्वानुमान मोड्स, जैसे high-confidence, medium-confidence, और best-guess के माध्यम से नियंत्रित किया जा सकता है।
क्लाइंट और बाइंडिंग्स पहले से ही ओपन सोर्स हैं, और और भी जल्द आ रहा है!

विषय-सूची

शुरुआत करना
1. इंस्टॉलेशन
2. क्विक स्टार्ट
दस्तावेज़ीकरण
सुरक्षा भेद्यताएँ
लाइसेंस
अस्वीकरण

शुरुआत करना

इंस्टॉलेशन

कमांड लाइन टूल

Magika एक Rust में लिखा गया CLI प्रदान करता है, और इसे कई तरीकों से इंस्टॉल किया जा सकता है।

magika python पैकेज के माध्यम से:

pipx install magika

brew के माध्यम से (macOS / Linux)

brew install magika

इंस्टॉलर स्क्रिप्ट के माध्यम से:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

या:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

magika-cli Rust पैकेज के माध्यम से:

cargo install --locked magika-cli

Python पैकेज

pip install magika

JavaScript पैकेज

npm install magika

त्वरित शुरुआत

यहाँ आपको आरंभ करने के लिए कुछ त्वरित उदाहरण मिलेंगे।

Magika की आंतरिक कार्यप्रणाली के बारे में जानने के लिए, Magika की वेबसाइट का Core Concepts अनुभाग देखें।

कमांड लाइन टूल के उदाहरण

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.

          Use a dash (-) to read from standard input (can only be used once).

Options:
  -r, --recursive
          Identifies files within directories instead of identifying the directory itself

      --no-dereference
          Identifies symbolic links as is instead of identifying their content by following them

magika

सबसे लोकप्रिय