Magika

Magika एक नवीन AI-संचालित फ़ाइल प्रकार पहचान उपकरण है जो सटीक पहचान प्रदान करने के लिए डीप लर्निंग के हालिया प्रगति पर निर्भर करता है। अंदर की बात करें तो, Magika एक कस्टम, अत्यधिक अनुकूलित मॉडल का उपयोग करता है जिसका वजन केवल कुछ MB के आसपास होता है, और यह एकल CPU पर भी मिलीसेकंड के भीतर सटीक फ़ाइल पहचान को सक्षम करता है। Magika को ~100M नमूनों के डेटासेट पर 200+ सामग्री प्रकारों (बाइनरी और टेक्स्टुअल दोनों फ़ाइल प्रारूपों को कवर करते हुए) में प्रशिक्षित और मूल्यांकन किया गया है, और यह हमारे परीक्षण सेट पर औसत ~99% सटीकता प्राप्त करता है।

यहाँ Magika कमांड लाइन आउटपुट का एक उदाहरण दिया गया है:

Magika का उपयोग बड़े पैमाने पर Google उपयोगकर्ताओं की सुरक्षा में सुधार करने में मदद करने के लिए किया जाता है, Gmail, Drive, और Safe Browsing फ़ाइलों को उचित सुरक्षा और सामग्री नीति स्कैनर तक रूट करके, साप्ताहिक आधार पर सैकड़ों अरबों नमूनों को संसाधित करता है। Magika को VirusTotal (उदाहरण) और abuse.ch (उदाहरण) के साथ भी एकीकृत किया गया है।

अधिक संदर्भ के लिए आप Google के OSS ब्लॉग पर हमारी प्रारंभिक घोषणा पोस्ट पढ़ सकते हैं, आप Magika की वेबसाइट देख सकते हैं, और आप हमारे शोध पत्र में अधिक पढ़ सकते हैं, जो IEEE/ACM International Conference on Software Engineering (ICSE) 2025 में प्रकाशित हुआ है।

आप कुछ भी इंस्टॉल किए बिना हमारे वेब डेमो का उपयोग करके Magika आज़मा सकते हैं, जो आपके ब्राउज़र में स्थानीय रूप से चलता है!

मुख्य आकर्षण

Rust में लिखा गया कमांड लाइन उपकरण, एक Python API, और Rust, JavaScript/TypeScript (एक प्रायोगिक npm पैकेज के साथ, जो हमारे वेब डेमो को संचालित करता है), और GoLang (WIP) के लिए अतिरिक्त बाइंडिंग के रूप में उपलब्ध।
~100M फ़ाइलों के डेटासेट पर 200+ सामग्री प्रकारों में प्रशिक्षित और मूल्यांकन किया गया।
हमारे परीक्षण सेट पर, Magika ~99% औसत प्रिसिजन और रिकॉल प्राप्त करता है, मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करता है - विशेष रूप से टेक्स्टुअल सामग्री प्रकारों पर।
मॉडल लोड होने के बाद (जो एक बार का ओवरहेड है), प्रति फ़ाइल अनुमान समय लगभग 5ms है, एकल CPU पर भी।
आप एक ही समय में हज़ारों फ़ाइलों के साथ Magika को कॉल कर सकते हैं। आप निर्देशिका को पुनरावर्ती रूप से स्कैन करने के लिए -r का भी उपयोग कर सकते हैं।
फ़ाइल आकार से स्वतंत्र, लगभग स्थिर अनुमान समय; Magika फ़ाइल की सामग्री के केवल एक सीमित उपसमूह का उपयोग करता है।
Magika एक प्रति-सामग्री-प्रकार थ्रेशोल्ड प्रणाली का उपयोग करता है जो यह निर्धारित करता है कि मॉडल के पूर्वानुमान पर "भरोसा" करना है या एक सामान्य लेबल वापस करना है, जैसे "Generic text document" या "Unknown binary data"।
त्रुटियों के प्रति सहनशीलता को विभिन्न पूर्वानुमान मोडों के माध्यम से नियंत्रित किया जा सकता है, जैसे high-confidence, medium-confidence, और best-guess।
क्लाइंट और बाइंडिंग पहले से ही ओपन सोर्स हैं, और जल्द ही और अधिक आ रहा है!

विषय-सूची

आरंभ करना
1. स्थापना
2. त्वरित आरंभ
दस्तावेज़ीकरण
सुरक्षा कमज़ोरियाँ
लाइसेंस
अस्वीकरण

आरंभ करना

स्थापना

कमांड लाइन उपकरण

Magika Rust में लिखा गया CLI प्रदान करता है, और इसे कई तरीकों से स्थापित किया जा सकता है।

magika python पैकेज के माध्यम से:

pipx install magika

brew के माध्यम से (macOS / Linux)

brew install magika

इंस्टॉलर स्क्रिप्ट के माध्यम से:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

या:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

magika-cli Rust पैकेज के माध्यम से:

cargo install --locked magika-cli

Python पैकेज

pip install magika

JavaScript पैकेज

npm install magika

त्वरित आरंभ

यहाँ आपको आरंभ करने के लिए कुछ त्वरित उदाहरण मिलेंगे।

Magika के आंतरिक कार्यों के बारे में जानने के लिए, Magika की वेबसाइट का Core Concepts अनुभाग देखें।

कमांड लाइन उपकरण उदाहरण

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.

          Use a dash (-) to read from standard input (can only be used once).

Options:
  -r, --recursive
          Identifies files within directories instead of identifying the directory itself

      --no-dereference
          Identifies symbolic links as is instead of identifying their content by following them

      --colors
          Prints with colors regardless of terminal support

      --no-colors
          Prints without colors regardless of terminal support

  -s, --output-score
          Prints the prediction score in addition to the content type

magika

सबसे लोकप्रिय