Magika

Magika ist ein neuartiges, KI-gestütztes Tool zur Dateityperkennung, das auf den neuesten Fortschritten im Deep Learning basiert, um eine genaue Erkennung zu ermöglichen. Im Hintergrund verwendet Magika ein eigenes, hoch optimiertes Modell, das nur etwa einige MB wiegt und eine präzise Dateiidentifikation innerhalb von Millisekunden ermöglicht – selbst bei Ausführung auf einer einzelnen CPU. Magika wurde mit einem Datensatz von ~100 Millionen Proben trainiert und evaluiert, die über 200 Inhaltstypen abdecken (sowohl binäre als auch textuelle Dateiformate), und erreicht auf unserem Testsatz eine durchschnittliche Genauigkeit von ~99%.

Hier ist ein Beispiel, wie die Magika-Befehlszeilenausgabe aussieht:

Magika wird im großen Maßstab eingesetzt, um die Sicherheit der Google-Nutzer zu verbessern, indem Dateien in Gmail, Drive und Safe Browsing an die richtigen Sicherheits- und Inhaltsrichtlinienscanner weitergeleitet werden – wobei wöchentlich hunderte Milliarden Proben verarbeitet werden. Magika wurde auch in VirusTotal (Beispiel) und abuse.ch (Beispiel) integriert.

Weitere Hintergrundinformationen finden Sie in unserem ursprünglichen Ankündigungsbeitrag im Google OSS Blog, auf Magikas Website und in unserem Forschungspapier, das auf der IEEE/ACM International Conference on Software Engineering (ICSE) 2025 veröffentlicht wurde.

Sie können Magika ohne Installation ausprobieren, indem Sie unsere Web-Demo verwenden, die lokal in Ihrem Browser läuft!

Highlights

• Verfügbar als Befehlszeilentool in Rust, eine Python-API sowie zusätzliche Bindings für Rust, JavaScript/TypeScript (mit einem experimentellen npm-Paket, das unsere Web-Demo antreibt) und GoLang (in Arbeit).
• Trainiert und evaluiert auf einem Datensatz von ~100 Millionen Dateien über 200+ Inhaltstypen.
• In unserem Testsatz erreicht Magika eine durchschnittliche Precision und Recall von ~99% und übertrifft damit bestehende Ansätze – insbesondere bei textuellen Inhaltstypen.
• Nachdem das Modell geladen ist (ein einmaliger Overhead), beträgt die Inferenzzeit etwa 5 ms pro Datei, selbst bei Ausführung auf einer einzelnen CPU.
• Sie können Magika mit Tausenden von Dateien gleichzeitig aufrufen. Sie können auch -r verwenden, um ein Verzeichnis rekursiv zu durchsuchen.
• Nahezu konstante Inferenzzeit, unabhängig von der Dateigröße; Magika verwendet nur einen begrenzten Teil des Dateiinhalts.
• Magika verwendet ein pro-Inhaltstyp-Schwellenwertsystem, das bestimmt, ob der Vorhersage des Modells „vertraut“ werden soll oder ob ein allgemeines Label wie „Generisches Textdokument“ oder „Unbekannte Binärdaten“ zurückgegeben wird.
• Die Fehlertoleranz kann über verschiedene Vorhersagemodi gesteuert werden, z. B. high-confidence, medium-confidence und best-guess.
• Der Client und die Bindings sind bereits Open Source, und mehr folgt bald!

Inhaltsverzeichnis

1. Erste Schritte
   1. Installation
   2. Schnellstart
2. Dokumentation
3. Sicherheitslücken
4. Lizenz
5. Haftungsausschluss

Erste Schritte

Installation

Befehlszeilentool

Magika wird mit einem in Rust geschriebenen CLI ausgeliefert und kann auf verschiedene Arten installiert werden.

Über das magika Python-Paket:

pipx install magika

Über brew (macOS / Linux)

brew install magika

Über Installationsskript:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

oder:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

Über das magika-cli Rust-Paket:

cargo install --locked magika-cli

Python-Paket

pip install magika

JavaScript-Paket

npm install magika

Schnellstart

Hier finden Sie einige kurze Beispiele, um loszulegen.

Um mehr über die Funktionsweise von Magika zu erfahren, lesen Sie den Abschnitt Kernkonzepte auf Magikas Website.

Beispiele für das Befehlszeilentool

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.

          Use a dash (-) to read from standard input (can only be used once).

Options:
  -r, --recursive
          Identifies files within directories instead of identifying the directory itself