Magika

Magika ist ein neuartiges, KI-gestütztes Werkzeug zur Erkennung von Dateitypen, das auf den jüngsten Fortschritten des Deep Learning basiert, um eine präzise Erkennung zu ermöglichen. Im Hintergrund verwendet Magika ein maßgeschneidertes, hochoptimiertes Modell, das nur wenige MB wiegt und eine präzise Dateiidentifikation innerhalb von Millisekunden ermöglicht, selbst wenn es auf einer einzelnen CPU läuft. Magika wurde auf einem Datensatz von ~100 Mio. Proben über mehr als 200 Inhaltstypen (sowohl binäre als auch textuelle Dateiformate) trainiert und evaluiert und erreicht eine durchschnittliche Genauigkeit von ~99 % auf unserem Testset.

Hier ist ein Beispiel, wie die Ausgabe der Magika-Kommandozeile aussieht:

Magika wird im großen Maßstab eingesetzt, um die Sicherheit von Google-Nutzern zu verbessern, indem Dateien aus Gmail, Drive und Safe Browsing an die richtigen Sicherheits- und Inhaltsrichtlinien-Scanner weitergeleitet werden, wobei wöchentlich Hunderte Milliarden Proben verarbeitet werden. Magika wurde außerdem in VirusTotal (Beispiel) und abuse.ch (Beispiel) integriert.

Für mehr Kontext können Sie unseren ursprünglichen Ankündigungsbeitrag im OSS-Blog von Google lesen, die Website von Magika konsultieren und mehr in unserem Forschungspapier erfahren, das auf der IEEE/ACM International Conference on Software Engineering (ICSE) 2025 veröffentlicht wurde.

Sie können Magika ohne Installation ausprobieren, indem Sie unsere Web-Demo verwenden, die lokal in Ihrem Browser läuft!

Highlights

• Verfügbar als in Rust geschriebenes Kommandozeilenwerkzeug, als Python-API sowie als zusätzliche Bindings für Rust, JavaScript/TypeScript (mit einem experimentellen npm-Paket, das unsere Web-Demo antreibt) und GoLang (WIP).
• Trainiert und evaluiert auf einem Datensatz von ~100M Dateien über 200+ Inhaltstypen.
• Auf unserem Testset erreicht Magika eine durchschnittliche Präzision und Trefferquote von ~99 % und übertrifft damit bestehende Ansätze – insbesondere bei textuellen Inhaltstypen.
• Nachdem das Modell geladen wurde (was einen einmaligen Overhead darstellt), beträgt die Inferenzzeit etwa 5 ms pro Datei, selbst wenn sie auf einer einzelnen CPU ausgeführt wird.
• Sie können Magika sogar mit Tausenden von Dateien gleichzeitig aufrufen. Sie können auch -r verwenden, um ein Verzeichnis rekursiv zu durchsuchen.
• Nahezu konstante Inferenzzeit, unabhängig von der Dateigröße; Magika verwendet nur eine begrenzte Teilmenge des Dateiinhalts.
• Magika verwendet ein Schwellenwertsystem pro Inhaltstyp, das bestimmt, ob der Vorhersage des Modells „vertraut“ werden soll oder ob ein generisches Label wie „Generic text document“ oder „Unknown binary data“ zurückgegeben werden soll.
• Die Fehlertoleranz kann über verschiedene Vorhersagemodi gesteuert werden, wie z. B. high-confidence, medium-confidence und best-guess.
• Der Client und die Bindings sind bereits Open Source, und mehr folgt in Kürze!

Inhaltsverzeichnis

1. Erste Schritte
   1. Installation
   2. Schnellstart
2. Dokumentation
3. Sicherheitsschwachstellen
4. Lizenz
5. Haftungsausschluss

Erste Schritte

Installation

Kommandozeilenwerkzeug

Magika wird mit einer in Rust geschriebenen CLI ausgeliefert und kann auf verschiedene Weise installiert werden.

Über das Python-Paket magika:

pipx install magika

Via brew (macOS / Linux)

brew install magika

Über das Installationsskript:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

oder:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

Über das Rust-Paket magika-cli:

cargo install --locked magika-cli

Python-Paket

pip install magika

JavaScript-Paket

npm install magika

Schnellstart

Hier finden Sie einige kurze Beispiele, um direkt loszulegen.

Um mehr über die Funktionsweise von Magika zu erfahren, lesen Sie den Abschnitt Core Concepts auf der Magika-Website.

Beispiele für das Kommandozeilen-Tool

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.