Magika

Magika è uno strumento innovativo di rilevamento del tipo di file basato su IA che sfrutta i recenti progressi del deep learning per fornire un rilevamento accurato. Sotto il cofano, Magika utilizza un modello personalizzato altamente ottimizzato che pesa solo pochi MB e consente un'identificazione precisa del file in pochi millisecondi, anche se eseguito su una singola CPU. Magika è stato addestrato e valutato su un set di dati di circa 100 milioni di campioni in oltre 200 tipi di contenuto (che coprono sia formati di file binari che testuali) e raggiunge una precisione media di circa il 99% sul nostro set di test.

Ecco un esempio di come appare l'output della riga di comando di Magika:

Magika è utilizzato su larga scala per contribuire a migliorare la sicurezza degli utenti di Google, instradando i file di Gmail, Drive e Safe Browsing verso i corretti scanner di sicurezza e politiche sui contenuti, elaborando centinaia di miliardi di campioni su base settimanale. Magika è stato anche integrato con VirusTotal (esempio) e abuse.ch (esempio).

Per ulteriori informazioni, puoi leggere il nostro post di annuncio iniziale sul blog OSS di Google, consultare il sito web di Magika e leggere il nostro articolo di ricerca, pubblicato alla IEEE/ACM International Conference on Software Engineering (ICSE) 2025.

Puoi provare Magika senza installare nulla utilizzando la nostra demo web, che funziona localmente nel tuo browser!

Punti salienti

• Disponibile come strumento da riga di comando scritto in Rust, una API Python e binding aggiuntivi per Rust, JavaScript/TypeScript (con un pacchetto npm sperimentale che alimenta la nostra demo web) e GoLang (in lavorazione).
• Addestrato e valutato su un set di dati di circa 100 milioni di file in oltre 200 tipi di contenuto.
• Sul nostro set di test, Magika raggiunge una precisione e un richiamo medi di circa il 99%, superando gli approcci esistenti, specialmente sui tipi di contenuto testuali.
• Dopo aver caricato il modello (che è un costo una tantum), il tempo di inferenza è di circa 5 ms per file, anche se eseguito su una singola CPU.
• Puoi invocare Magika con anche migliaia di file contemporaneamente. Puoi anche usare -r per scansire ricorsivamente una directory.
• Tempo di inferenza quasi costante, indipendentemente dalla dimensione del file; Magika utilizza solo un sottoinsieme limitato del contenuto del file.
• Magika utilizza un sistema di soglia per tipo di contenuto che determina se "fidarsi" della previsione del modello o se restituire un'etichetta generica, come "Documento di testo generico" o "Dati binari sconosciuti".
• La tolleranza agli errori può essere controllata tramite diverse modalità di previsione, come alta confidenza, media confidenza e miglior ipotesi.
• Il client e i binding sono già open source e presto ne arriveranno altri!

Indice

1. Per iniziare
   1. Installazione
   2. Avvio rapido
2. Documentazione
3. Vulnerabilità di sicurezza
4. Licenza
5. Disclaimer

Per iniziare

Installazione

Strumento da riga di comando

Magika fornisce un CLI scritto in Rust e può essere installato in diversi modi.

Tramite il pacchetto Python magika:

pipx install magika

Tramite brew (macOS / Linux)

brew install magika

Tramite script di installazione:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

oppure:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

Tramite il pacchetto Rust magika-cli:

cargo install --locked magika-cli

Pacchetto Python

pip install magika

Pacchetto JavaScript

npm install magika

Avvio rapido

Qui trovi alcuni esempi rapidi per iniziare.

Per conoscere il funzionamento interno di Magika, consulta la sezione Concetti fondamentali del sito web di Magika.

Esempi da riga di comando

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.

          Use a dash (-) to read from standard input (can only be used once).

Options:
  -r, --recursive
          Identifies files within directories instead of identifying the directory itself

      --no-dereference
          Identifies symbolic links as is instead of identifying their content by following them