Magika

Magika é uma ferramenta inovadora de detecção de tipos de arquivo baseada em IA que se apoia nos recentes avanços do aprendizado profundo para fornecer detecção precisa. Nos bastidores, o Magika emprega um modelo personalizado e altamente otimizado que pesa apenas alguns MBs, e permite a identificação precisa de arquivos em milissegundos, mesmo quando executado em uma única CPU. O Magika foi treinado e avaliado em um conjunto de dados de ~100M de amostras em mais de 200 tipos de conteúdo (abrangendo formatos de arquivo binários e textuais), e alcança uma precisão média de ~99% em nosso conjunto de testes.

Aqui está um exemplo de como é a saída da linha de comando do Magika:

O Magika é usado em larga escala para ajudar a melhorar a segurança dos usuários do Google, encaminhando arquivos do Gmail, Drive e Safe Browsing para os scanners apropriados de segurança e políticas de conteúdo, processando centenas de bilhões de amostras semanalmente. O Magika também foi integrado ao VirusTotal (exemplo) e ao abuse.ch (exemplo).

Para mais contexto, você pode ler nosso post de anúncio inicial no blog OSS do Google, consultar o site do Magika e ler mais em nosso artigo de pesquisa, publicado na IEEE/ACM International Conference on Software Engineering (ICSE) 2025.

Você pode experimentar o Magika sem instalar nada usando nossa demonstração web, que é executada localmente no seu navegador!

Destaques

Disponível como ferramenta de linha de comando escrita em Rust, uma API Python e bindings adicionais para Rust, JavaScript/TypeScript (com um pacote npm experimental, que alimenta nossa demo web) e GoLang (WIP).
Treinado e avaliado em um conjunto de dados de ~100M de arquivos em 200+ tipos de conteúdo.
Em nosso conjunto de teste, o Magika alcança ~99% de precisão e recall médios, superando abordagens existentes -- especialmente em tipos de conteúdo textual.
Após o modelo ser carregado (o que é uma sobrecarga única), o tempo de inferência é de cerca de 5ms por arquivo, mesmo quando executado em uma única CPU.
Você pode invocar o Magika com até milhares de arquivos ao mesmo tempo. Você também pode usar -r para escanear um diretório recursivamente.
Tempo de inferência quase constante, independentemente do tamanho do arquivo; o Magika usa apenas um subconjunto limitado do conteúdo do arquivo.
O Magika usa um sistema de limiar por tipo de conteúdo que determina se deve "confiar" na previsão do modelo, ou se deve retornar um rótulo genérico, como "Generic text document" ou "Unknown binary data".
A tolerância a erros pode ser controlada por meio de diferentes modos de previsão, como high-confidence, medium-confidence e best-guess.
O cliente e os bindings já são de código aberto, e mais está por vir!

Índice

Primeiros Passos
1. Instalação
2. Início Rápido
Documentação
Vulnerabilidades de Segurança
Licença
Aviso Legal

Primeiros Passos

Instalação

Ferramenta de Linha de Comando

O Magika vem com uma CLI escrita em Rust, e pode ser instalada de várias maneiras.

Via pacote Python magika:

pipx install magika

Via brew (macOS / Linux)

brew install magika

Via script de instalação:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

ou:

powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"

Via pacote Rust magika-cli:

cargo install --locked magika-cli

Pacote Python

pip install magika

Pacote JavaScript

npm install magika

Início Rápido

Aqui você pode encontrar alguns exemplos rápidos apenas para começar.

Para aprender sobre o funcionamento interno do Magika, consulte a seção Core Concepts do site do Magika.

Exemplos da Ferramenta de Linha de Comando

% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)

% magika ./tests_data/basic/python/code.py --json
[
  {
    "path": "./tests_data/basic/python/code.py",
    "result": {
      "status": "ok",
      "value": {
        "dl": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "output": {
          "description": "Python source",
          "extensions": [
            "py",
            "pyi"
          ],
          "group": "code",
          "is_text": true,
          "label": "python",
          "mime_type": "text/x-python"
        },
        "score": 0.996999979019165
      }
    }
  }
]

% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)

% magika --help
Determines file content types using AI

Usage: magika [OPTIONS] [PATH]...

Arguments:
  [PATH]...
          List of paths to the files to analyze.

          Use a dash (-) to read from standard input (can only be used once).

Options:
  -r, --recursive
          Identifies files within directories instead of identifying the directory itself

magika

Mais Populares