
Detecção rápida e precisa de tipos de conteúdo de arquivo com tecnologia de IA
O Magika é uma ferramenta inovadora de detecção de tipos de arquivo baseada em IA que se baseia no avanço recente do aprendizado profundo para fornecer detecção precisa. Internamente, o Magika utiliza um modelo personalizado e altamente otimizado que pesa apenas alguns MBs e permite a identificação precisa de arquivos em milissegundos, mesmo quando executado em uma única CPU. O Magika foi treinado e avaliado em um conjunto de dados de ~100M amostras em mais de 200 tipos de conteúdo (abrangendo formatos de arquivo binários e textuais) e atinge uma precisão média de ~99% em nosso conjunto de teste.
Aqui está um exemplo da aparência da saída da linha de comando do Magika:
O Magika é usado em larga escala para ajudar a melhorar a segurança dos usuários do Google, roteando arquivos do Gmail, Drive e Navegação Segura para os scanners de segurança e política de conteúdo adequados, processando centenas de bilhões de amostras semanalmente. O Magika também foi integrado com VirusTotal (exemplo) e abuse.ch (exemplo).
Para mais contexto, você pode ler nossa postagem inicial de anúncio no blog de OSS do Google, consultar o site do Magika e ler mais em nosso artigo de pesquisa, publicado na Conferência Internacional de Engenharia de Software (ICSE) IEEE/ACM 2025.
Você pode experimentar o Magika sem instalar nada usando nossa demonstração web, que roda localmente no seu navegador!
-r para escanear recursivamente um diretório.high-confidence, medium-confidence e best-guess.O Magika inclui uma CLI escrita em Rust e pode ser instalado de várias maneiras.
Via pacote python magika:
pipx install magika
Via brew (macOS / Linux)
brew install magika
Via script de instalação:
curl -LsSf https://securityresearch.google/magika/install.sh | sh
ou:
powershell -ExecutionPolicy Bypass -c "irm https://securityresearch.google/magika/install.ps1 | iex"
Via pacote Rust magika-cli:
cargo install --locked magika-cli
pip install magika
npm install magika
Aqui estão alguns exemplos rápidos para você começar.
Para aprender sobre o funcionamento interno do Magika, consulte a seção Core Concepts do site do Magika.
% cd tests_data/basic && magika -r * | head
asm/code.asm: Assembly (code)
batch/simple.bat: DOS batch file (code)
c/code.c: C source (code)
css/code.css: CSS source (code)
csv/magika_test.csv: CSV document (code)
dockerfile/Dockerfile: Dockerfile (code)
docx/doc.docx: Microsoft Word 2007+ document (document)
docx/magika_test.docx: Microsoft Word 2007+ document (document)
eml/sample.eml: RFC 822 mail (text)
empty/empty_file: Empty file (inode)
% magika ./tests_data/basic/python/code.py --json
[
{
"path": "./tests_data/basic/python/code.py",
"result": {
"status": "ok",
"value": {
"dl": {
"description": "Python source",
"extensions": [
"py",
"pyi"
],
"group": "code",
"is_text": true,
"label": "python",
"mime_type": "text/x-python"
},
"output": {
"description": "Python source",
"extensions": [
"py",
"pyi"
],
"group": "code",
"is_text": true,
"label": "python",
"mime_type": "text/x-python"
},
"score": 0.996999979019165
}
}
}
]
% cat tests_data/basic/ini/doc.ini | magika -
-: INI configuration file (text)
% magika --help
Determines file content types using AI
Usage: magika [OPTIONS] [PATH]...
Arguments:
[PATH]...
List of paths to the files to analyze.
Use a dash (-) to read from standard input (can only be used once).
Options:
-r, --recursive
Identifies files within directories instead of identifying the directory itself
--no-dereference
Identifies symbolic links as is instead of identifying their content by following them
--colors
Prints with colors regardless of terminal support
--no-colors
Prints without colors regardless of terminal support
-s, --output-score
Prints the prediction score in addition to the content type
-i, --mime-type
Prints the MIME type instead of the content type description
-l, --label
Prints a simple label instead of the content type description
--json
Prints in JSON format
--jsonl
Prints in JSONL format
--format <CUSTOM>
Prints using a custom format (use --help for details).
The following placeholders are supported:
%p The file path
%l The unique label identifying the content type
%d The description of the content type
%g The group of the content type
%m The MIME type of the content type
%e Possible file extensions for the content type
%s The score of the content type for the file
%S The score of the content type for the file in percent
%b The model output if overruled (empty otherwise)
%% A literal %
-h, --help
Print help (see a summary with '-h')
-V, --version
Print version
Para mais exemplos e documentação sobre a CLI, veja https://crates.io/crates/magika-cli.
>>> from magika import Magika
>>> m = Magika()
>>> res = m.identify_bytes(b'function log(msg) {console.log(msg);}')
>>> print(res.output.label)
javascript
>>> from magika import Magika
>>> m = Magika()
>>> res = m.identify_path('./tests_data/basic/ini/doc.ini')
>>> print(res.output.label)
ini
>>> from magika import Magika
>>> m = Magika()
>>> with open('./tests_data/basic/ini/doc.ini', 'rb') as f:
>>> res = m.identify_stream(f)
>>> print(res.output.label)
ini
Para mais exemplos e documentação sobre o módulo Python, consulte a seção Python Magika module.
Consulte o site do Magika para documentação detalhada sobre:
Entre em contato conosco diretamente em [email protected].
Apache 2.0; veja LICENSE para detalhes.
Este projeto não é um projeto oficial do Google. Não é suportado pelo Google e o Google especificamente isenta-se de todas as garantias quanto à sua qualidade, comercialização ou adequação a um propósito específico.