meg

meg é uma ferramenta para buscar muitas URLs, mas ainda sendo 'educada' com os servidores.

Pode ser usada para buscar muitos caminhos para muitos hosts; buscando um caminho para todos os hosts antes de passar para o próximo caminho e repetir.

Você obtém muitos resultados rapidamente, mas nenhum dos hosts individuais fica inundado com tráfego.

Instalação

meg é escrito em Go e não tem dependências de tempo de execução. Se você tiver o Go 1.9 ou posterior instalado e configurado, pode instalar o meg com go install:

▶ go install github.com/tomnomnom/meg@latest

Ou baixe um binário e coloque-o em algum lugar no seu $PATH (por exemplo, em /usr/bin/).

Erros de Instalação

Se você vir um erro como este, significa que sua versão do Go é muito antiga:

# github.com/tomnomnom/rawhttp
/root/go/src/github.com/tomnomnom/rawhttp/request.go:102: u.Hostname undefined (
type *url.URL has no field or method Hostname)
/root/go/src/github.com/tomnomnom/rawhttp/request.go:103: u.Port undefined (type
 *url.URL has no field or method Port)
 /root/go/src/github.com/tomnomnom/rawhttp/request.go:259: undefined: x509.System
 CertPool

Você deve atualizar sua versão do Go ou usar um lançamento binário para sua plataforma.

Uso Básico

Dado um arquivo cheio de caminhos:

/robots.txt
/.well-known/security.txt
/package.json

E um arquivo cheio de hosts (com um protocolo):

http://example.com
https://example.com
http://example.net

meg fará a requisição de cada caminho para cada host:

▶ meg --verbose paths hosts
out/example.com/45ed6f717d44385c5e9c539b0ad8dc71771780e0 http://example.com/robots.txt (404 Not Found)
out/example.com/61ac5fbb9d3dd054006ae82630b045ba730d8618 https://example.com/robots.txt (404 Not Found)
out/example.net/1432c16b671043271eab84111242b1fe2a28eb98 http://example.net/robots.txt (404 Not Found)
out/example.net/61deaa4fa10a6f601adb74519a900f1f0eca38b7 http://example.net/.well-known/security.txt (404 Not Found)
out/example.com/20bc94a296f17ce7a4e2daa2946d0dc12128b3f1 http://example.com/.well-known/security.txt (404 Not Found)
...

E salvará a saída em um diretório chamado ./out:

▶ head -n 20 ./out/example.com/45ed6f717d44385c5e9c539b0ad8dc71771780e0
http://example.com/robots.txt

> GET /robots.txt HTTP/1.1
> Host: example.com

< HTTP/1.1 404 Not Found
< Expires: Sat, 06 Jan 2018 01:05:38 GMT
< Server: ECS (lga/13A2)
< Accept-Ranges: bytes
< Cache-Control: max-age=604800
< Content-Type: text/*
< Content-Length: 1270
< Date: Sat, 30 Dec 2017 01:05:38 GMT
< Last-Modified: Sun, 24 Dec 2017 06:53:36 GMT
< X-Cache: 404-HIT

<!doctype html>
<html>
<head>

Sem argumentos, o meg lerá caminhos de um arquivo chamado ./paths, e hosts de um arquivo chamado ./hosts. Também não haverá saída:

▶ meg
▶

Mas salvará um arquivo de índice em ./out/index:

▶ head -n 2 ./out/index
out/example.com/538565d7ab544bc3bec5b2f0296783aaec25e756 http://example.com/package.json (404 Not Found)
out/example.com/20bc94a296f17ce7a4e2daa2946d0dc12128b3f1 http://example.com/.well-known/security.txt (404 Not Found)

Você pode usar o arquivo de índice para encontrar onde a resposta está armazenada, mas muitas vezes é mais fácil encontrar o que procura com grep:

▶ grep -Hnri '< Server:' out/
out/example.com/61ac5fbb9d3dd054006ae82630b045ba730d8618:14:< Server: ECS (lga/13A2)
out/example.com/bd8d9f4c470ffa0e6ec8cfa8ba1c51d62289b6dd:16:< Server: ECS (lga/13A3)

Se quiser requisitar apenas um caminho, você pode especificá-lo diretamente como argumento:

▶ meg /admin.php

Uso Detalhado

A saída de ajuda do meg tenta realmente ser útil:

▶ meg --help
Request many paths for many hosts

Usage:
  meg [options] [path|pathsFile] [hostsFile] [outputDir]

Options:
  -c, --concurrency <val>    Set the concurrency level (defaut: 20)
  -d, --delay <val>          Milliseconds between requests to the same host (default: 5000)
  -H, --header <header>      Send a custom HTTP header
  -r, --rawhttp              Use the rawhttp library for requests (experimental)
  -s, --savestatus <status>  Save only responses with specific status code
  -v, --verbose              Verbose mode
  -X, --method <method>      HTTP method (default: GET)

Defaults:
  pathsFile: ./paths
  hostsFile: ./hosts
  outputDir:  ./out

Paths file format:
  /robots.txt
  /package.json
  /security.txt

Hosts file format:
  http://example.com
  https://example.edu
  https://example.net

Examples:
  meg /robots.txt
  meg -s 200 -X HEAD
  meg -c 30 /
  meg hosts.txt paths.txt output

Concorrência

Por padrão, o meg tentará fazer 20 requisições concorrentes. Você pode alterar isso com a opção -c ou --concurrency:

▶ meg --concurrency 5

Não é muito amigável manter o nível de concorrência maior que o número de hosts - você pode acabar enviando muitas requisições para um único host de uma vez.

Atraso

Por padrão, o meg esperará 5000 milissegundos entre requisições ao mesmo host. Você pode substituir isso com a opção -d ou --delay:

▶ meg --delay 10000

Aviso: antes de reduzir o atraso, certifique-se de que tem permissão para fazer grandes volumes de requisições aos hosts que está segmentando.

Adicionando Cabeçalhos

Você pode definir cabeçalhos adicionais nas requisições com a opção -H ou --header:

▶ meg --header "Origin: https://evil.com"
▶ grep -h '^>' out/example.com/*
> GET /.well-known/security.txt HTTP/1.1
> Origin: https://evil.com
> Host: example.com
...

HTTP Bruto (Experimental)

Se você quiser enviar requisições que não são válidas - por exemplo, com codificação de URL inválida - o cliente HTTP do Go falhará:

▶ meg /%%0a0afoo:bar
request failed: parse https://example.org/%%0a0afoo:bar: invalid URL escape "%%0"

Você pode usar a flag -r ou --rawhttp para habilitar o uso da biblioteca rawhttp, que faz pouca ou nenhuma validação na requisição:

▶ meg --verbose --rawhttp /%%0a0afoo:bar
out/example.com/eac3a4978bfb95992e270c311582e6da4568d83d https://example.com/%%0a0afoo:bar (HTTP/1.1 404 Not Found)

A biblioteca rawhttp e seu uso são experimentais. Entre outras coisas, ela ainda não suporta codificação de transferência fragmentada (chunked), então você pode notar comprimentos de fragmentos intercalados com sua saída se a usar.

Salvando Apenas Certos Códigos de Status

Se você quiser salvar apenas resultados que retornaram um determinado código de status, pode usar a opção -s ou --savestatus:

▶ meg --savestatus 200 /robots.txt

Especificando o Método

Você pode especificar qual método HTTP usar com a opção -X ou --method:

▶ meg --method TRACE
▶ grep -nri 'TRACE' out/
out/example.com/61ac5fbb9d3dd054006ae82630b045ba730d8618:3:> TRACE /robots.txt HTTP/1.1
out/example.com/bd8d9f4c470ffa0e6ec8cfa8ba1c51d62289b6dd:3:> TRACE /.well-known/security.txt HTTP/1.1
...

meg

Mais Populares

meg