fzakaria/anubis-fetchComo curl, pero logra pasar los muros antibots de Anubis y Cloudflare.
$ nix run github:fzakaria/anubis-fetch -- https://lore.kernel.org/linux-mm/some-thread/T/
Una CLI rápida (en Go) para obtener URLs desde detrás de muros de prueba de trabajo de Anubis y comprobaciones de huella digital de Cloudflare — resolviendo el desafío en el propio proceso, y usando un navegador real solo cuando es necesario.
Un número creciente de sitios — lore.kernel.org, GNOME, kernel.org y muchos más — están detrás de Anubis, un muro antibots que hace que tu navegador resuelva una prueba de trabajo SHA-256 antes de servir cualquier contenido. Es excelente para detener a los scrapers. También es excelente para detenerte a ti cuando solo quieres hacer curl a un hilo de lista de correo:
$ curl -s https://lore.kernel.org/linux-mm/some-thread/T/ | grep -o '<title>.*</title>'
<title>Making sure you're not a bot!</title> # 🤢
anubis-fetch te devuelve la página real:
$ anubis-fetch https://lore.kernel.org/linux-mm/some-thread/T/ | grep -o '<title>.*</title>'
<title>[PATCH 0/2] ...</title> # 🥳
Los muros antibots operan en dos capas diferentes, y anubis-fetch maneja ambas, primero el paso más barato:
techaro.lol-anubis-auth) después de que pases una vez; un navegador no vuelve a ser desafiado en la siguiente visita, y nosotros tampoco. Las cookies se guardan por host (ver Persistencia de cookies).req haciéndose pasar por un Chrome real — misma huella TLS/JA3 + HTTP/2 — lo que también supera el rastreo pasivo de Cloudflare. Si la respuesta es un desafío de Anubis, forzamos el nonce por fuerza bruta y lo enviamos. Sin navegador, ~0.6s.chromedp, que ejecuta el JavaScript que el sitio sirva.[!NOTE] El respaldo se activa para: los métodos de desafío
preact/metarefreshde Anubis, un método desconocido o futuro, una dificultad demasiado alta para fuerza bruta, una solución rechazada, o un desafío JS activo de Cloudflare (Managed Challenge / Turnstile / "I'm Under Attack"). La suplantación supera el Cloudflare pasivo; solo un navegador supera los niveles JS activos. Por lo tanto,anubis-fetchdegrada a "más lento", nunca a "roto".
Porque es ~4× más lento y arrastra un Chromium de ~200 MB en cada descarga. El solucionador en proceso es el caso común; el navegador es la red de seguridad.
| Ruta | Tiempo real | ¿Necesita Chromium? |
|---|---|---|
| Solucionador (prueba de trabajo de Anubis) | ~0.6s | no |
| Respaldo con navegador | ~2.0s | sí |
Anubis incrusta un desafío como JSON en la página:
{"rules":{"algorithm":"fast","difficulty":4},
"challenge":{"id":"…","method":"fast","randomData":"6214bd88…","difficulty":4}}
Resolverlo significa encontrar un nonce tal que hex(sha256(randomData ‖ nonce)) comience con difficulty caracteres cero (el nonce es su cadena en base 10). Luego devolvemos la respuesta:
GET /.within.website/x/cmd/anubis/api/pass-challenge?id=…&response=<hash>&nonce=<n>&redir=<url>&elapsedTime=<ms>
…lo que establece la cookie de autenticación y redirige a la página real. La dificultad 4 (la predeterminada en lore/kernel.org/GNOME) es ~65k hashes — submilisegundo en Go.
Ejecútalo directamente:
$ nix run github:fzakaria/anubis-fetch -- <url>
Instálalo en tu perfil:
$ nix profile install github:fzakaria/anubis-fetch
O agrégalo a tu propio flake:
{
inputs.anubis-fetch.url = "github:fzakaria/anubis-fetch";
# then, e.g. in home.packages / environment.systemPackages:
# inputs.anubis-fetch.packages.${system}.default
}
$ anubis-fetch [flags] URL
| Indicador | Significado |
|---|---|
--text | renderizar texto plano legible en lugar de HTML |
--timeout MS | tiempo de espera por paso en milisegundos (predeterminado 30000) |
--ua STRING | sobrescribir el User-Agent |
--browser | omitir el solucionador; ir directo al navegador sin interfaz |
--no-browser | no usar nunca el navegador; salir con 3 si no se puede aplicar la resolución |
--no-cache | no leer ni escribir el almacén de cookies persistente |
# HTML to stdout
$ anubis-fetch https://lore.kernel.org/linux-mm/some-thread/T/
# readable plain text
$ anubis-fetch --text https://lore.kernel.org/linux-mm/some-thread/T/
# lean/fast only — useful in scripts; exits 3 if it would need a browser
$ anubis-fetch --no-browser https://example.com/ && echo "got it"
Después de una descarga exitosa, la cookie de autenticación se escribe en
$XDG_CACHE_HOME/anubis-fetch/cookies/<host>.json (con respaldo en
~/.cache/…). La siguiente ejecución para ese host pasa directo — sin prueba de trabajo, sin navegador — exactamente como una revisita del navegador. Las cookies obtenidas mediante el respaldo del navegador también se guardan, de modo que una ejecución posterior puede tomar la ruta HTTP rápida. Usa --no-cache para deshabilitarlo, o simplemente elimina el archivo para forzar una nueva resolución.
Todo está conectado a través del flake:
$ nix develop # dev shell: go, gopls, chromium, treefmt
$ go test ./... # unit tests (hermetic — no network)
$ nix build # build the wrapped binary
$ nix flake check # build + tests + formatting
$ nix fmt # format Go + Nix via treefmt (gofmt + alejandra)
La implementación de la prueba de trabajo está fijada contra el vector de prueba publicado por el propio Anubis (sha256("hunter" + "0")) de modo que una deriva en la construcción del hash falla una prueba unitaria en lugar de devolver silenciosamente basura.