Encontre links mortos (links quebrados)

Documentação • Instalação • Ação do GitHub • Contribuição • Registro de alterações

Link morto (link quebrado) significa um link dentro de uma página da web que não pode ser acessado. Esses links podem ter um impacto negativo no SEO e na segurança. Esta ferramenta facilita a identificação e modificação.

Procurando pela v1 (gem Ruby)? Agora ela vive no branch legacy/v1 e continua publicando a gem deadfinder para correções de bugs e lançamentos de segurança. O main hospeda a reescrita em Crystal (v2+).

Instalação

Homebrew

brew install deadfinder
# https://formulae.brew.sh/formula/deadfinder

Docker

docker run ghcr.io/hahwul/deadfinder:latest deadfinder url https://example.com

Binário pré-compilado

Baixe o arquivo para sua plataforma a partir do último lançamento, extraia e coloque deadfinder no seu PATH.

Nix

nix run github:hahwul/deadfinder
nix profile install github:hahwul/deadfinder
nix develop github:hahwul/deadfinder

Compilar a partir do código-fonte

Requer Crystal >= 1.19.1 e cmake (para o pós-instalação do analisador HTML lexbor — sem ele, shards install falha com 'cmake': No such file or directory).

# macOS
brew install crystal cmake

# Debian / Ubuntu
sudo apt install crystal cmake

shards install
crystal build src/cli_main.cr -o deadfinder --release
# ou: apenas compile

Utilização

CLI

deadfinder sitemap https://www.hahwul.com/sitemap.xml

Ação do GitHub

Fixar uma tag de lançamento específica. @latest não é uma referência Actions válida.

steps:
- name: Executar DeadFinder
  uses: hahwul/deadfinder@v2       # rastreia o 2.x mais recente — fixe uma tag específica (ex.: @2.0.2) para reprodutibilidade mais rigorosa
  id: broken-link
  with:
    command: sitemap           # url / file / sitemap / pipe
    target: https://www.hahwul.com/sitemap.xml
    # timeout: 10
    # concurrency: 50
    # silent: false
    # headers: "X-API-Key: 123444"
    # worker_headers: "User-Agent: Deadfinder Bot"
    # include30x: false
    # user_agent: "Apple"
    # proxy: "http://localhost:8070"
    # proxy_auth: "id:pw"
    # match:  ""
    # ignore: ""
    # coverage: true
    # visualize: report.png

- name: Tratamento da saída
  run: echo '${{ steps.broken-link.outputs.output }}'

Se você encontrou um link morto e deseja adicioná-lo automaticamente como uma issue, consulte o artigo "Automating Dead Link Detection".

Uso

Usage: deadfinder <command> [options]

Commands:
  pipe                        Scan the URLs from STDIN
  file <FILE>                 Scan the URLs from File
  url <URL>                   Scan the Single URL
  sitemap <SITEMAP-URL>       Scan the URLs from sitemap
  completion <SHELL>          Generate completion script (bash/zsh/fish)
  version                     Show version

Options:
  -r, --include30x                 Include 30x redirections as dead links
  -c, --concurrency=N              Number of concurrent workers (default: 50)
  -t, --timeout=N                  Timeout in seconds (default: 10)
  -o, --output=FILE                File to write results
  -f, --output_format=FORMAT       Output format: json, yaml, toml, csv, sarif (default: json)
  -H, --headers=HEADER             Custom HTTP headers for initial request
      --worker_headers=HEADER      Custom HTTP headers for worker requests
      --user_agent=UA              User-Agent string
  -p, --proxy=PROXY                Proxy server (HTTP and HTTPS CONNECT)
      --proxy_auth=USER:PASS       Proxy authentication
  -m, --match=PATTERN              Match URL pattern (regex)
  -i, --ignore=PATTERN             Ignore URL pattern (regex)
  -s, --silent                     Silent mode
  -v, --verbose                    Verbose mode
      --debug                      Debug mode
      --limit=N                    Limit number of URLs to scan
      --coverage                   Enable coverage tracking and reporting
      --visualize=PATH             Generate visualization PNG

Modos

# Scan the URLs from STDIN (multiple URLs)
cat urls.txt | deadfinder pipe

# Scan the URLs from a file
deadfinder file urls.txt

# Scan a single URL
deadfinder url https://www.hahwul.com

# Scan the URLs from a sitemap
deadfinder sitemap https://www.hahwul.com/sitemap.xml

Manipulação de JSON

deadfinder sitemap https://www.hahwul.com/sitemap.xml -o output.json
cat output.json | jq

{
  "Target URL": [
    "DeadLink URL",
    "DeadLink URL",
    "DeadLink URL"
  ]
}

Com --coverage:

deadfinder sitemap https://www.hahwul.com/sitemap.xml --coverage -o output.json

{
  "dead_links": {
    "Target URL": ["DeadLink URL 1", "DeadLink URL 2"]
  },
  "coverage": {
    "targets": {
      "Target URL": {
        "total_tested": 14,
        "dead_links": 7,
        "coverage_percentage": 50.0
      }
    },
    "summary": {
      "total_tested": 14,
      "total_dead": 7,
      "overall_coverage_percentage": 50.0
    }
  }
}

Completamento de Shell

deadfinder completion bash > /etc/bash_completion.d/deadfinder
deadfinder completion zsh  > ~/.zsh/completion/_deadfinder
deadfinder completion fish > ~/.config/fish/completions/deadfinder.fish

Contribuição

Contribuições são bem-vindas! Se você tem uma ideia para melhoria ou deseja relatar um bug:

Faça um fork do repositório.
Crie um novo branch para sua funcionalidade ou correção de bug (ex.: feature/awesome-feature ou bugfix/annoying-bug).
Faça suas alterações.
Commit suas alterações com uma mensagem clara.
Faça o push para o branch.
Envie um Pull Request (PR) para o nosso branch main.

deadfinder

Mais Populares