
Baixe todo o arquivo da Wayback Machine para uma URL específica.
Waybackpack é uma ferramenta de linha de comando que permite baixar todo o arquivo da Wayback Machine para uma URL específica.
Por exemplo, para baixar todas as cópias da página inicial do Departamento do Trabalho até 1996 (que por acaso é o primeiro ano em que o site foi arquivado), você executaria:
waybackpack http://www.dol.gov/ -d ~/Downloads/dol-wayback --to-date 1996
Resultado:
~/Downloads/dol-wayback/
├── 19961102145216
│ └── www.dol.gov
│ └── index.html
├── 19961103063843
│ └── www.dol.gov
│ └── index.html
├── 19961222171647
│ └── www.dol.gov
│ └── index.html
└── 19961223193614
└── www.dol.gov
└── index.html
Ou, apenas para imprimir as URLs de todos os snapshots arquivados:
waybackpack http://www.dol.gov/ --list
pip install waybackpack
usage: waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT]
[--from-date FROM_DATE] [--to-date TO_DATE]
[--user-agent USER_AGENT] [--follow-redirects]
[--uniques-only] [--collapse COLLAPSE] [--ignore-errors]
[--max-retries MAX_RETRIES] [--no-clobber] [--quiet]
[--progress] [--delay DELAY] [--delay-retry DELAY_RETRY]
url
argumentos posicionais:
url A URL do recurso que você deseja baixar.
opções:
-h, --help mostra esta mensagem de ajuda e sai
--version mostra o número da versão do programa e sai
-d DIR, --dir DIR Diretório para salvar os arquivos. Criará este
diretório se ele ainda não existir.
--list Em vez de baixar os arquivos, apenas imprime a lista
de snapshots.
--raw Busca o arquivo em seu estado original, sem qualquer
processamento pela Wayback Machine ou waybackpack.
--root ROOT A URL raiz a partir da qual servir recursos
snapshotados. Padrão: 'https://web.archive.org'
--from-date FROM_DATE
String de timestamp indicando o snapshot mais antigo a
ser baixado. Deve ter o formato YYYYMMDDhhss, embora
você possa omitir quantos dígitos finais quiser.
Exemplo: '201501' é válido.
--to-date TO_DATE String de timestamp indicando o snapshot mais recente a
ser baixado. Deve ter o formato YYYYMMDDhhss, embora
você possa omitir quantos dígitos finais quiser.
Exemplo: '201604' é válido.
--user-agent USER_AGENT
O cabeçalho User-Agent para enviar junto com suas
requisições à Wayback Machine. Se possível, inclua a
frase 'waybackpack' e seu endereço de e-mail. Assim,
se você estiver sobrecarregando os servidores deles,
eles saberão a quem contatar. Padrão: 'waybackpack'.
--follow-redirects Seguir redirecionamentos.
--uniques-only Baixar apenas a primeira versão de arquivos
duplicados.
--collapse COLLAPSE Um parâmetro `collapse` do archive.org. Exemplo:
--collapse timestamp:6 colapsa os resultados para no
máximo um por mês. Veja aqui: https://github.com/internetarchive/wa
yback/blob/master/wayback-cdx-
server/README.md#collapsing
--ignore-errors Não travar em erros não-HTTP, por exemplo, o
ChunkedEncodingError da biblioteca requests. Em vez
disso, registra o erro e continua. Veja aqui:
https://github.com/jsvine/waybackpack/issues/19
--max-retries MAX_RETRIES
Quantas vezes tentar acessar conteúdo com código de
status 4XX ou 5XX antes de pular?
--no-clobber Se um arquivo já estiver presente (e com tamanho >0),
não baixá-lo novamente.
--quiet Não registrar progresso no stderr.
--progress Exibir uma barra de progresso. Silencia o log padrão.
Requer que `tqdm` esteja instalado.
--delay DELAY Dormir X segundos entre cada busca.
--delay-retry DELAY_RETRY
Dormir X segundos entre cada nova tentativa após erro.
Waypackback é escrito em Python puro, depende apenas de requests e deve funcionar onde quer que o Python funcione. Requer Python 3.3+.
Muitos agradecimentos aos seguintes usuários por detectar bugs, corrigir erros de digitação e propor funcionalidades úteis: