jsvine/waybackpackTéléchargez l'intégralité de l'archive Wayback Machine pour une URL donnée.
Waybackpack est un outil en ligne de commande qui vous permet de télécharger l'intégralité de l'archive Wayback Machine pour une URL donnée.
Par exemple, pour télécharger chaque copie de la page d'accueil du Département du Travail à travers 1996 (qui se trouve être la première année où le site a été archivé), vous exécuteriez :
waybackpack http://www.dol.gov/ -d ~/Downloads/dol-wayback --to-date 1996
Résultat :
~/Downloads/dol-wayback/
├── 19961102145216
│ └── www.dol.gov
│ └── index.html
├── 19961103063843
│ └── www.dol.gov
│ └── index.html
├── 19961222171647
│ └── www.dol.gov
│ └── index.html
└── 19961223193614
└── www.dol.gov
└── index.html
Ou, simplement pour afficher les URLs de tous les instantanés archivés :
waybackpack http://www.dol.gov/ --list
pip install waybackpack
usage: waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT]
[--from-date FROM_DATE] [--to-date TO_DATE]
[--user-agent USER_AGENT] [--follow-redirects]
[--uniques-only] [--collapse COLLAPSE] [--ignore-errors]
[--max-retries MAX_RETRIES] [--no-clobber] [--quiet]
[--progress] [--delay DELAY] [--delay-retry DELAY_RETRY]
url
positional arguments:
url L'URL de la ressource que vous souhaitez télécharger.
options:
-h, --help Affiche ce message d'aide et quitte.
--version Affiche le numéro de version du programme et quitte.
-d DIR, --dir DIR Répertoire pour enregistrer les fichiers. Ce
répertoire sera créé s'il n'existe pas déjà.
--list Au lieu de télécharger les fichiers, affiche
uniquement la liste des instantanés.
--raw Récupère le fichier dans son état d'origine, sans
aucun traitement par la Wayback Machine ou waybackpack.
--root ROOT L'URL racine à partir de laquelle servir les
ressources instantanées. Par défaut :
'https://web.archive.org'
--from-date FROM_DATE
Chaîne de timestamp indiquant l'instantané le plus
ancien à télécharger. Doit être au format
YYYYMMDDhhss, mais vous pouvez omettre autant de
chiffres de fin que vous le souhaitez. Par exemple,
'201501' est valide.
--to-date TO_DATE Chaîne de timestamp indiquant l'instantané le plus
récent à télécharger. Doit être au format
YYYYMMDDhhss, mais vous pouvez omettre autant de
chiffres de fin que vous le souhaitez. Par exemple,
'201604' est valide.
--user-agent USER_AGENT
L'en-tête User-Agent à envoyer avec vos requêtes
à la Wayback Machine. Si possible, veuillez inclure
la phrase 'waybackpack' et votre adresse email. Ainsi,
si vous sollicitez excessivement leurs serveurs, ils
sauront qui contacter. Par défaut : 'waybackpack'.
--follow-redirects Suivre les redirections.
--uniques-only Télécharger uniquement la première version des
fichiers en double.
--collapse COLLAPSE Un paramètre `collapse` d'archive.org. Par exemple,
--collapse timestamp:6 réduit les résultats à au plus
un par mois. Voir ici : https://github.com/internetarc
hive/wayback/blob/master/wayback-cdx-
server/README.md#collapsing
--ignore-errors Ne pas planter sur les erreurs non-HTTP, par exemple
le ChunkedEncodingError de la bibliothèque requests.
Enregistrer l'erreur et continuer. Voir ici :
https://github.com/jsvine/waybackpack/issues/19
--max-retries MAX_RETRIES
Combien de fois essayer d'accéder au contenu avec un
code d'état 4XX ou 5XX avant de passer ?
--no-clobber Si un fichier est déjà présent (et de taille >0), ne
pas le télécharger à nouveau.
--quiet Ne pas journaliser la progression sur stderr.
--progress Affiche une barre de progression. Désactive la
journalisation par défaut. Nécessite l'installation
de `tqdm`.
--delay DELAY Dormir X secondes entre chaque récupération.
--delay-retry DELAY_RETRY
Dormir X secondes entre chaque nouvelle tentative
après une erreur.
Waybackpack est écrit en Python pur, dépend uniquement de requests, et devrait fonctionner partout où Python fonctionne. Nécessite Python 3.3+.
Merci beaucoup aux utilisateurs suivants pour avoir corrigé des bugs, réparé des fautes de frappe et proposé des fonctionnalités utiles :