
Скачать весь архив Wayback Machine для заданного URL.
Waybackpack — это инструмент командной строки, который позволяет загрузить весь архив Wayback Machine для заданного URL.
Например, чтобы загрузить все копии домашней страницы Министерства труда США до 1996 года (который, кстати, является первым годом архивирования сайта), выполните:
waybackpack http://www.dol.gov/ -d ~/Downloads/dol-wayback --to-date 1996
Результат:
~/Downloads/dol-wayback/
├── 19961102145216
│ └── www.dol.gov
│ └── index.html
├── 19961103063843
│ └── www.dol.gov
│ └── index.html
├── 19961222171647
│ └── www.dol.gov
│ └── index.html
└── 19961223193614
└── www.dol.gov
└── index.html
Или, чтобы просто вывести URL-адреса всех сохранённых снимков:
waybackpack http://www.dol.gov/ --list
pip install waybackpack
usage: waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT]
[--from-date FROM_DATE] [--to-date TO_DATE]
[--user-agent USER_AGENT] [--follow-redirects]
[--uniques-only] [--collapse COLLAPSE] [--ignore-errors]
[--max-retries MAX_RETRIES] [--no-clobber] [--quiet]
[--progress] [--delay DELAY] [--delay-retry DELAY_RETRY]
url
positional arguments:
url URL-адрес ресурса, который вы хотите загрузить.
options:
-h, --help показать это справочное сообщение и выйти
--version показать номер версии программы и выйти
-d DIR, --dir DIR Каталог для сохранения файлов. Будет создан, если не существует.
--list Вместо загрузки файлов только вывести список снимков.
--raw Загрузить файл в исходном состоянии, без какой-либо обработки Wayback Machine или waybackpack.
--root ROOT Корневой URL, из которого обслуживаются сохранённые ресурсы. По умолчанию: 'https://web.archive.org'
--from-date FROM_DATE Строка временной метки, указывающая самый ранний снимок для загрузки. Должна иметь формат YYYYMMDDhhss, хотя вы можете опустить столько конечных цифр, сколько хотите. Например, '201501' допустимо.
--to-date TO_DATE Строка временной метки, указывающая самый поздний снимок для загрузки. Должна иметь формат YYYYMMDDhhss, хотя вы можете опустить столько конечных цифр, сколько хотите. Например, '201604' допустимо.
--user-agent USER_AGENT Заголовок User-Agent, отправляемый с вашими запросами к Wayback Machine. По возможности укажите фразу 'waybackpack' и ваш адрес электронной почты. Таким образом, если вы перегружаете их серверы, они будут знать, с кем связаться. По умолчанию: 'waybackpack'.
--follow-redirects Следовать перенаправлениям.
--uniques-only Загружать только первую версию дублирующихся файлов.
--collapse COLLAPSE Параметр `collapse` archive.org. Например, --collapse timestamp:6 сокращает результаты до максимум одного в месяц. См. здесь: https://github.com/internetarchive/wayback/blob/master/wayback-cdx-server/README.md#collapsing
--ignore-errors Не завершать работу при не-HTTP ошибках, например, ChunkedEncodingError библиотеки requests. Вместо этого записать ошибку в журнал и продолжить. См. здесь: https://github.com/jsvine/waybackpack/issues/19
--max-retries MAX_RETRIES Сколько раз пытаться получить доступ к контенту с кодом состояния 4XX или 5XX, прежде чем пропустить?
--no-clobber Если файл уже существует (и размер > 0), не загружать его снова.
--quiet Не выводить прогресс в stderr.
--progress Показывать индикатор выполнения. Отключает стандартное протоколирование. Требует установки `tqdm`.
--delay DELAY Пауза X секунд между каждой загрузкой.
--delay-retry DELAY_RETRY Пауза X секунд между повторными попытками после ошибки.
Waypackback написан на чистом Python, зависит только от requests и должен работать везде, где работает Python. Требуется Python 3.3+.
Большое спасибо следующим пользователям за обнаружение ошибок, исправление опечаток и предложение полезных функций: