
قم بتنزيل أرشيف Wayback Machine بالكامل لعنوان URL معين.
Waybackpack هي أداة سطر أوامر تتيح لك تنزيل أرشيف Wayback Machine بالكامل لعنوان URL معين.
على سبيل المثال، لتنزيل كل نسخة من الصفحة الرئيسية لوزارة العمل حتى عام 1996 (والذي يصادف أنه أول عام تم فيه أرشفة الموقع)، يمكنك تشغيل:
waybackpack http://www.dol.gov/ -d ~/Downloads/dol-wayback --to-date 1996
النتيجة:
~/Downloads/dol-wayback/
├── 19961102145216
│ └── www.dol.gov
│ └── index.html
├── 19961103063843
│ └── www.dol.gov
│ └── index.html
├── 19961222171647
│ └── www.dol.gov
│ └── index.html
└── 19961223193614
└── www.dol.gov
└── index.html
أو، فقط لطباعة عناوين URL لجميع اللقطات المؤرشفة:
waybackpack http://www.dol.gov/ --list
pip install waybackpack
usage: waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT]
[--from-date FROM_DATE] [--to-date TO_DATE]
[--user-agent USER_AGENT] [--follow-redirects]
[--uniques-only] [--collapse COLLAPSE] [--ignore-errors]
[--max-retries MAX_RETRIES] [--no-clobber] [--quiet]
[--progress] [--delay DELAY] [--delay-retry DELAY_RETRY]
url
positional arguments:
url عنوان URL للمورد الذي تريد تنزيله.
options:
-h, --help عرض رسالة المساعدة هذه والخروج.
--version عرض رقم إصدار البرنامج والخروج.
-d DIR, --dir DIR الدليل لحفظ الملفات. سيتم إنشاء هذا الدليل إذا لم يكن موجودًا بالفعل.
--list بدلاً من تنزيل الملفات، قم فقط بطباعة قائمة اللقطات.
--raw جلب الملف بحالته الأصلية، دون أي معالجة من Wayback Machine أو waybackpack.
--root ROOT عنوان URL الجذر الذي سيتم من خلاله تقديم الموارد الملتقطة. الافتراضي: 'https://web.archive.org'
--from-date FROM_DATE
سلسلة طابع زمني تشير إلى أقدم لقطة لتنزيلها. يجب أن تأخذ التنسيق YYYYMMDDhhss،
على الرغم من أنه يمكنك حذف العديد من الأرقام اللاحقة كما تريد. مثال: '201501' صالح.
--to-date TO_DATE سلسلة طابع زمني تشير إلى أحدث لقطة لتنزيلها. يجب أن تأخذ التنسيق YYYYMMDDhhss،
على الرغم من أنه يمكنك حذف العديد من الأرقام اللاحقة كما تريد. مثال: '201604' صالح.
--user-agent USER_AGENT
ترويسة User-Agent لإرسالها مع طلباتك إلى Wayback Machine. إذا أمكن، يرجى تضمين
العبارة 'waybackpack' وعنوان بريدك الإلكتروني. بهذه الطريقة، إذا كنت تسبب ضغطًا على خوادمهم،
فإنهم يعرفون بمن يتصلون. الافتراضي: 'waybackpack'.
--follow-redirects اتباع عمليات إعادة التوجيه.
--uniques-only تنزيل النسخة الأولى فقط من الملفات المكررة.
--collapse COLLAPSE معامل `collapse` من archive.org. مثال: --collapse
timestamp:6 يقلص النتائج إلى لقطة واحدة على الأكثر شهريًا.
انظر هنا: https://github.com/internetarchive/wa
yback/blob/master/wayback-cdx-
server/README.md#collapsing
--ignore-errors لا تتعطل في الأخطاء غير HTTP مثل خطأ ChunkedEncodingError من مكتبة requests.
بدلاً من ذلك، سجل الخطأ واستمر. انظر هنا:
https://github.com/jsvine/waybackpack/issues/19
--max-retries MAX_RETRIES
كم مرة تحاول الوصول إلى المحتوى برمز حالة 4XX أو 5XX قبل التخطي؟
--no-clobber إذا كان الملف موجودًا بالفعل (وبحجم ملف أكبر من 0)، لا تقم بتنزيله مرة أخرى.
--quiet لا تسجل التقدم إلى stderr.
--progress طباعة شريط التقدم. يقوم بإسكات التسجيل الافتراضي. يتطلب تثبيت `tqdm`.
--delay DELAY النوم لعدد X ثوانٍ بين كل عملية جلب.
--delay-retry DELAY_RETRY
النوم لعدد X ثوانٍ بين كل محاولة إعادة بعد الخطأ.
Waybackpack مكتوب بلغة Python الخالصة، ويعتمد فقط على requests، ويجب أن يعمل أينما يعمل Python. يتطلب Python 3.3+.
شكر جزيل للمستخدمين التاليين على اكتشاف الأخطاء، وتصحيح الأخطاء المطبعية، واقتراح ميزات مفيدة: