
दिए गए URL के लिए पूरा Wayback Machine आर्काइव डाउनलोड करें।
Waybackpack एक कमांड-लाइन टूल है जो आपको किसी दिए गए URL के लिए संपूर्ण Wayback Machine संग्रह को डाउनलोड करने देता है।
उदाहरण के लिए, श्रम विभाग के होमपेज की 1996 (जो उस साइट के संग्रहीत होने का पहला वर्ष है) तक की हर प्रति डाउनलोड करने के लिए, आप चलाएंगे:
waybackpack http://www.dol.gov/ -d ~/Downloads/dol-wayback --to-date 1996
परिणाम:
~/Downloads/dol-wayback/
├── 19961102145216
│ └── www.dol.gov
│ └── index.html
├── 19961103063843
│ └── www.dol.gov
│ └── index.html
├── 19961222171647
│ └── www.dol.gov
│ └── index.html
└── 19961223193614
└── www.dol.gov
└── index.html
या, केवल सभी संग्रहीत स्नैपशॉट के URL प्रिंट करने के लिए:
waybackpack http://www.dol.gov/ --list
pip install waybackpack
usage: waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT]
[--from-date FROM_DATE] [--to-date TO_DATE]
[--user-agent USER_AGENT] [--follow-redirects]
[--uniques-only] [--collapse COLLAPSE] [--ignore-errors]
[--max-retries MAX_RETRIES] [--no-clobber] [--quiet]
[--progress] [--delay DELAY] [--delay-retry DELAY_RETRY]
url
positional arguments:
url उस संसाधन का URL जिसे आप डाउनलोड करना चाहते हैं।
options:
-h, --help यह सहायता संदेश दिखाएं और बाहर निकलें
--version प्रोग्राम का संस्करण नंबर दिखाएं और बाहर निकलें
-d DIR, --dir DIR फ़ाइलों को सहेजने के लिए निर्देशिका। यदि यह निर्देशिका पहले से मौजूद नहीं है तो इसे बनाएगा।
--list फ़ाइलों को डाउनलोड करने के बजाय, केवल स्नैपशॉट की सूची प्रिंट करें।
--raw फ़ाइल को उसकी मूल स्थिति में लाएं, बिना Wayback Machine या waybackpack द्वारा किसी प्रसंस्करण के।
--root ROOT वह मूल URL जिससे स्नैपशॉट किए गए संसाधनों को प्रस्तुत किया जाए। डिफ़ॉल्ट: 'https://web.archive.org'
--from-date FROM_DATE
टाइमस्टैम्प-स्ट्रिंग जो डाउनलोड करने के लिए सबसे पुराने स्नैपशॉट को इंगित करती है। प्रारूप YYYYMMDDhhss होना चाहिए, हालांकि आप जितने चाहें उतने अंतिम अंकों को छोड़ सकते हैं। उदा., '201501' मान्य है।
--to-date TO_DATE टाइमस्टैम्प-स्ट्रिंग जो डाउनलोड करने के लिए सबसे नए स्नैपशॉट को इंगित करती है। प्रारूप YYYYMMDDhhss होना चाहिए, हालांकि आप जितने चाहें उतने अंतिम अंकों को छोड़ सकते हैं। उदा., '201604' मान्य है।
--user-agent USER_AGENT
User-Agent हेडर जो आप Wayback Machine को भेजे गए अनुरोधों के साथ भेजेंगे। यदि संभव हो, तो कृपया 'waybackpack' और अपना ईमेल पता शामिल करें। इस तरह, यदि आप उनके सर्वरों पर भार डाल रहे हैं, तो वे जानेंगे कि किससे संपर्क करना है। डिफ़ॉल्ट: 'waybackpack'।
--follow-redirects रीडायरेक्ट का अनुसरण करें।
--uniques-only डुप्लिकेट फ़ाइलों का केवल पहला संस्करण डाउनलोड करें।
--collapse COLLAPSE एक archive.org `collapse` पैरामीटर। उदा., --collapse timestamp:6 परिणामों को प्रति माह अधिकतम एक तक सीमित करता है। यहाँ देखें: https://github.com/internetarchive/wayback/blob/master/wayback-cdx-server/README.md#collapsing
--ignore-errors गैर-HTTP त्रुटियों पर क्रैश न करें, उदा. requests लाइब्रेरी की ChunkedEncodingError। इसके बजाय, त्रुटि लॉग करें और जारी रखें। यहाँ देखें: https://github.com/jsvine/waybackpack/issues/19
--max-retries MAX_RETRIES
4XX या 5XX स्थिति कोड वाली सामग्री तक पहुँचने का कितनी बार प्रयास करना है, इससे पहले कि इसे छोड़ दें?
--no-clobber यदि कोई फ़ाइल पहले से मौजूद है (और फ़ाइल आकार >0), तो इसे पुनः डाउनलोड न करें।
--quiet stderr पर प्रगति लॉग न करें।
--progress प्रगति पट्टी प्रिंट करें। डिफ़ॉल्ट लॉगिंग को म्यूट करता है। `tqdm` स्थापित होना आवश्यक है।
--delay DELAY प्रत्येक फ़ेच के बीच X सेकंड सोएं।
--delay-retry DELAY_RETRY
प्रत्येक पोस्ट-एरर रीट्री के बीच X सेकंड सोएं।
Waybackpack शुद्ध Python में लिखा गया है, केवल requests पर निर्भर करता है, और जहाँ Python काम करता है वहाँ काम करना चाहिए। Python 3.3+ की आवश्यकता है।
बग पकड़ने, टाइपो सुधारने और उपयोगी सुविधाएँ सुझाने के लिए निम्नलिखित उपयोगकर्ताओं को बहुत-बहुत धन्यवाद: