आधुनिक वेब के लिए सहज वेब स्क्रैपिंग

चयन विधियाँ · फ़ेचर · स्पाइडर · प्रॉक्सी रोटेशन · CLI · MCP

Scrapling एक अनुकूली वेब स्क्रैपिंग फ्रेमवर्क है जो एकल अनुरोध से लेकर पूर्ण-स्तरीय क्रॉल तक सब कुछ संभालता है।

इसका पार्सर वेबसाइट परिवर्तनों से सीखता है और पेज अपडेट होने पर स्वचालित रूप से आपके एलिमेंट्स को पुनः स्थापित करता है। इसके फ़ेचर Cloudflare Turnstile जैसे एंटी-बॉट सिस्टम को बिना किसी अतिरिक्त सेटअप के बायपास करते हैं। और इसका स्पाइडर फ्रेमवर्क आपको pause/resume, स्वचालित प्रॉक्सी रोटेशन, और एक क्रॉल गति के साथ समवर्ती, मल्टी-सेशन क्रॉल तक स्केल करने देता है जो प्रत्येक वेबसाइट की प्रतिक्रिया गति के अनुकूल होती है और जब वह आपको ब्लॉक करना शुरू करती है तो पीछे हट जाती है - यह सब Python की कुछ पंक्तियों में। एक लाइब्रेरी, शून्य समझौते।

वास्तविक समय के आँकड़ों और स्ट्रीमिंग के साथ अत्यंत तेज़ क्रॉल। Web Scrapers द्वारा Web Scrapers और सामान्य उपयोगकर्ताओं के लिए बनाया गया, यहाँ सबके लिए कुछ न कुछ है।

from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
StealthyFetcher.adaptive = True
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)  # Fetch website under the radar!
products = p.css('.product', auto_save=True)                                        # Scrape data that survives website design changes!
products = p.css('.product', adaptive=True)                                         # Later, if the website structure changes, pass `adaptive=True` to find them!

या फिर पूर्ण क्रॉल तक स्केल करें

from scrapling.spiders import Spider, Response

class MySpider(Spider):
  name = "demo"
  start_urls = ["https://example.com/"]

  async def parse(self, response: Response):
      for item in response.css('.product'):
          yield {"title": item.css('h2::text').get()}

MySpider().start()