आधुनिक वेब के लिए सहज वेब स्क्रैपिंग

चयन विधियाँ · फ़ेचर · स्पाइडर · प्रॉक्सी रोटेशन · CLI · MCP

Scrapling एक Python वेब स्क्रैपिंग फ़्रेमवर्क है जो तेज़ HTTP अनुरोधों, स्टेल्थ ब्राउज़रों, शक्तिशाली पार्सिंग और समवर्ती क्रॉलिंग को एक ही लाइब्रेरी में लाता है।

स्टैटिक पेज स्क्रैप करें, JavaScript रेंडर करें, वेबसाइटों के साथ इंटरैक्ट करें, और उनके पीछे होने वाले API कॉल्स से डेटा निकालें। पुन: प्रयोज्य सेशन, प्रॉक्सी रोटेशन, स्वचालित पुन: प्रयास, पॉज़/रिज़्यूम और अंतर्निहित डेटा एक्सपोर्ट के साथ क्रॉलर बनाएँ।

इसे Python, टर्मिनल, या अपने AI एजेंट से इसके MCP सर्वर और Agent Skill के माध्यम से उपयोग करें। कुछ फ़ील्ड निकालने से लेकर पूरी वेबसाइट को साफ़ Markdown के रूप में एकत्र करने तक, Scrapling पूरे स्क्रैपिंग वर्कफ़्लो को कवर करता है।

Scrapling के साथ आप क्या कर सकते हैं

• फ़ेच करें और इंटरैक्ट करें: तेज़ HTTP अनुरोध, स्टेल्थ ब्राउज़र, JavaScript रेंडरिंग, Cloudflare Turnstile/Interstitial हैंडलिंग, स्थायी सेशन, और बैकग्राउंड API कैप्चर।
• पार्स करें और निकालें: CSS, XPath, टेक्स्ट और regex खोज, अनुकूली एलिमेंट ट्रैकिंग, समान-एलिमेंट मिलान, और साफ़ Markdown आउटपुट।
• क्रॉल करें और एक्सपोर्ट करें: समवर्ती स्पाइडर, प्रॉक्सी रोटेशन, पुन: प्रयास, AutoThrottle, पॉज़/रिज़्यूम, स्ट्रीमिंग, तैयार टेम्पलेट, और JSON/JSONL/CSV/XML एक्सपोर्ट।
• AI के साथ या अपने टर्मिनल से स्क्रैप करें: AI एजेंट्स के लिए ब्राउज़ करने और डेटा निकालने हेतु एक MCP सर्वर, एक Agent Skill, CLI कमांड, और एक इंटरैक्टिव शेल।

एक ही पेज से शुरू करें:

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

या स्पाइडर के साथ स्केल अप करें:

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

यह 10 प्रिंट करता है और उद्धरणों तथा लेखकों को quotes.json में सहेजता है।