Web Scraping senza sforzo per il Web moderno

Metodi di selezione · Fetcher · Spider · Rotazione dei proxy · CLI · MCP

Scrapling è un framework Python per il Web Scraping che riunisce in un'unica libreria richieste HTTP veloci, browser stealth, parsing potente e crawling concorrente.

Esegui lo scraping di pagine statiche, renderizza JavaScript, interagisci con i siti web ed estrai dati dalle chiamate API che vi sono dietro. Crea crawler con sessioni riutilizzabili, rotazione dei proxy, tentativi automatici, pausa/ripresa ed esportazione dei dati integrata.

Usalo da Python, dal terminale o dal tuo agente AI tramite il suo server MCP e l'Agent Skill. Dall'estrazione di pochi campi alla raccolta di un intero sito web come Markdown pulito, Scrapling copre l'intero flusso di lavoro dello scraping.

Cosa puoi fare con Scrapling

• Recuperare e interagire: Richieste HTTP veloci, browser stealth, rendering JavaScript, gestione di Cloudflare Turnstile/Interstitial, sessioni persistenti e cattura delle API in background.
• Analizzare ed estrarre: Ricerca CSS, XPath, testo e regex, tracciamento adattivo degli elementi, corrispondenza di elementi simili e output Markdown pulito.
• Crawl ed esportazione: Spider concorrenti, rotazione dei proxy, tentativi, AutoThrottle, pausa/ripresa, streaming, template pronti all'uso ed esportazioni JSON/JSONL/CSV/XML.
• Scraping con l'AI o dal tuo terminale: Un server MCP per consentire agli agenti AI di navigare ed estrarre dati, un Agent Skill, comandi CLI e una shell interattiva.

Inizia con una singola pagina:

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Oppure scala con uno spider:

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

Questo stampa 10 e salva le citazioni e gli autori in quotes.json.