Framework di web scraping adattivo con bypass anti-bot, riposizionamento automatico degli elementi, crawling concorrente, rotazione dei proxy e automazione del browser per un'estrazione dati resiliente.
Scrapling è un framework adattivo per il Web Scraping che gestisce tutto, da una singola richiesta a una scansione su larga scala.
Il suo parser impara dai cambiamenti dei siti web e riposiziona automaticamente i tuoi elementi quando le pagine vengono aggiornate. I suoi fetcher aggirano i sistemi anti-bot come Cloudflare Turnstile fin da subito. E il suo framework per gli spider ti permette di scalare fino a scansioni concorrenti multi-sessione con pausa/ripresa, rotazione automatica dei proxy e una velocità di scansione che si adatta a quanto rapidamente risponde ogni sito web e rallenta quando inizia a bloccarti - tutto in poche righe di Python. Una sola libreria, zero compromessi.
Scansioni velocissime con statistiche in tempo reale e streaming. Creato da Web Scraper per Web Scraper e utenti comuni, c'è qualcosa per tutti.
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
StealthyFetcher.adaptive = True
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Fetch website under the radar!
products = p.css('.product', auto_save=True) # Scrape data that survives website design changes!
products = p.css('.product', adaptive=True) # Later, if the website structure changes, pass `adaptive=True` to find them!
Oppure aumenta fino a eseguire scansioni complete
from scrapling.spiders import Spider, Response
class MySpider(Spider):
name = "demo"
start_urls = ["https://example.com/"]
async def parse(self, response: Response):
for item in response.css('.product'):
yield {"title": item.css('h2::text').get()}
MySpider().start()
-DFE0E5){kind=icon}
