d4vinci/scraplingFramework de scraping web adaptatif avec contournement anti-bot, relocalisation automatique des éléments, exploration simultanée, rotation de proxys et automatisation du navigateur pour une extraction de données résiliente.
Méthodes de sélection · Fetchers · Spiders · Rotation de proxy · CLI · MCP
Scrapling est un framework de Web Scraping adaptatif qui gère tout, d'une simple requête à un crawl à grande échelle.
Son parser apprend des modifications de sites web et relocalise automatiquement vos éléments lorsque les pages sont mises à jour. Ses fetchers contournent les systèmes anti-bot comme Cloudflare Turnstile nativement. Et son framework Spider vous permet de monter en charge vers des crawls concurrents multi-sessions avec pause/reprise et rotation automatique de proxy - le tout en quelques lignes de Python. Une seule bibliothèque, zéro compromis.
Des crawls ultra-rapides avec des statistiques en temps réel et du streaming. Conçu par des Web Scrapers pour des Web Scrapers et des utilisateurs réguliers, il y en a pour tout le monde.
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
StealthyFetcher.adaptive = True
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Récupérer un site web en toute discrétion !
products = p.css('.product', auto_save=True) # Scraper des données qui survivent aux changements de design !
products = p.css('.product', adaptive=True) # Plus tard, si la structure du site change, passez `adaptive=True` pour les retrouver !
Ou montez en charge vers des crawls complets
from scrapling.spiders import Spider, Response
class MySpider(Spider):
name = "demo"
start_urls = ["https://example.com/"]
async def parse(self, response: Response):
for item in response.css('.product'):
yield {"title": item.css('h2::text').get()}
MySpider().start()
