VOCÊ                                              SCRAPPER
  │                                                  │
  ├── Abra Brave/Chrome/Firefox com extensão ──────►│
  │                                                  │
  ├── Faça login nos sites que deseja automatizar ──►│ captura:
  │                                                  │  • Cookies
  ├── Navegue normalmente, clique em botões ────────►│  • Tokens
  │                                                  │  • Impressão digital
  └── Termine de navegar ──────────────────────────►│  • Requisições de API
                                                     │  • Estrutura DOM

SEU SCRIPT ──── GET /api/v1/session/all ────► API SCRAPPER (localhost:8080)
              ◄── { cookies, tokens, fingerprint } ────────────────────────┘
                │
                ▼
         Puppeteer / Playwright / Selenium / Python requests / curl
                │
                ▼
         ✅ Requisições autenticadas com SUA sessão real

📦 Dados da Sessão
   ├── 🍪 Cookies (incluindo HttpOnly, Secure, todos os domínios)
   ├── 💾 localStorage & sessionStorage
   ├── 🔑 Tokens de autenticação (Bearer, JWT, CSRF, personalizados)
   └── 📨 Todos os cabeçalhos HTTP

🖥️ Impressão Digital do Navegador
   ├── 📱 User Agent
   ├── 🖼️ Resolução da tela e profundidade de cor
   ├── 🌍 Fuso horário e configurações de idioma
   └── 📨 Conjunto completo de cabeçalhos (Accept, Accept-Language, etc.)

📡 Tráfego de Rede
   ├── 📤 Todas as requisições HTTP (URLs, métodos, cabeçalhos, dados POST)
   ├── 📥 Todas as respostas HTTP (status, cabeçalhos, corpos)
   └── 🔄 Frames WebSocket

🌳 Estado do DOM
   ├── 📄 Instantâneos do DOM
   ├── 🎯 Teste de seletores ao vivo
   └── 🗺️ Mapas DOM (todas as tags, classes, IDs)

curl -fsSL https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.sh | bash

# Passo 1 — Carregar extensão no Brave:
# brave://extensions → Modo desenvolvedor ATIVADO → Carregar expandida
# → selecione: ~/.scrapper/extension/brave/

# Passo 2 — Registrar seu ID de extensão
scrapper-register-ext SEU_ID_DE_EXTENSÃO

# Passo 3 — Iniciar SCRAPPER
scrapper-start

# Passo 4 — Abrir painel
# http://localhost:8080

# Clone o repositório
git clone https://github.com/BunElysiaReact/SCRAPY.git ~/scrapper
cd ~/scrapper

# Compile o host nativo C
gcc -O2 -o linux/c_core/native_host/debug_host linux/c_core/native_host/debug_host.c -lpthread

# Compile o motor de seletores Rust
cd linux/rust_finder && cargo build --release && cd ../..

# Inicie o servidor API
cd linux/python_api && python3 api.py

irm https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.ps1 | iex

%USERPROFILE%\.scrapper\
├── bin\
│   ├── debug_host.exe         ← Host de mensagens nativas C
│   ├── scraper_cli.exe        ← CLI cliente
│   ├── rust_finder.exe        ← Motor rápido de seletores HTML
│   ├── scrapper-start.bat     ← Iniciar tudo
│   └── scrapper-stop.bat      ← Parar tudo
├── data\                      ← Todos os dados de sessão capturados
├── logs\                      ← Logs do host
├── python_api\
│   └── api.py                 ← Servidor da API REST
├── extension\
│   ├── brave\                 ← Carregar no Brave / Chrome / Edge
│   └── firefox\               ← Carregar no Firefox
└── ui\scrapperui\             ← Código fonte do painel

from curl_cffi import requests

API = "http://localhost:8080"
domain = "example.com"

cookies_raw = requests.get(f"{API}/api/v1/session/cookies?domain={domain}").json()
fp = requests.get(f"{API}/api/v1/fingerprint?domain={domain}").json()

session = requests.Session(impersonate="chrome120")
for c in cookies_raw:
    session.cookies.set(c["name"], c["value"], domain=c.get("domain", domain).lstrip("."))
session.headers.update({"User-Agent": fp.get("userAgent", "")})

response = session.get(f"https://{domain}/api/data")
print(response.json())

import requests

session_data = requests.get('http://localhost:8080/api/v1/session/all').json()

s = requests.Session()
s.cookies.update({c['name']: c['value'] for c in session_data['cookies']})
s.headers.update({'User-Agent': session_data['fingerprint']['userAgent']})

response = s.get('https://api.example.com/data')

source <(curl -s http://localhost:8080/api/v1/export/env)

curl -X POST "https://api.example.com/upload" \
  -H "Authorization: Bearer $SCRAPPER_BEARER_TOKEN" \
  -b "$SCRAPPER_COOKIES" \
  -F "[email protected]"

import requests
from playwright.async_api import async_playwright

session = requests.get('http://localhost:8080/api/v1/session/all').json()

async with async_playwright() as p:
    context = await p.chromium.launch_persistent_context(
        user_data_dir="./profile",
        user_agent=session['fingerprint']['userAgent'],
    )
    await context.add_cookies(session['cookies'])
    page = await context.new_page()
    await page.goto('https://example.com')

const session = await fetch('http://localhost:8080/api/v1/session/all').then(r => r.json());

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.setCookie(...session.cookies);
await page.setUserAgent(session.fingerprint.userAgent);
await page.goto('https://example.com/dashboard');

# Exportar dados de sessão mais recentes
curl -s "http://localhost:8080/api/v1/bulk/all?format=jsonl" > session.jsonl

# Usar em seu scraper
python3 my-scraper.py --session session.jsonl

# session_refresh.py — Pipeline de atualização semanal de sessão
import requests, schedule, time

def refresh_session():
    notify_user("Por favor, faça login nos sites alvo em seu navegador")
    time.sleep(300)  # 5 minutos para o usuário navegar
    data = requests.get('http://localhost:8080/api/v1/bulk/all?format=json').json()
    with open(f'session_{int(time.time())}.json', 'w') as f:
        import json; json.dump(data, f)

schedule.every().monday.at("09:00").do(refresh_session)
while True:
    schedule.run_pending()
    time.sleep(60)