ВЫ                                              SCRAPPER
  │                                                  │
  ├── Открываете Brave/Chrome/Firefox с расширением ──────►│
  │                                                  │
  ├── Входите на сайты, которые хотите автоматизировать ──────►│ захватывает:
  │                                                  │  • Куки
  ├── Обычно просматриваете, нажимаете кнопки ────────────────►│  • Токены
  │                                                  │  • Отпечаток
  └── Завершаете просмотр ─────────────────────────────────►│  • API-запросы
                                                     │  • DOM-структуру

ВАШ СКРИПТ ──── GET /api/v1/session/all ────► API SCRAPPER (localhost:8080)
              ◄── { cookies, tokens, fingerprint } ────────────────────────┘
                │
                ▼
         Puppeteer / Playwright / Selenium / Python requests / curl
                │
                ▼
         ✅ Авторизованные запросы с ВАШЕЙ реальной сессией

📦 Данные сессии
   ├── 🍪 Куки (включая HttpOnly, Secure, все домены)
   ├── 💾 localStorage и sessionStorage
   ├── 🔑 Токены аутентификации (Bearer, JWT, CSRF, кастомные)
   └── 📨 Все HTTP-заголовки

🖥️ Отпечаток браузера
   ├── 📱 User Agent
   ├── 🖼️ Разрешение экрана и глубина цвета
   ├── 🌍 Настройки часового пояса и языка
   └── 📨 Полный набор заголовков (Accept, Accept-Language, и т.д.)

📡 Сетевой трафик
   ├── 📤 Все HTTP-запросы (URL, методы, заголовки, POST-данные)
   ├── 📥 Все HTTP-ответы (статус, заголовки, тела)
   └── 🔄 WebSocket-фреймы

🌳 DOM-состояние
   ├── 📄 DOM-снимки
   ├── 🎯 Тестирование селекторов вживую
   └── 🗺️ DOM-карты (все теги, классы, ID)

curl -fsSL https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.sh | bash

# Шаг 1 — Загрузите расширение в Brave:
# brave://extensions → Включить режим разработчика → Загрузить распакованное
# → выберите: ~/.scrapper/extension/brave/

# Шаг 2 — Зарегистрируйте ID расширения
scrapper-register-ext ID_ВАШЕГО_РАСШИРЕНИЯ

# Шаг 3 — Запустите SCRAPPER
scrapper-start

# Шаг 4 — Откройте панель управления
# http://localhost:8080

# Клонируйте репозиторий
git clone https://github.com/BunElysiaReact/SCRAPY.git ~/scrapper
cd ~/scrapper

# Соберите C-native host
gcc -O2 -o linux/c_core/native_host/debug_host linux/c_core/native_host/debug_host.c -lpthread

# Соберите движок селекторов на Rust
cd linux/rust_finder && cargo build --release && cd ../..

# Запустите API-сервер
cd linux/python_api && python3 api.py

irm https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.ps1 | iex

%USERPROFILE%\.scrapper\
├── bin\
│   ├── debug_host.exe         ← C-хост native messaging
│   ├── scraper_cli.exe        ← CLI-клиент
│   ├── rust_finder.exe        ← Быстрый движок HTML-селекторов
│   ├── scrapper-start.bat     ← Запустить всё
│   └── scrapper-stop.bat      ← Остановить всё
├── data\                      ← Все захваченные данные сессий
├── logs\                      ← Логи хоста
├── python_api\
│   └── api.py                 ← REST API-сервер
├── extension\
│   ├── brave\                 ← Загрузить в Brave / Chrome / Edge
│   └── firefox\               ← Загрузить в Firefox
└── ui\scrapperui\             ← Исходный код панели управления

from curl_cffi import requests

API = "http://localhost:8080"
domain = "example.com"

cookies_raw = requests.get(f"{API}/api/v1/session/cookies?domain={domain}").json()
fp = requests.get(f"{API}/api/v1/fingerprint?domain={domain}").json()

session = requests.Session(impersonate="chrome120")
for c in cookies_raw:
    session.cookies.set(c["name"], c["value"], domain=c.get("domain", domain).lstrip("."))
session.headers.update({"User-Agent": fp.get("userAgent", "")})

response = session.get(f"https://{domain}/api/data")
print(response.json())

import requests

session_data = requests.get('http://localhost:8080/api/v1/session/all').json()

s = requests.Session()
s.cookies.update({c['name']: c['value'] for c in session_data['cookies']})
s.headers.update({'User-Agent': session_data['fingerprint']['userAgent']})

response = s.get('https://api.example.com/data')

source <(curl -s http://localhost:8080/api/v1/export/env)

curl -X POST "https://api.example.com/upload" \
  -H "Authorization: Bearer $SCRAPPER_BEARER_TOKEN" \
  -b "$SCRAPPER_COOKIES" \
  -F "[email protected]"

import requests
from playwright.async_api import async_playwright

session = requests.get('http://localhost:8080/api/v1/session/all').json()

async with async_playwright() as p:
    context = await p.chromium.launch_persistent_context(
        user_data_dir="./profile",
        user_agent=session['fingerprint']['userAgent'],
    )
    await context.add_cookies(session['cookies'])
    page = await context.new_page()
    await page.goto('https://example.com')

const session = await fetch('http://localhost:8080/api/v1/session/all').then(r => r.json());

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.setCookie(...session.cookies);
await page.setUserAgent(session.fingerprint.userAgent);
await page.goto('https://example.com/dashboard');

# Экспорт последних данных сессии
curl -s "http://localhost:8080/api/v1/bulk/all?format=jsonl" > session.jsonl

# Использование в вашем скрапере
python3 my-scraper.py --session session.jsonl

# session_refresh.py — Еженедельный конвейер обновления сессий
import requests, schedule, time

def refresh_session():
    notify_user("Пожалуйста, войдите на целевые сайты в вашем браузере")
    time.sleep(300)  # 5 минут для просмотра пользователем
    data = requests.get('http://localhost:8080/api/v1/bulk/all?format=json').json()
    with open(f'session_{int(time.time())}.json', 'w') as f:
        import json; json.dump(data, f)

schedule.every().monday.at("09:00").do(refresh_session)
while True:
    schedule.run_pending()
    time.sleep(60)