사용자                                            SCRAPPER
  │                                                  │
  ├── Brave/Chrome/Firefox를 확장 프로그램과 함께 열기 ──────►│
  │                                                  │
  ├── 자동화하려는 사이트에 로그인 ─────────────────────────────►│ 캡처:
  │                                                  │  • 쿠키
  ├── 정상적으로 탐색, 버튼 클릭 ──────────────────────────►│  • 토큰
  │                                                  │  • 지문
  └── 탐색 완료 ─────────────────────────────────────►│  • API 요청
                                                     │  • DOM 구조

사용자 스크립트 ──── GET /api/v1/session/all ────► SCRAPPER API (localhost:8080)
              ◄── { cookies, tokens, fingerprint } ────────────────────────┘
                │
                ▼
         Puppeteer / Playwright / Selenium / Python requests / curl
                │
                ▼
         ✅ 사용자의 실제 세션으로 인증된 요청

📦 세션 데이터
   ├── 🍪 쿠키 (HttpOnly, Secure, 모든 도메인 포함)
   ├── 💾 localStorage 및 sessionStorage
   ├── 🔑 인증 토큰 (Bearer, JWT, CSRF, 사용자 정의)
   └── 📨 모든 HTTP 헤더

🖥️ 브라우저 지문
   ├── 📱 사용자 에이전트
   ├── 🖼️ 화면 해상도 및 색상 깊이
   ├── 🌍 시간대 및 언어 설정
   └── 📨 전체 헤더 세트 (Accept, Accept-Language 등)

📡 네트워크 트래픽
   ├── 📤 모든 HTTP 요청 (URL, 메서드, 헤더, POST 데이터)
   ├── 📥 모든 HTTP 응답 (상태, 헤더, 본문)
   └── 🔄 WebSocket 프레임

🌳 DOM 상태
   ├── 📄 DOM 스냅샷
   ├── 🎯 실시간 선택자 테스트
   └── 🗺️ DOM 맵 (모든 태그, 클래스, ID)

curl -fsSL https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.sh | bash

# 1단계 — Brave에서 확장 프로그램 로드:
# brave://extensions → 개발자 모드 켜기 → 압축 해제된 확장 프로그램 로드
# → ~/.scrapper/extension/brave/ 선택

# 2단계 — 확장 프로그램 ID 등록
scrapper-register-ext YOUR_EXTENSION_ID

# 3단계 — SCRAPPER 시작
scrapper-start

# 4단계 — 대시보드 열기
# http://localhost:8080

# 저장소 복제
git clone https://github.com/BunElysiaReact/SCRAPY.git ~/scrapper
cd ~/scrapper

# C 네이티브 호스트 빌드
gcc -O2 -o linux/c_core/native_host/debug_host linux/c_core/native_host/debug_host.c -lpthread

# Rust 선택자 엔진 빌드
cd linux/rust_finder && cargo build --release && cd ../..

# API 서버 시작
cd linux/python_api && python3 api.py

irm https://raw.githubusercontent.com/BunElysiaReact/SCRAPY/main/install.ps1 | iex

%USERPROFILE%\.scrapper\
├── bin\
│   ├── debug_host.exe         ← C 네이티브 메시징 호스트
│   ├── scraper_cli.exe        ← CLI 클라이언트
│   ├── rust_finder.exe        ← 빠른 HTML 선택자 엔진
│   ├── scrapper-start.bat     ← 모든 것 시작
│   └── scrapper-stop.bat      ← 모든 것 중지
├── data\                      ← 모든 캡처된 세션 데이터
├── logs\                      ← 호스트 로그
├── python_api\
│   └── api.py                 ← REST API 서버
├── extension\
│   ├── brave\                 ← Brave / Chrome / Edge에 로드
│   └── firefox\               ← Firefox에 로드
└── ui\scrapperui\             ← 대시보드 소스

from curl_cffi import requests

API = "http://localhost:8080"
domain = "example.com"

cookies_raw = requests.get(f"{API}/api/v1/session/cookies?domain={domain}").json()
fp = requests.get(f"{API}/api/v1/fingerprint?domain={domain}").json()

session = requests.Session(impersonate="chrome120")
for c in cookies_raw:
    session.cookies.set(c["name"], c["value"], domain=c.get("domain", domain).lstrip("."))
session.headers.update({"User-Agent": fp.get("userAgent", "")})

response = session.get(f"https://{domain}/api/data")
print(response.json())

import requests

session_data = requests.get('http://localhost:8080/api/v1/session/all').json()

s = requests.Session()
s.cookies.update({c['name']: c['value'] for c in session_data['cookies']})
s.headers.update({'User-Agent': session_data['fingerprint']['userAgent']})

response = s.get('https://api.example.com/data')

source <(curl -s http://localhost:8080/api/v1/export/env)

curl -X POST "https://api.example.com/upload" \
  -H "Authorization: Bearer $SCRAPPER_BEARER_TOKEN" \
  -b "$SCRAPPER_COOKIES" \
  -F "[email protected]"

import requests
from playwright.async_api import async_playwright

session = requests.get('http://localhost:8080/api/v1/session/all').json()

async with async_playwright() as p:
    context = await p.chromium.launch_persistent_context(
        user_data_dir="./profile",
        user_agent=session['fingerprint']['userAgent'],
    )
    await context.add_cookies(session['cookies'])
    page = await context.new_page()
    await page.goto('https://example.com')

const session = await fetch('http://localhost:8080/api/v1/session/all').then(r => r.json());

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.setCookie(...session.cookies);
await page.setUserAgent(session.fingerprint.userAgent);
await page.goto('https://example.com/dashboard');

# 최신 세션 데이터 내보내기
curl -s "http://localhost:8080/api/v1/bulk/all?format=jsonl" > session.jsonl

# 스크래퍼에서 사용
python3 my-scraper.py --session session.jsonl

# session_refresh.py — 주간 세션 새로고침 파이프라인
import requests, schedule, time

def refresh_session():
    notify_user("브라우저에서 대상 사이트에 로그인해 주세요")
    time.sleep(300)  # 사용자 탐색을 위한 5분
    data = requests.get('http://localhost:8080/api/v1/bulk/all?format=json').json()
    with open(f'session_{int(time.time())}.json', 'w') as f:
        import json; json.dump(data, f)

schedule.every().monday.at("09:00").do(refresh_session)
while True:
    schedule.run_pending()
    time.sleep(60)