
자동화 감지 및 누출을 피하기 위한 puppeteer와 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 우회하는 데 도움이 됩니다. 패치 적용/해제가 쉽고, 필요에 따라 활성화/비활성화할 수 있습니다.
이 저장소에는 인기 있는 웹 자동화 라이브러리를 강화하기 위한 패치가 포함되어 있습니다. 구체적으로는 puppeteer 및 playwright 패키지를 대상으로 합니다.
자동화 라이브러리나 브라우저 동작의 일부 측면은 설정이나 명령줄 스위치로 조정할 수 없습니다. 따라서 우리는 라이브러리의 소스 코드를 패치하여 이러한 문제를 해결합니다. 이 접근 방식은 취약하며 시간이 지남에 따라 라이브러리의 소스 코드가 변경되면 깨질 수 있지만, 목표는 커뮤니티의 도움을 받아 이 저장소를 유지 관리하여 패치를 최신 상태로 유지하는 것입니다.
Puppeteer와 Playwright는 기본적으로 탐지하기 쉬운 몇 가지 심각한 누출을 포함하고 있습니다. 프록시, 핑거프린트, 행동 스크립트가 아무리 뛰어나더라도 패치가 적용되지 않았다면, 주요 웹사이트에게 당신은 그저 커다란 위험 신호일 뿐입니다.
🕵️ rebrowser-bot-detector (소스 및 세부 정보)를 사용하면 주요 현대적 탐지 기법에 대해 자동화 설정을 쉽게 테스트할 수 있습니다.
| 패치 전 👎 | 패치 후 👍 |
|---|---|
![]() | ![]() |
패치와 발생 가능한 모든 오류를 다루고 싶지 않다면, 드롭인 솔루션이 있습니다. 이 패키지들은 원본 코드 위에 rebrowser-patches를 적용한 것일 뿐, 그 이상은 아닙니다.
Puppeteer: rebrowser-puppeteer (소스 미러) 및 rebrowser-puppeteer-core (소스 미러)
Playwright (Node.js): rebrowser-playwright (소스 미러) 및 rebrowser-playwright-core (소스 미러)
Playwright (Python): rebrowser-playwright (소스 미러)
이들을 사용하는 가장 쉬운 방법은 원래 패키지 이름(npm 별칭)으로 설치하는 것입니다. 이렇게 하면 자동화 소스 코드를 변경할 필요가 없습니다. 프로젝트에서 이미 사용 중인 패키지만 설치하세요:
# Puppeteer
npm install puppeteer@npm:rebrowser-puppeteer puppeteer-core@npm:rebrowser-puppeteer-core
# Playwright
npm install playwright@npm:rebrowser-playwright playwright-core@npm:rebrowser-playwright-core
npm은 최신 버전을 설치하고 package.json에 "puppeteer": "npm:rebrowser-puppeteer@^…"로 저장합니다. yarn이나 pnpm을 사용하는 경우 동일한 인수로 yarn add 또는 pnpm add를 실행하세요.
또 다른 방법은 새 패키지 이름을 직접 사용하는 것입니다. 원본 패키지 대신 rebrowser-puppeteer와 rebrowser-puppeteer-core(또는 rebrowser-playwright와 rebrowser-playwright-core)를 설치한 다음, import에서 puppeteer를 rebrowser-puppeteer로(등등) 교체하세요.
Python의 경우 pip install rebrowser-playwright를 실행하고 playwright 대신 rebrowser_playwright에서 import하세요. 예: from rebrowser_playwright.sync_api import sync_playwright.
패키지는 원본 라이브러리의 버전 번호를 따릅니다. 이미 출시된 버전에 대한 수정 사항은 X.Y.100, X.Y.101 등으로 배포되므로, 원본 패키지의 버전에 맞추지 말고 항상 최신 버전을 설치하세요.
🚀 다 됐습니다! rebrowser-bot-detector 페이지를 방문하여 패치된 브라우저를 테스트해 보세요.
참고:
rebrowser-puppeteer는 설치 시 Chrome을 다운로드하고, rebrowser-playwright는 npx playwright install chromium이 필요합니다(또는 이미 보유한 Chrome과 함께 executablePath / channel: 'chrome'을 사용하세요).rebrowser-puppeteer와 rebrowser-playwright는 실제 이름으로 rebrowser-puppeteer-core / rebrowser-playwright-core에 의존합니다. 이전 버전은 npm 별칭을 사용했으며, 동일한 버전의 원본 puppeteer / playwright가 같은 프로젝트에 설치된 경우 npm이 드롭인에 조용히 패치되지 않은 코어를 제공했습니다(#74).우리의 목표는 이러한 드롭인 대체 패키지를 최신 버전으로 유지하고 지원하는 것이지만, 주로 최신 버전에 초점을 맞추고 있으므로, 아직도 90년대 초반의 puppeteer 13.3.7을 사용하고 있다면 업그레이드할 좋은 시기일 수 있습니다. API는 시간이 지나도 상당히 안정적이므로 실제로 문제가 발생할 가능성은 낮습니다.
Runtime.Enable 누출 수정인기 있는 자동화 라이브러리는 Runtime. 도메인에서 이벤트를 수신할 수 있게 해주는 CDP 명령 Runtime.Enable에 의존합니다. 이는 페이지에서 JavaScript를 평가하는 데 사용되는 실행 컨텍스트를 관리하는 데 필수적이며, 모든 자동화 프로세스의 핵심 기능입니다.
그러나 이 명령의 사용을 감지하여 브라우저가 Puppeteer나 Playwright 같은 자동화 소프트웨어에 의해 제어되고 있음을 드러내는 기법이 있습니다. 이 기법은 Cloudflare, DataDome 등 모든 주요 안티봇 소프트웨어에서 사용됩니다.
이 누출에 대한 조사 내용을 담은 전체 글을 블로그에서 확인할 수 있습니다.
이 기법에 대한 자세한 내용은 DataDome의 블로그 게시물을 참고하세요: How New Headless Chrome & the CDP Signal Are Impacting Bot Detection.
간단히 말해, Runtime.Enable이 사용된 경우 페이지에서 자동으로 호출되는 몇 줄의 JavaScript입니다.
우리의 수정은 모든 프레임에서 자동 Runtime.Enable 명령을 비활성화합니다. 대신 프레임이 생성될 때 알 수 없는 ID로 컨텍스트를 수동으로 생성합니다. 그런 다음 코드를 실행해야 할 때 컨텍스트 ID를 얻는 여러 가지 방법이 있습니다.
addBinding, 기본값).패치는 격리된 월드에서 프레임의 document를 읽고, 해당 노드를 프레임의 메인 월드에서 다시 확인한 뒤 결과에서 컨텍스트 ID를 가져옵니다. 페이지에서 아무것도 실행되지 않으며 페이지에 아무것도 추가되지 않습니다. 이 조회가 실패하는 경우에만 원래 기법으로 대체합니다. 즉, 메인 월드에 바인딩을 생성하고 호출하여 컨텍스트 ID를 저장합니다. 대체 기법은 스스로 정리하지만, 페이지가 잠시 동안 임의의 이름을 가진 전역 변수를 볼 수 있습니다.
🟢 장점: 메인 월드에 대한 접근을 유지하면서 웹 워커 및 iframe과 함께 작동하는 궁극적인 접근 방식입니다. 기존 코드베이스를 변경할 필요가 없습니다.
🔴 단점: 현재까지 발견된 단점은 없습니다.
Page.createIsolatedWorld를 통해 새로운 격리된 컨텍스트를 생성하고 해당 ID를 저장합니다.🟢 장점: 모든 코드가 별도의 격리된 월드에서 실행되어, 페이지 스크립트가 MutationObserver 및 기타 기법을 통해 변경 사항을 감지하는 것을 방지합니다.
🔴 단점: 메인 컨텍스트 변수와 코드에 접근할 수 없습니다. 일부 사용 사례에서는 이것이 필요하지만, 격리된 컨텍스트는 대부분의 시나리오에서 일반적으로 잘 작동합니다. 또한 웹 워커는 새로운 월드 생성을 허용하지 않으므로 워커 내부에서 코드를 실행할 수 없습니다. 이는 틈새 사용 사례이지만 일부 상황에서는 중요할 수 있습니다. 이 문제에 대한 해결 방법이 있으니 Puppeteer 및 Playwright의 격리된 컨텍스트에서 메인 컨텍스트 객체에 접근하는 방법을 읽어보세요.
Runtime.Enable을 호출한 다음 즉시 Runtime.Disable을 호출합니다.이렇게 하면 Runtime.executionContextCreated 이벤트가 트리거되어 적절한 컨텍스트 ID를 포착할 수 있습니다.
🟢 장점: 메인 컨텍스트에 완전히 접근할 수 있습니다.
🔴 단점: 이 짧은 시간 동안 페이지가 유출을 초래하는 코드를 호출할 약간의 가능성이 있습니다. 탐지 코드는 일반적으로 페이지 로드 직후 CAPTCHA 페이지나 로그인/등록 양식과 같은 특정 작업 중에 호출되므로 위험은 낮습니다. 비즈니스 로직은 보통 조금 더 나중에 호출됩니다.
🎉 테스트 결과, 현재 이 모든 접근 방식은 Cloudflare나 DataDome에서 탐지할 수 없는 것으로 나타났습니다.
참고: 환경 변수를 사용하여 이 패치의 설정을 즉석에서 변경할 수 있습니다. 이를 통해 비즈니스 로직에 따라 패치된 버전과 패치되지 않은 버전을 쉽게 전환할 수 있습니다.
REBROWSER_PATCHES_RUNTIME_FIX_MODE=addBinding — addBinding 기법(기본값). 메인 월드 접근을 유지하며 iframe 및 웹 워커와 함께 작동합니다.REBROWSER_PATCHES_RUNTIME_FIX_MODE=alwaysIsolated — 모든 스크립트를 항상 격리된 컨텍스트에서 실행합니다. 페이지 스크립트가 실행을 관찰할 수 없지만, 메인 월드 접근, page.exposeFunction() 및 (Puppeteer) 웹 워커를 잃게 됩니다.REBROWSER_PATCHES_RUNTIME_FIX_MODE=enableDisable — Enable/Disable 기법을 사용합니다. 권장하지 않음: 여전히 짧은 시간 동안 Runtime.enable을 호출하므로 완전히 유출이 없는 것은 아닙니다. 특정 페이지에서 addBinding이 실패하는 경우에만 사용하세요.REBROWSER_PATCHES_RUNTIME_FIX_MODE=0 — 이 유출에 대한 수정을 완전히 비활성화합니다REBROWSER_PATCHES_DEBUG=1 — 일부 디버깅 메시지를 활성화합니다이 변수들은 다양한 방식으로 설정할 수 있습니다. 예를 들어 코드에서 다음과 같이 설정할 수 있습니다:
process.env.REBROWSER_PATCHES_RUNTIME_FIX_MODE = "alwaysIsolated"
또는 명령줄에서:
REBROWSER_PATCHES_RUNTIME_FIX_MODE=alwaysIsolated node app.js
기본적으로 Puppeteer는 page.evaluate()의 모든 스크립트에 //# sourceURL=pptr:...를 추가하고, Playwright는 UtilityScript라는 헬퍼 클래스를 통해 page.evaluate()를 실행합니다. 여러분의 코드가 실행되는 동안 new Error().stack을 가져오는 페이지(예를 들어 여러분의 코드가 접근하는 getter에서)는 이러한 이름을 보고 자동화되고 있다는 것을 알 수 있습니다.