everywall/ladderSelbst gehostete Alternative zu 12ft.io. und 1ft.io. Proxy zum Entfernen von CORS-Headern und Modifizieren von HTML.
Ladder ist ein HTTP-Webproxy.
Ladder ist ein Entwicklerwerkzeug zum Testen und Analysieren von Paywall-Implementierungen und des Content-Delivery-Verhaltens moderner Websites.
Es ermöglicht Entwicklern, Forschern und Publishern, verschiedene Client-Umgebungen (wie Browser und Crawler) zu simulieren und zu beobachten, wie Inhalte unter verschiedenen Bedingungen ausgeliefert werden. Das ist nützlich zum Debuggen von Paywall-Konfigurationen, zur Überprüfung von Zugriffskontrollen, HTTP-Headern und zur Sicherstellung konsistenten Verhaltens über verschiedene User Agents hinweg.
Ladder ist ausschließlich für legitime Test-, Forschungs- und Qualitätssicherungszwecke gedacht. Es sollte nur in Übereinstimmung mit geltendem Recht und den Nutzungsbedingungen der Zielwebsite verwendet werden.
sequenceDiagram
client->>+ladder: GET
ladder-->>ladder: apply RequestModifications
ladder->>+website: GET
website->>-ladder: 200 OK
ladder-->>ladder: apply ResultModifications
ladder->>-client: 200 OK
Manche Websites liefern je nach Art des zugreifenden Clients unterschiedliche Inhalte aus (Cloaking) – zum Beispiel Suchmaschinen-Crawler gegenüber Standard-Webbrowsern. Ladder kann so konfiguriert werden, dass es verschiedene Client-Typen emuliert, um öffentlich zugängliche Inhalte für Test-, Automatisierungs- oder Forschungszwecke abzurufen.
Viele Websites setzen jedoch fortschrittliche Mechanismen ein, um automatisierten Zugriff einzuschränken, etwa Fingerprinting, Rate Limiting oder Verhaltensanalyse. Ladder umgeht solche Schutzmaßnahmen nicht und funktioniert möglicherweise nicht korrekt auf Diensten, die den Zugriff aktiv einschränken oder kontrollieren.
Es gibt Drittanbieter-Tools wie FlareSolverr, die unabhängig verwendet werden können, um Webseiten in einer Headless-Browser-Umgebung darzustellen. Diese Tools sind nicht Teil von Ladder, und ihre Verwendung kann rechtlichen und vertraglichen Beschränkungen unterliegen. Die Nutzer sind allein dafür verantwortlich, dass ihre Nutzung allen geltenden Vorschriften entspricht.
Warnung: Wenn Ihre Instanz öffentlich erreichbar sein wird, aktivieren Sie unbedingt Basic Auth. Dadurch wird verhindert, dass unautorisierte Benutzer Ihren Proxy verwenden. Wenn Sie Basic Auth nicht aktivieren, kann jeder Ihren Proxy zum Besuchen unangenehmer/illegaler Inhalte nutzen. Und Sie werden dafür verantwortlich gemacht.
./ladder -r https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yamldocker run -p 8080:8080 -d --env RULESET=https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml --name ladder ghcr.io/everywall/ladder:latest
curl https://raw.githubusercontent.com/everywall/ladder/main/docker-compose.yaml --output docker-compose.yaml
docker-compose up -d
Weitere Informationen finden Sie in der README.md im Unterverzeichnis helm-chart: README.md.
Oder direkt, indem die URL an das Ende der Proxy-URL angehängt wird: http://localhost:8080/https://www.example.com
Oder ein Lesezeichen mit der folgenden URL erstellen:
javascript:window.location.href="http://localhost:8080/"+location.href
curl -X GET "http://localhost:8080/api/https://www.example.com"
http://localhost:8080/raw/https://www.example.com
| Variable | Beschreibung | Wert |
|---|---|---|
PORT | Port, auf dem der Server lauschen soll | 8080 |
PREFORK | Mehrere Serverinstanzen starten | false |
USER_AGENT | Zu emulierender User Agent | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
X_FORWARDED_FOR | IP-Adresse des Weiterleiters | 66.249.66.1 |
USERPASS | Aktiviert Basic Auth, Format admin:123456 | `` |
LOG_URLS | Abgerufene URLs protokollieren | true |
DISABLE_FORM | Deaktiviert das URL-Formular auf der Startseite | false |
FORM_PATH | Pfad zu benutzerdefiniertem Formular-HTML | `` |
RULESET | Pfad oder URL zu einer Ruleset-Datei; akzeptiert lokale Verzeichnisse | https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml oder /path/to/my/rules.yaml oder /path/to/my/rules/ |
EXPOSE_RULESET | Eigenes Ruleset für andere Ladder-Instanzen bereitstellen | true |
ALLOWED_DOMAINS | Kommagetrennte Liste erlaubter Domains. Leer = keine Einschränkungen | `` |
ALLOWED_DOMAINS_RULESET | Domains aus dem Ruleset erlauben. false = keine Einschränkungen | false |
FLARESOLVERR_HOST | URL für den FlareSolverr-Dienst zum Cloudflare-Bypass (optional) | http://localhost:8191 |
ALLOWED_DOMAINS und ALLOWED_DOMAINS_RULESET werden kombiniert. Sind beide leer, gelten keine Einschränkungen.
| BASE_PATH | Basis-Pfad für den Proxy; nützlich, wenn der Proxy unter einem Unterpfad laufen soll (z. B. http://localhost:8080/proxy/) | `` |
Es ist möglich, benutzerdefinierte Regeln anzuwenden, um die Antwort oder die angeforderte URL zu ändern. Damit können unerwünschte Elemente von der Seite entfernt oder geändert werden. Das Ruleset ist eine YAML-Datei, ein Verzeichnis mit YAML-Dateien oder eine URL zu einer YAML-Datei, die eine Liste von Regeln für jede Domain enthält. Diese Regeln werden beim Start geladen.