Pyison

Pyison es un tarpit para rastreadores web de IA

Introducción

• Como todos los rastreadores web, los bots de IA solicitan páginas a los servidores web y luego siguen los enlaces de la página a otras páginas. Al hacer esto, pueden construir un índice de todo un sitio web.
  • Sin embargo, a diferencia de otros rastreadores web, los bots de IA presentan algunos problemas particulares
    • Los administradores de servidores pueden configurar un archivo robots.txt, que indica a los rastreadores web qué páginas deben y no deben rastrear.
      • Se ha descubierto que algunos rastreadores de IA ignoran este archivo. Existen preocupaciones de privacidad y derechos de autor al permitir que estos bots utilicen los datos de un sitio web para entrenar LLMs, especialmente cuando el usuario ha optado explícitamente por excluirse del rastreo.
      • Algunos rastreadores también ignoran la limitación de velocidad. Cuando solicitan páginas lo más rápido posible, pueden generar una carga significativa en un servidor web.
  • Aquí entra Pyison. Al igual que otros tarpits para rastreadores de IA (Nepenthes, Iocane), Pyison alimenta a los rastreadores web con una lista interminable de enlaces a otras páginas de su sitio. Esto atrapa a los rastreadores en un único sitio, donde navegarán sin fin por un mar de enlaces en constante crecimiento.
    • Mantener a los rastreadores de IA atrapados en un solo lugar evita que indexen otras partes del sitio que el propietario podría no querer alimentar a los LLMs.
    • Al mismo tiempo, estas páginas pueden contener toneladas de texto inútil. Cuando los LLMs incorporan este texto a sus modelos, pueden ser gradualmente "envenenados", ya que la entrada aleatoria hará que sus respuestas sean menos coherentes.

Motivaciones

• Crear software útil para hacer frente al aumento del robo de contenido por parte de los LLMs
• Resolver problemas en los tarpits de IA existentes:
  • Generar texto aleatorio sin usar una cadena de Markov, LLMs ni muestras de escritura existentes
  • No distinguir a los bots de IA por la cabecera User-Agent, ya que los rastreadores suelen disfrazarse de usuarios normales
  • Diseñar un sitio realista parecido a un blog para evitar ser detectado
    • Crear un framework extremadamente personalizable que permita una configuración adicional
  • Proporcionar una solución que pueda integrarse fácilmente en un sitio web existente
    • Compatible con proxies inversos/servidores web específicos pero no los requiere; ofrece configuración de sub-ruta con un ajuste de document root
  • Ejecutarse con una huella pequeña en lugar de un CMS completo o un servidor web repleto de funciones

Especificaciones técnicas

• Este proyecto ejecuta un servidor web dinámico utilizando la biblioteca HTTPServer de Python
• Las frases se generan con una mezcla 50/50 entre palabras inglesas aleatorias y "palabras vacías"
• Pyison utiliza una sal global junto con la URL de la página para alimentar su RNG. Esto garantiza que, si los rastreadores realizan una "comprobación de cordura" recargando una página, esta será la misma que la última vez que la comprobaron. Al mismo tiempo, diferentes servidores deben usar diferentes semillas globales para que no todos los sitios que usan Pyison tengan el mismo aspecto.
• Es posible generar un número ilimitado de páginas, ya que Pyison no crea realmente ningún archivo permanente. Es un servidor web dinámico, por lo que solo genera html y lo envía al cliente.
• El uso de etiquetas de contenido HTML, formato CSS e imágenes debería hacer que el sitio parezca un poco más realista para un rastreador.
• Es posible configurar la salida de Pyison sin reescribir el programa, modificando los archivos de configuración, estáticos y de plantilla.
• Pyison responde a solicitudes POST y PUT errantes con un 404 en caso de que los rastreadores comprueben si esos verbos HTTP están configurados.

Primeros pasos

• Clona este proyecto en una carpeta local

• Cambia los ajustes en el archivo config/config.json

  • ¡Establece el random-seed a un número aleatorio!
  • Establece el número de port que usará el servidor
  • Consulta la sección Configuración para más información

• (Opcional pero recomendado) Actualiza la plantilla HTML, el CSS, las imágenes y el robots.txt a tu gusto

  • Este proyecto es más efectivo si las páginas se ven diferentes, lo que se puede lograr variando la estructura HTML y CSS. Reordena y renombra algunas cosas, o reescríbelo por completo.

• (Opcional) Edita el robots.txt si quieres cambiar qué bots se ven afectados

• Configura el entorno del servidor con cualquiera de los métodos siguientes

• Coloca el servidor detrás de un proxy inverso

  Ejecución local

  • Instala nltk
    • pip install nltk
  • Ejecuta Pyison
    • python3 src/server.py
  • Comprueba que se está ejecutando
    • Abre http://localhost:<your port number> en un navegador

  Docker

Proxy Inverso

Es muy recomendable que uses un proxy inverso para servir este contenido. Puede reducir la carga del servidor al almacenar páginas en caché e introducir límites de velocidad, además de servir el contenido a través de https y proteger contra algunos exploits básicos de servidores web.

Consideraciones

• Estos ejemplos usan Nginx Proxy Manager, pero cualquier software de proxy inverso debería funcionar
• Pyison es compatible con los ajustes SSL más estrictos de NPM
• NPM debería pasar la cabecera http User-Agent de NPM al servidor Pyison sin ninguna configuración especial. Usa proxy_pass_header User-Agent; si es necesario.

Configuración de subdominio independiente

• Selecciona los siguientes ajustes en la interfaz, o introduce los ajustes equivalentes en el archivo de configuración:

  
  • Nombres de dominio: un dominio o subdominio que controles, como tarpit.example.com
  • Esquema: http
  • Hostname / IP de reenvío: localhost, o el nombre del contenedor docker si usas una red docker
  • Puerto de reenvío: el puerto definido en docker-compose/el comando run/config.json (por defecto es 80)
  • Activa Cache Assets y Block Common Exploits, pero no Websockets Support

Configuración de sub-ruta

• Para usar Pyison en una sub-ruta, usa la siguiente configuración de ubicación

  root@kitploit:~

  # Handles the root page ("example.com/tarpit")
  location /tarpit {
      proxy_pass http://localhost:80;
  }
  
  # Handles all sub-pages ("example.com/tarpit/a" and "example.com/tarpit/a/b")
  location /tarpit/ {
      proxy_pass http://localhost:80;
  }
  
  # Handles all urls with a 3-letter file extension ("example.com/tarpit/style.css" and "example.com/tarpit/images/picture.jpg")
  # Note that the ~ denotes regex matching. The string immediately following it must be a valid regex statement.
  location ~ .*\/tarpit\/.*\....$ {  
      proxy_pass http://localhost:80;
  }
  

• Aquí tienes una configuración funcional usando la interfaz:

  
  • El primer bloque de ubicación, /tarpit, no tiene configuración personalizada. Se comportará como el primer bloque de ubicación definido anteriormente.
  • El segundo bloque de ubicación, /tarpit/, contiene el segundo y el tercer bloque de ubicación definidos anteriormente
  • Reemplaza tarpit con la ruta raíz deseada.
    • Si usas una ruta raíz más profunda como /tar/pit, ten en cuenta que el tercer bloque de ubicación usa expresiones regulares, por lo que cualquier barra debe escaparse con una barra invertida

Configuración

• El archivo config.json define varios ajustes para una personalización sencilla:
• port (por defecto 80)
  • El puerto en el que se servirá el contenido
• random-seed (¡Por favor, cámbialo!)
  • Semilla global (sal) utilizada para asegurar que no todos los servidores web tengan exactamente el mismo texto
  • Establécelo a un número aleatorio, no necesita ser seguro
• document-root (por defecto "/")
  • Antepone una ruta a los enlaces
  • Solo necesitarás cambiar esto si estás usando un proxy inverso y sirves contenido en un subdirectorio
    • Si es el caso, usa una ruta completa o una relativa a la raíz
      • es decir, https://example.com/pyison/ o /pyison/
• fake-image-dir (por defecto ["images"])
  • Todas las imágenes parecerán servirse desde esta ruta
  • Acepta una cadena única, null, o una lista de opciones para elegir aleatoriamente
• fake-css-dir (por defecto ["css"])
  • Todos los archivos css parecerán servirse desde esta ruta
  • Acepta una cadena única, null, o una lista de opciones para elegir aleatoriamente
• spacing-characters (por defecto ["_","-","%20"])

Plantillas HTML

• Antes de servir tu(s) archivo(s) HTML, Pyison sustituirá algunas etiquetas predefinidas por sus propios valores.

  Valores estáticos

  Cuando una de estas etiquetas se especifica varias veces en la plantilla, cada valor será el mismo
  • {HOME}
    • Enlace a la raíz del documento, tal y como se define en la configuración
  • {TITLE}
    • Texto del título de la página, basado en la URL actual
      • p. ej. /blog/about/once-upon-a-time -> Once Upon A Time
  • {UPTITLE}
    • Texto del título de la página principal, generado a partir de la URL actual
  • {MAIN}
    • Debe usarse como contenido principal del sitio. Generará varios párrafos con texto aleatorio, junto con títulos de sección y subtítulos. También pueden aparecer enlaces aleatorios a lo largo de cada párrafo.
  • {UP}
    • Ruta a la página principal
    • p. ej.: /blog/about/once-upon-a-time -> /blog/about
  Cada aparición de estas etiquetas se reemplazará por un valor único

Imágenes

Aquí tienes una muestra de cómo se ve el sitio antes de cualquier edición de la plantilla: