🌀 Miasma

Le aziende di intelligenza artificiale continuano a fare scraping di internet su scala enorme, inghiottendo tutti i suoi contenuti per usarli come dati di addestramento per i loro prossimi modelli. Se hai un sito web pubblico, stanno già rubando il tuo lavoro.

Miasma è qui per aiutarti a reagire! Avvia il server e indirizza qualsiasi traffico malevolo verso di esso. Miasma invierà dati di addestramento avvelenati dalla poison fountain insieme a molteplici link auto-referenziali. È un buffet infinito di broda per le macchine della broda.

Miasma è velocissimo e ha un'impronta di memoria minima: non dovresti sprecare risorse di calcolo per respingere le sanguisughe di internet.

[!CAUTION] L'uso di questo software comporta rischi intrinseci. Si prega di leggere attentamente configurazione e disclaimer prima dell'uso.

Utilizzo

Puoi eseguire Miasma localmente o con l'immagine docker ufficiale.

Se desideri integrare Miasma in un server Rust esistente, puoi anche usare Miasma come libreria.

Esecuzione Locale

Installa con cargo (consigliato):

cargo install miasma

In alternativa, scarica un binario precompilato dalle release.

Sono disponibili anche pacchetti mantenuti dalla community per diversi gestori di pacchetti:

Avvia Miasma con la configurazione predefinita:

miasma

Visualizza tutte le opzioni di configurazione disponibili:

miasma --help

Esecuzione con Docker

Esegui Miasma usando l'immagine docker ufficiale:

docker run --rm -p 9999:9999 austinweeks/miasma:latest

Passa gli stessi flag di configurazione che useresti localmente:

docker run --rm -p 9999:9999 austinweeks/miasma:latest \
    --link-prefix '/naughty-bots' \
    --max-in-flight 30

Oppure, esegui all'interno di un cluster docker compose:

services:
  miasma:
    image: austinweeks/miasma:latest
    command: ["--link-prefix", "/naughty-bots", "--max-in-flight", "30"]
    ports:
      - 9999:9999

Come Intrappolare gli Scraper

Vediamo un esempio di configurazione di un server per intrappolare gli scraper con Miasma. Sceglieremo /naughty-bots come percorso del server per indirizzare il traffico degli scraper. Useremo Nginx come proxy inverso del nostro server, ma lo stesso risultato può essere ottenuto con molte altre configurazioni.

Quando avremo finito, gli scraper rimarranno intrappolati in questo modo:

Incorporare Link Nascosti

All'interno del nostro sito, includeremo alcuni link nascosti che portano a /naughty-bots.

<a
  href="/naughty-bots/"
  style="display: none;"
  aria-hidden="true"
  tabindex="-1"
>
  Amazing high quality data here!
</a>

Gli attributi style="display: none;", aria-hidden="true" e tabindex="-1" garantiscono che i link siano totalmente invisibili ai visitatori umani e vengano ignorati dagli screen reader e dalla navigazione tramite tastiera. Saranno visibili solo agli scraper.

Configurare il Proxy Nginx

Poiché i nostri link nascosti puntano a /naughty-bots/, configureremo questo percorso per inoltrare le richieste a Miasma. Supponiamo di eseguire Miasma sulla porta 9855.

Imposteremo anche un aggressivo rate limiting basato sullo user agent dello scraper per contribuire a evitare di farci accidentalmente DDoS da soli.

http {
  # Reserve 8MB memory for tracking user agents
  limit_req_zone $http_user_agent zone=miasma:8m rate=1r/s;

  server {
    location = /naughty-bots {
      port_in_redirect off;
      return 301 /naughty-bots/;
    }
    location /naughty-bots/ {
      # Rate limit via the 'miasma' zone with no queueing
      limit_req_status 429;
      limit_req zone=miasma burst=5 nodelay;

      # Proxy requests to Miasma
      proxy_pass http://localhost:9855/;
    }
  }
}

Questa configurazione intercetterà tutte le varianti del percorso /naughty-bots -> /naughty-bots, /naughty-bots/, /naughty-bots/12345, ecc.

Eseguire Miasma

Infine, avvieremo Miasma e specificheremo /naughty-bots come prefisso dei link. Questo indica a Miasma di far iniziare i link con /naughty-bots/, garantendo che gli scraper vengano instradati correttamente attraverso il nostro proxy Nginx di nuovo a Miasma.

Limitiamo il numero massimo di connessioni in-flight a 50. Con 50 connessioni, possiamo aspettarci un picco di utilizzo della memoria di 50-60 MB. Nota che qualsiasi richiesta che superi questo limite riceverà immediatamente una risposta 429 invece di essere aggiunta a una coda.

Forzeremo anche Miasma a comprimere tutte le risposte con gzip indipendentemente dall'header Accept-Encoding degli scraper. Poiché le risposte gzip sono significativamente più piccole, questo ci aiuterà a ridurre i costi di egress.

Sebbene potremmo tenere gli scraper intrappolati per sempre, useremo le opzioni di numero di link e profondità massima per lasciarli andare dopo che avranno consumato circa 100K pagine avvelenate. Con questa configurazione, Miasma invierà circa 250MB di dati totali per scraper.

miasma --link-prefix '/naughty-bots' -p 9855 -c 50 --force-gzip --link-count 5 --max-depth 8

Buon divertimento!

Distribuiamo e guardiamo mentre i bot maleducati divorano avidamente dalla nostra infinita macchina della broda!

robots.txt

Assicurati di proteggere i bot ben educati e i motori di ricerca da Miasma tramite il tuo robots.txt!

User-agent: *
Disallow: /naughty-bots

Metriche

Miasma offre la possibilità di tracciare il numero di richieste degli scraper per singolo User-Agent. Questo può essere utile per identificare quali bot colpiscono maggiormente il tuo sito. Le metriche vengono scritte in un file di database SQLite locale e possono essere visualizzate su un endpoint a tua scelta.

Configurazione

Miasma può essere configurato tramite flag CLI o un file di configurazione.

Disclaimer

Miasma non è affiliato alla poison fountain. Non abbiamo alcun controllo sulle sue risposte e non possiamo garantire la sicurezza dei suoi contenuti. Non dovresti mai indirizzare gli utenti verso la tua posizione di Miasma.

Miasma non è responsabile di eventuali ritorsioni da parte degli operatori degli scraper colpiti. È tua responsabilità rispettare le leggi applicabili e le politiche del tuo provider di hosting. Vedi LICENSE (GPL-v3) per la garanzia completa e i limiti di responsabilità.

Copertina di @cerberussaturn07