🌀 Miasma

AI 기업들은 엄청난 규모로 인터넷을 끊임없이 크롤링하여, 그 모든 콘텐츠를 삼켜 다음 모델의 훈련 데이터로 사용합니다. 공개 웹사이트를 운영 중이라면, 그들은 이미 여러분의 작업을 훔치고 있습니다.

_Miasma_가 맞서 싸울 수 있도록 도와드립니다! 서버를 실행하고 모든 악성 트래픽을 그쪽으로 보내세요. _Miasma_는 poison fountain에서 가져온 독이 든 훈련 데이터를 여러 개의 자기 참조 링크와 함께 전송합니다. 쓰레기 머신들을 위한 끝없는 쓰레기 뷔페입니다.

_Miasma_는 번개처럼 빠르고 메모리 사용량이 매우 적습니다. 인터넷의 거머리들을 막아내는 데 컴퓨팅 리소스를 낭비할 일이 없어야 합니다.

[!CAUTION] 이 소프트웨어를 배포하는 데는 본질적인 위험이 있습니다. 사용 전에 구성 및 면책 조항을 전체적으로 읽어 주세요.

사용 방법

_Miasma_는 로컬에서 실행하거나 공식 docker image로 실행할 수 있습니다.

_Miasma_를 기존 Rust 서버에 통합하려면 _Miasma_를 라이브러리로 사용할 수도 있습니다.

로컬에서 실행

cargo로 설치합니다(권장):

cargo install miasma

또는 releases에서 사전 빌드된 바이너리를 다운로드합니다.

다양한 패키지 관리자를 위한 커뮤니티 유지 관리 패키지도 제공됩니다:

기본 구성으로 Miasma 시작:

miasma

사용 가능한 모든 구성 옵션 보기:

miasma --help

Docker로 실행

공식 docker image로 Miasma 실행:

docker run --rm -p 9999:9999 austinweeks/miasma:latest

로컬에서 사용하는 것과 동일한 구성 플래그를 전달합니다:

docker run --rm -p 9999:9999 austinweeks/miasma:latest \
    --link-prefix '/naughty-bots' \
    --max-in-flight 30

또는 docker compose 클러스터 내에서 실행:

services:
  miasma:
    image: austinweeks/miasma:latest
    command: ["--link-prefix", "/naughty-bots", "--max-in-flight", "30"]
    ports:
      - 9999:9999

스크래퍼를 함정에 빠뜨리는 방법

_Miasma_로 스크래퍼를 함정에 빠뜨리는 서버를 설정하는 예를 살펴보겠습니다. 스크래퍼 트래픽을 보낼 서버 경로로 /naughty-bots를 선택하겠습니다. 서버의 리버스 프록시로 Nginx를 사용하겠지만, 다양한 다른 설정으로도 동일한 결과를 얻을 수 있습니다.

완료되면 스크래퍼는 다음과 같이 함정에 빠지게 됩니다:

숨겨진 링크 삽입

사이트 내에 /naughty-bots로 연결되는 숨겨진 링크 몇 개를 포함하겠습니다.

<a
  href="/naughty-bots/"
  style="display: none;"
  aria-hidden="true"
  tabindex="-1"
>
  Amazing high quality data here!
</a>

style="display: none;", aria-hidden="true", tabindex="-1" 속성은 링크가 인간 방문자에게 완전히 보이지 않도록 보장하며, 화면 판독기와 키보드 탐색에서도 무시됩니다. 이 링크는 오직 스크래퍼에게만 보입니다.

Nginx 프록시 구성

숨겨진 링크가 /naughty-bots/를 가리키므로, 이 경로가 _Miasma_로 요청을 프록시하도록 구성하겠습니다. _Miasma_가 포트 9855에서 실행 중이라고 가정하겠습니다.

또한 스크래퍼의 User-Agent를 기반으로 공격적인 요청 속도 제한을 설정하여 실수로 자체 DDoS를 유발하지 않도록 하겠습니다.

http {
  # Reserve 8MB memory for tracking user agents
  limit_req_zone $http_user_agent zone=miasma:8m rate=1r/s;

  server {
    location = /naughty-bots {
      port_in_redirect off;
      return 301 /naughty-bots/;
    }
    location /naughty-bots/ {
      # Rate limit via the 'miasma' zone with no queueing
      limit_req_status 429;
      limit_req zone=miasma burst=5 nodelay;

      # Proxy requests to Miasma
      proxy_pass http://localhost:9855/;
    }
  }
}

이 구성은 /naughty-bots 경로의 모든 변형(/naughty-bots, /naughty-bots/, /naughty-bots/12345 등)을 처리합니다.

Miasma 실행

마지막으로 _Miasma_를 시작하고 링크 접두사로 /naughty-bots를 지정하겠습니다. 이렇게 하면 _Miasma_가 링크를 /naughty-bots/로 시작하게 되어, 스크래퍼가 Nginx 프록시를 통해 _Miasma_로 다시 올바르게 라우팅됩니다.

최대 처리 중(in-flight) 연결 수를 50으로 제한하겠습니다. 50개 연결 시 최대 메모리 사용량은 50-60MB입니다. 이 한도를 초과하는 요청은 대기열에 추가되는 대신 즉시 429 응답을 받게 됩니다.

또한 스크래퍼의 Accept-Encoding 헤더와 관계없이 _Miasma_가 모든 응답을 gzip 압축하도록 강제하겠습니다. gzip 압축 응답은 훨씬 작으므로 송신 비용을 절감하는 데 도움이 됩니다.

스크래퍼를 영원히 함정에 가둘 수도 있지만, 링크 수와 최대 깊이 옵션을 사용하여 스크래퍼가 약 100K개의 독이 든 페이지를 소비한 후 풀어 주겠습니다. 이 설정으로 _Miasma_는 스크래퍼당 총 약 250MB의 데이터를 전송합니다.

miasma --link-prefix '/naughty-bots' -p 9855 -c 50 --force-gzip --link-count 5 --max-depth 8

즐기세요!

배포하고, 잘못 행동하는 봇들이 우리의 끝없는 쓰레기 머신에서 탐욕스럽게 먹는 모습을 지켜보세요!

robots.txt

robots.txt를 통해 규칙을 잘 지키는 봇과 검색 엔진을 _Miasma_로부터 보호하세요!

User-agent: *
Disallow: /naughty-bots

메트릭

_Miasma_는 고유 User-Agent별 스크래퍼 요청 수를 추적하는 기능을 제공합니다. 이는 어떤 봇이 사이트를 가장 많이 공격하는지 식별하는 데 유용할 수 있습니다. 메트릭은 로컬 SQLite 데이터베이스 파일에 기록되며 원하는 엔드포인트에서 볼 수 있습니다.

구성

_Miasma_는 CLI 플래그 또는 구성 파일을 통해 구성할 수 있습니다.

면책 조항

_Miasma_는 poison fountain과 제휴되어 있지 않습니다. 저희는 해당 서비스의 응답을 통제할 수 없으며 콘텐츠의 안전성을 보장할 수 없습니다. 사용자를 여러분의 Miasma 위치로 절대 유도해서는 안 됩니다.

_Miasma_는 영향을 받은 스크래퍼 운영자들의 보복에 대해 책임을 지지 않습니다. 관련 법률 및 호스팅 제공업체 정책을 준수할 책임은 사용자에게 있습니다. 전체 보증 및 책임 제한 사항은 LICENSE(GPL-v3)를 참조하세요.

표지 아트: @cerberussaturn07