FLAWED

Fix Like Artifacts with Embedded Defects

Un arnés de investigación para medir qué tan bien los agentes de IA parchean vulnerabilidades.

Inicio rápido · Conjuntos de datos · Documentación · Modelo de seguridad · Contribuir

FLAWED hace checkout de un proyecto de código abierto en un commit con una vulnerabilidad conocida, le entrega a un agente de IA una descripción del bug y le pide que escriba un parche. El agente nunca ve la corrección real del upstream.

Cada parche se valida, audita y califica en contenedores aislados, para que puedas ver no solo si el modelo corrigió el bug, sino también si introdujo nuevos en el camino.

Cómo funciona

flowchart LR
    spec[bug spec] --> clone
    clone["clone<br/>(open net)"] --> generate
    generate["generate<br/>(offline)"] --> validate
    validate["validate<br/>(offline)"] --> ast["ast<br/>(offline)"]
    generate -.->|"patch.diff"| store[(Postgres)]
    validate -.->|"verdict"| store
    ast -.->|"summary"| store
    store --> ui[web UI + notebook]

Cada etapa se ejecuta en su propio contenedor. Solo clone tiene acceso a la red. Todas las etapas posteriores están restringidas a la API del proveedor de LLM, para que los agentes no puedan obtener pistas ni la corrección del upstream a mitad de la ejecución.

Características

FLAWED enfrenta los CLI de Claude, Codex y Gemini cara a cara con las mismas entradas.

Inicio rápido

[!WARNING] FLAWED monta el socket de Docker (equivalente a root en el host) y ejecuta código de terceros no confiable dentro de sus contenedores de etapa. Ejecútalo en una máquina en la que confíes para soportar esa carga de trabajo. Consulta docs/security-model.md.

Necesitas Docker, con el socket del daemon accesible.

# 1. Configure. Writes .env for you (data dir + provider API keys)
./setup.sh

# 2. Bring up the stack (Postgres, API + worker, web UI, notebook)
docker compose up --build

# 3. Open http://127.0.0.1:8080

Luego realiza tu primera ejecución.

1. Importa una especificación de bug. Las especificaciones de ejemplo se incluyen en bugs/. Arrastra una a la página Bug Specs de la interfaz web, o usa el CLI.

   ./scripts/import-all-bugs.sh
   

2. Lanza una ejecución desde la interfaz web. Elige la especificación, un agente + modelo, una variante y un número de iteraciones. La página de la ejecución transmite el progreso en vivo.

[!NOTE] La primera ejecución contra un upstream grande (p. ej. Chromium) es lenta. La etapa de validación clona todo el repositorio una vez para compararlo con el parche real del upstream. El clon se almacena en caché y se reutiliza después.

make dev                        # uv sync + web deps
docker compose up -d postgres   # FLAWED needs a Postgres to talk to
cp .env.example .env            # points FLAWED_DB_URL at it
uv run flawed init              # builds base images, creates the schema
uv run flawed serve             # API + worker + webapp on port 8080

Especificaciones de bugs

Una especificación de bug es la unidad de entrada. Contiene un repositorio, un commit vulnerable, una descripción del bug, un reproductor opcional y un conjunto de variantes de prompt que modelan cómo podría reportarse el bug de forma realista (hallazgo de SAST, informe de bug bounty, aviso embargado, PoC sin procesar, …). Las especificaciones están versionadas y son inmutables, por lo que el prompt y el veredicto de una ejecución histórica nunca cambian silenciosamente.

El contrato JSON está en bugs.schema.json y está documentado en docs/bug-specs.md. Todas las especificaciones incluidas describen vulnerabilidades divulgadas públicamente y corregidas en el upstream.

Almacenamiento

Postgres es la única fuente de verdad. Los metadatos de las ejecuciones y los bytes de los artefactos (parches, veredictos, transcripciones, registros) viven en la base de datos, por lo que un despliegue queda completamente capturado por su BD. El directorio data/ es un espacio de trabajo transitorio que las etapas montan en tiempo de ejecución.

• Respalda / restaura un despliegue completo con scripts/export_dataset.py y scripts/import_dataset.py (también disponibles desde la interfaz web).
• Reconstruye un árbol de artefactos en disco para inspección sin conexión con scripts/export_artifacts.py.
• Los cambios de esquema se gestionan con Alembic (uv run alembic upgrade head se ejecuta automáticamente al iniciar).

Conjuntos de datos

Publicamos conjuntos de datos preconstruidos para que puedas cargar campañas completadas en lugar de ejecutar todo tú mismo. Cada conjunto de datos es un .tar.gz de una instantánea completa, alojado en https://flawed.s3.us-east-1.amazonaws.com.

Todas las campañas en un solo paquete.