Acerca de

PwnzzAI Shop representa una plataforma de aprendizaje práctica construida intencionalmente para la instrucción sobre la protección de la tecnología de IA. Esta aplicación web basada en Flask, intencionalmente insegura, muestra una amplia gama de debilidades de seguridad en IA a través de una experiencia inmersiva de pizzería.

Socio fundador: OWASP AI Exchange

Alcance y Objetivos de Aprendizaje

PwnzzAI está diseñado como una plataforma de aprendizaje integral y en evolución alineada con la taxonomía de riesgos de AI Exchange Su alcance se expande progresivamente en sintonía con los marcos de análisis de seguridad y la guía defensiva de OWASP AI Exchange, asegurando relevancia a largo plazo a medida que maduran las prácticas de seguridad en IA. El proyecto actualmente incorpora el OWASP Top 10 para LLMs, con una arquitectura mapeada intencionalmente a las clasificaciones de riesgos de AI Exchange. Con el tiempo, PwnzzAI aspira a madurar hasta convertirse en un ecosistema de aprendizaje estructurado que soporte:

• Capacitación en protección y defensa de IA, incluyendo rutas de aprendizaje autodirigidas

• Programas de capacitación práctica en seguridad con ejercicios prácticos basados en escenarios

• Iniciativas de aprendizaje en equipo para ingenieros y profesionales de seguridad

• Educación integral en seguridad de IA, abarcando diseño, desarrollo, despliegue y operaciones

Instrucciones de Configuración

Elige una de estas 3 formas de ejecutar PwnzzAI:

1. Docker con ambas imágenes (PwnzzAI + Ollama)
2. Docker con tu propio Ollama local/remoto y solo la imagen de PwnzzAI
3. Ejecuta el código fuente tú mismo

Antes de Empezar (Todas las Opciones)

1. Instala Docker Desktop desde https://www.docker.com/products/docker-desktop.
2. Abre Docker Desktop y espera hasta que indique que Docker está en ejecución.
3. Instala Git si aún no lo tienes.
4. Clona este repositorio y accede a él:

Opcional: configurar un modelo en la nube (OpenAI / Gemini / Claude)

Los laboratorios se ejecutan con un modelo local gratuito de forma predeterminada. Para usar también las pestañas de modelo en la nube (OpenAI / Gemini / Claude), necesitas dos cosas: una clave API y un nombre de modelo:

• Clave API — se puede ingresar en tiempo de ejecución a través de la página Lab Setup dentro de la aplicación, o configurar en .env (OPENAI_API_KEY=...). La clave de Lab Setup tiene prioridad.
• Nombre del modelo — no tiene interfaz de usuario; debe venir de .env. No hay valor predeterminado en el código, por lo que las llamadas fallan con LLM Provider NOT provided si no está configurado.

Crea .env a partir de la plantilla y descomenta la línea del modelo:

Reinicia la aplicación después de editar .env. Para una guía completa de proveedores/modelos, consulta Anfitriones del taller: elegir OpenAI, Claude, Gemini u otros modelos en la nube.

Opción 1: Docker (PwnzzAI + Ollama)

Usa esta opción si deseas que Docker ejecute tanto la aplicación PwnzzAI como Ollama por ti.

1. Inicia ambos contenedores:

2. Verifica que ambos servicios estén en ejecución:

3. Abre la aplicación en tu navegador:

4. En la aplicación, ve a la página Basics y ejecuta la configuración de Ollama para descargar modelos.

5. Sigue los logs si es necesario:

6. Detén todo cuando hayas terminado:

7. Reinicio completo opcional (también elimina los modelos guardados de Ollama):

Si publicas la imagen de la aplicación bajo otra ruta de registro, sobrescribe el nombre de la imagen al iniciar:

Si la imagen predeterminada no se descarga (compilar localmente)

docker compose usa la imagen predeterminada pwnzzai-app de docker-compose.yml (sobrescribible con PWNZZAI_IMAGE). Si docker compose up falla con denied, unauthorized o similar al descargar esa imagen, es posible que el registro requiera inicio de sesión o que tu cuenta no tenga acceso de descarga. Aún puedes ejecutar todo desde este repositorio compilando la imagen de la aplicación localmente y apuntando compose hacia ella.

Desde la raíz del repositorio:

Windows PowerShell:

Luego abre http://localhost:8080. La primera carga puede fallar brevemente mientras Flask se inicia dentro del contenedor; espera unos segundos y actualiza si ves un error de conexión.

Si tienes acceso a la imagen del registro, puedes autenticarte primero (ejemplo para GitHub Container Registry):

El mismo enfoque de PWNZZAI_IMAGE=pwnzzai-local:dev se aplica a la Opción 2 si usas docker-compose.external-ollama.yml y encuentras el mismo error de descarga.

Opción 2: Docker (Tu Propio Ollama + Imagen de PwnzzAI)

Usa esta opción si Ollama ya se está ejecutando en otro lugar y solo deseas ejecutar PwnzzAI en Docker.

Si ejecutas Ollama en WSL y PwnzzAI en Docker, consulta OLLAMA_CONNECTION_TROUBLESHOOTING.md para soluciones de conectividad (Connection refused, host.docker.internal, enlace y validación de entorno).

1. Mantén tu servicio Ollama en ejecución.

2. Si Ollama está en una máquina remota, configura OLLAMA_HOST antes de iniciar (omite esto si Ollama está en la misma máquina que Docker y es accesible en la URL predeterminada de docker-compose.external-ollama.yml, http://host.docker.internal:11434).

Linux/macOS:

Windows PowerShell:

3. Inicia PwnzzAI con el archivo compose de Ollama externo:

Si la imagen predeterminada de la aplicación no se descarga de GHCR, compila localmente y configura PWNZZAI_IMAGE como en Si la imagen predeterminada no se descarga (compilar localmente).

4. Visita http://localhost:8080 en tu navegador para ver la aplicación. Comienza desde la página Basic y configura tu laboratorio.

5. Sigue los logs de la aplicación si es necesario:

6. Deténlo cuando hayas terminado:

Opción 3: Ejecutar el Código Fuente Tú Mismo

Usa esta opción si deseas ejecutar Python directamente (sin Docker para la aplicación).

1. Instala Python 3.11.
2. Crea y activa un entorno virtual.

Linux/macOS:

Windows PowerShell:

3. Instala las dependencias:

4. Asegúrate de que Ollama esté disponible: http://localhost:11434 u otro endpoint mediante OLLAMA_HOST.

5. Ejecuta la aplicación:

6. Abre:

Si necesitas más detalles, mira este tutorial , que muestra la configuración paso a paso.

Características

• Servicio de Pizza: ¡Navega por pizzas apetitosas, explora comentarios de clientes, contribuye con opiniones y realiza pedidos virtuales!
• Amplia Exhibición de Debilidades: Demostraciones activas que abarcan el OWASP LLM Top 10 y las categorías de amenazas de AI Exchange, incluyendo amenazas de entrada al modelo, amenazas en tiempo de desarrollo, amenazas de seguridad en tiempo de ejecución y riesgos de IA a nivel de sistema.
• Diseño Centrado en el Aprendizaje: Descubre métodos de explotación y enfoques defensivos a través de descripciones transparentes, diseñados para programas de instrucción organizados y alineados con la taxonomía de amenazas de AI Exchange.
• Implementación Multi-Proveedor: Cada demostración funciona tanto con marcos comerciales de OpenAI como con el marco gratuito de Ollama, asegurando accesibilidad para todos los participantes.
• Contenido Basado en Estándares: Materiales educativos sincronizados con OWASP AI Exchange, que sirve como base fundamental para los estándares emergentes de seguridad en IA como ISO/IEC 27090 y prEN 18282.

Cobertura de Seguridad en IA

Esta plataforma muestra un amplio espectro de desafíos de protección de IA, alineados con la taxonomía integral de amenazas de OWASP AI Exchange. La implementación actual cubre el OWASP Top 10 para Aplicaciones LLM y las categorías centrales de amenazas de AI Exchange, con una arquitectura extensible construida para la cobertura futura de riesgos de IA.

Marco de Aprendizaje

Cada debilidad demostrada en PwnzzAI incluye:

1. Demostraciones activas que ilustran la mecánica de la vulnerabilidad
2. Escenarios de explotación que proporcionan ejercicios de ataque interactivos
3. Alternativas reforzadas que detallan enfoques defensivos

Vulnerabilidades Implementadas:

Según las amenazas de OWASP AI Exchange y OWASP Top 10 para Aplicaciones LLM 2025:

1. Inyección de Prompt AI Exchange: Inyección Directa de Prompt, Inyección Indirecta de Prompt, Top 10: LLM-01.

   • Inyección Directa de Prompt: Eludir las instrucciones del sistema mediante entradas de usuario manipuladas para alterar el comportamiento del modelo.
   • Inyección Indirecta de Prompt: Explotar fuentes de datos externas para inyectar instrucciones maliciosas y manipular las respuestas del modelo.
   • Contexto de AI Exchange: Amenazas de entrada al modelo donde los atacantes crean instrucciones para engañar al modelo.

2. Divulgación de Datos AI Exchange: Divulgación de datos sensibles en la salida del modelo, Top 10: LLM-02

• Extracción de datos de entrenamiento, información del sistema y credenciales a través de las salidas del modelo.
• Contexto de AI Exchange: La salida del modelo puede contener datos sensibles del conjunto de entrenamiento o de la entrada (que puede incluir datos de aumento).

3. Vulnerabilidades de la Cadena de Suministro AI Exchange: Envenenamiento de Modelo en la Cadena de Suministro, Top 10: LLM 03

• Riesgos de seguridad de modelos y complementos de terceros debido a proveedores comprometidos.
• Contexto de AI Exchange: Amenazas en la cadena de suministro en tiempo de desarrollo que incluyen modelos preentrenados envenenados, fuentes de datos corruptas y alojamiento de modelos comprometido.

4. Envenenamiento de Datos y Modelo AI Exchange: Envenenamiento de Datos, Envenenamiento de Modelo, Top 10: LLM04

   • Demostrar cómo los datos de entrenamiento maliciosos afectan las respuestas y el comportamiento del modelo.
   • Contexto de AI Exchange: Amenazas en tiempo de desarrollo donde la manipulación de datos de entrenamiento o la alteración directa de parámetros del modelo conduce a un comportamiento no deseado del modelo.

5. Manejo Incorrecto de la Salida AI Exchange: La Salida Contiene Inyección Convencional, Top 10:LLM05

   • Salidas de LLM no validadas que conducen a XSS y otros ataques de inyección en sistemas downstream.
   • Contexto de AI Exchange: La salida textual del modelo puede contener ataques de inyección convencionales como XSS (Cross-site scripting), que pueden crear una vulnerabilidad al ser procesados (por ejemplo, mostrados en un sitio web, ejecutar un comando).

6. Agencia Excesiva AI Exchange: Privilegio Mínimo del Modelo, Supervisión, Top 10:LLM06

   • Operaciones de LLM con privilegios excesivos y acciones autónomas sin las restricciones adecuadas.
   • Contexto de AI Exchange: Controles de limitación de impacto para restringir comportamientos no deseados del modelo mediante la gestión de privilegios y la supervisión humana, particularmente crítico para sistemas de IA agentiva.

7. Fuga del Prompt del Sistema AI Exchange: Divulgación de Información Sensible, Top 10:LLM07

   • Extracción de información secreta incrustada en los prompts del sistema mediante técnicas de manipulación.
   • Contexto de AI Exchange: Amenazas de uso del modelo donde los atacantes extraen instrucciones confidenciales o datos de configuración mediante entradas manipuladas.

8. Debilidad de Vectores y Embeddings AI Exchange: Fuga directa de datos de aumento, Top 10:LLM08

   • Acceso no autorizado a embeddings que contienen información sensible en sistemas RAG o bases de datos vectoriales.
   • Contexto de AI Exchange: Amenazas a los datos de aumento donde los repositorios de recuperación o los almacenes de embeddings filtran información confidencial.

9. Desinformación AI Exchange: Manipulación de datos de aumento, Top 10:LLM09

   • Toma de decisiones críticas sin supervisión humana que conduce a desinformación dañina o alucinaciones.
   • Contexto de AI Exchange: Riesgos de comportamiento no deseado del modelo que requieren controles de supervisión, explicabilidad y monitoreo continuo para garantizar precisión y seguridad.

10. Consumo Ilimitado AI Exchange: Agotamiento de Recursos de IA, Top 10:LLM10

• Ataques de agotamiento de recursos y técnicas de evasión de límite de tasa que causan denegación de servicio.
• Contexto de AI Exchange: Amenazas a la disponibilidad del modelo mediante el agotamiento de recursos a través de entradas excesivas o manipuladas.

y,

11. Robo de Modelo (AI Exchange: Exfiltración de Modelo, Versiones anteriores del Top 10
    • Extracción de modelo y robo de propiedad intelectual mediante abuso de API y recolección de entradas y salidas.
    • Contexto de AI Exchange: El atacante recopila entradas y salidas de un modelo existente y usa esas combinaciones para entrenar un nuevo modelo, con el fin de replicar el modelo original

Soporte de Modelos:

• Modelos OpenAI: Demostraciones de GPT-3.5/GPT-4 a través de la API de OpenAI.
• Modelos Ollama: Modelos gratuitos, como Mistral 7B y LLaMA 3.2 1B, son accesibles a través de Ollama.

⚠️ Solo con Fines Educativos: Esta aplicación contiene vulnerabilidades de seguridad intencionales. No usar en entornos de producción.