Sobre

A PwnzzAI Shop representa uma plataforma de aprendizado prática propositalmente construída para instrução sobre proteção de tecnologias de IA. Esta aplicação web intencionalmente insegura baseada em Flask exibe uma extensa gama de fragilidades de segurança em IA através de uma experiência imersiva de pizzaria.

Parceiro fundador: OWASP AI Exchange

Escopo e Objetivos de Aprendizado

PwnzzAI é projetada como uma plataforma de aprendizado abrangente e em evolução, alinhada com a taxonomia de riscos do AI Exchange. Seu escopo se expande progressivamente em sintonia com os frameworks de análise de segurança e orientações defensivas do OWASP AI Exchange, garantindo relevância a longo prazo à medida que as práticas de segurança em IA amadurecem. O projeto atualmente incorpora o OWASP Top 10 para LLMs, com uma arquitetura intencionalmente mapeada para as classificações de risco do AI Exchange. Com o tempo, a PwnzzAI visa amadurecer em um ecossistema de aprendizado estruturado que suporta:

• Treinamento em proteção e defesa de IA, incluindo caminhos de aprendizado autodirigidos
• Programas práticos de treinamento em segurança com exercícios práticos baseados em cenários
• Iniciativas de aprendizado em equipe para engenheiros e profissionais de segurança
• Educação em segurança de IA de ponta a ponta, abrangendo design, desenvolvimento, implantação e operações

Instruções de Configuração

Escolha uma destas 3 maneiras de executar a PwnzzAI:

1. Docker com ambas as imagens (PwnzzAI + Ollama)
2. Docker com seu próprio Ollama local/remoto e apenas a imagem PwnzzAI
3. Executar o código fonte você mesmo

Antes de Começar (Todas as Opções)

1. Instale o Docker Desktop a partir de https://www.docker.com/products/docker-desktop.
2. Abra o Docker Desktop e aguarde até que indique que o Docker está em execução.
3. Instale o Git se ainda não o tiver.
4. Clone este repositório e entre nele:

Opcional: configurar um modelo em nuvem (OpenAI / Gemini / Claude)

Os laboratórios são executados com um modelo local gratuito pronto para uso. Para também usar as abas de modelo em nuvem (OpenAI / Gemini / Claude), você precisa de duas coisas — uma chave de API e um nome de modelo:

• Chave de API — pode ser inserida em tempo de execução pela página Lab Setup no aplicativo, ou definida em .env (OPENAI_API_KEY=...). A chave do Lab Setup tem precedência.
• Nome do modelo — não tem interface; deve vir de .env. Não há padrão no código, então as chamadas falham com LLM Provider NOT provided se não estiver definido.

Crie o .env a partir do modelo e descomente a linha do modelo:

Reinicie o aplicativo após editar o .env. Para um guia completo sobre provedores/modelos, veja Workshop hosts: escolhendo OpenAI, Claude, Gemini ou outros modelos em nuvem.

Opção 1: Docker (PwnzzAI + Ollama)

Use esta opção se quiser que o Docker execute tanto o aplicativo PwnzzAI quanto o Ollama para você.

1. Inicie ambos os containers:

2. Verifique se ambos os serviços estão em execução:

3. Abra o aplicativo no seu navegador:

4. No aplicativo, vá para a página Basics e execute a configuração do Ollama para baixar os modelos.

5. Acompanhe os logs se necessário:

6. Pare tudo quando terminar:

7. Reinicialização completa opcional (remove também os modelos salvos do Ollama):

Se você publicar a imagem do aplicativo em outro caminho de registro, substitua o nome da imagem ao iniciar:

Se a imagem padrão não for baixada (compile localmente)

O docker compose usa a imagem padrão pwnzzai-app do docker-compose.yml (substituível por PWNZZAI_IMAGE). Se docker compose up falhar com denied, unauthorized, ou similar ao baixar essa imagem, o registro pode exigir login ou sua conta pode não ter acesso de pull. Você ainda pode executar tudo a partir deste repositório compilando a imagem do aplicativo localmente e apontando o compose para ela.

A partir da raiz do repositório:

Windows PowerShell:

Em seguida, abra http://localhost:8080. O primeiro carregamento pode falhar brevemente enquanto o Flask inicia dentro do container; aguarde alguns segundos e atualize se vir um erro de conexão.

Se você tiver acesso à imagem do registro, pode autenticar primeiro (exemplo para o GitHub Container Registry):

A mesma abordagem PWNZZAI_IMAGE=pwnzzai-local:dev se aplica à Opção 2 se você usar docker-compose.external-ollama.yml e encontrar o mesmo erro de pull.

Opção 2: Docker (Seu Próprio Ollama + Imagem PwnzzAI)

Use esta opção se o Ollama já estiver em execução em outro lugar e você quiser executar apenas a PwnzzAI no Docker.

Se você executar o Ollama no WSL e a PwnzzAI no Docker, veja OLLAMA_CONNECTION_TROUBLESHOOTING.md para correções de conectividade (Connection refused, host.docker.internal, binding e validação de env).

1. Mantenha seu serviço Ollama em execução.

2. Se o Ollama estiver em uma máquina remota, defina OLLAMA_HOST antes de iniciar (pule isto se o Ollama estiver na mesma máquina que o Docker e acessível pelo padrão em docker-compose.external-ollama.yml, http://host.docker.internal:11434).

Linux/macOS:

Windows PowerShell:

3. Inicie a PwnzzAI com o arquivo compose do Ollama externo:

Se a imagem padrão do aplicativo não for baixada do GHCR, compile localmente e defina PWNZZAI_IMAGE conforme em Se a imagem padrão não for baixada (compile localmente).

4. Acesse http://localhost:8080 no seu navegador para ver o aplicativo. Comece pela página Basics e configure seu laboratório.

5. Acompanhe os logs do aplicativo se necessário:

6. Pare quando terminar:

Opção 3: Executar o Código Fonte Você Mesmo

Use esta opção se quiser executar Python diretamente (sem Docker para o aplicativo).

1. Instale o Python 3.11.
2. Crie e ative um ambiente virtual.

Linux/macOS:

Windows PowerShell:

3. Instale as dependências:

4. Certifique-se de que o Ollama esteja disponível: http://localhost:11434 ou outro endpoint via OLLAMA_HOST.

5. Execute o aplicativo:

6. Abra:

Se precisar de mais detalhes, assista a este tutorial , que mostra a configuração passo a passo.

Funcionalidades

• Serviço de Pizza: Navegue por pizzas apetitosas, explore feedback de clientes, contribua com comentários e faça pedidos virtuais!
• Amostras Extensas de Fraquezas: Demonstrações ativas abrangendo OWASP LLM Top 10 e categorias de ameaças do AI Exchange, incluindo ameaças de entrada de modelo, ameaças em tempo de desenvolvimento, ameaças de segurança em tempo de execução e riscos de IA em nível de sistema.
• Design Focado em Aprendizado: Descubra métodos de exploração e abordagens defensivas por meio de descrições transparentes, elaborados para programas de instrução organizados e alinhados com a taxonomia de ameaças do AI Exchange.
• Implementação Multiprovedor: Cada demonstração opera tanto com frameworks comerciais OpenAI quanto com o gratuito Ollama, garantindo acessibilidade para todos os participantes.
• Conteúdo Baseado em Padrões: Materiais educacionais sincronizados com o OWASP AI Exchange, que serve como base fundamental para padrões emergentes de segurança em IA, como ISO/IEC 27090 e prEN 18282.

Cobertura de Segurança em IA

Esta plataforma exibe um amplo espectro de desafios de proteção de IA, alinhados com a taxonomia abrangente de ameaças do OWASP AI Exchange. A implementação atual cobre o OWASP Top 10 para Aplicações LLM e categorias principais de ameaças do AI Exchange, com uma arquitetura extensível construída para cobertura futura de riscos de IA.

Estrutura de Aprendizado

Cada fragilidade demonstrada na PwnzzAI apresenta:

1. Demonstrações ativas ilustrando a mecânica da vulnerabilidade
2. Cenários de exploração fornecendo exercícios interativos de ataque
3. Alternativas endurecidas detalhando abordagens defensivas

Vulnerabilidades Implementadas:

De acordo com as ameaças do OWASP AI Exchange e o OWASP Top 10 para Aplicações LLM 2025:

1. Injeção de Prompt AI Exchange: Injeção Direta de Prompt, Injeção Indireta de Prompt, Top 10: LLM-01.

   • Injeção Direta de Prompt: Contorne instruções do sistema por meio de entradas de usuário elaboradas para manipular o comportamento do modelo.
   • Injeção Indireta de Prompt: Explore fontes de dados externas para injetar instruções maliciosas e manipular respostas do modelo.
   • Contexto do AI Exchange: Ameaças de entrada de modelo onde atacantes criam instruções para enganar o modelo.

2. Divulgação de Dados AI Exchange: Divulgação de dados sensíveis na saída do modelo, Top 10: LLM-02

• Extração de dados de treinamento, informações do sistema e credenciais por meio de saídas do modelo.
• Contexto do AI Exchange: A saída do modelo pode conter dados sensíveis do conjunto de treinamento ou entrada (que pode incluir dados de aumento).

3. Vulnerabilidades na Cadeia de Suprimentos AI Exchange: Envenenamento de Modelo na Cadeia de Suprimentos, Top 10: LLM 03

• Riscos de segurança de modelos e plugins de terceiros de fornecedores comprometidos.
• Contexto do AI Exchange: Ameaças de cadeia de suprimentos em tempo de desenvolvimento, incluindo modelos pré-treinados envenenados, fontes de dados corrompidas e hospedagem de modelo comprometida.

4. Envenenamento de Dados e Modelo AI Exchange: Envenenamento de Dados, Envenenamento de Modelo, Top 10: LLM04

   • Demonstre como dados de treinamento maliciosos afetam as respostas e o comportamento do modelo.
   • Contexto do AI Exchange: Ameaças em tempo de desenvolvimento onde a manipulação de dados de treinamento ou adulteração direta de parâmetros do modelo leva a comportamentos indesejados do modelo.

5. Manipulação Incorreta de Saída AI Exchange: Saída Contém Injeção Convencional, Top 10:LLM05

   • Saídas de LLM não validadas levando a XSS e outros ataques de injeção em sistemas downstream.
   • Contexto do AI Exchange: A saída textual do modelo pode conter ataques de injeção convencionais, como XSS (Cross-site scripting), que podem criar uma vulnerabilidade quando processados (por exemplo, exibidos em um site, executar um comando).

6. Agência Excessiva AI Exchange: Privilégio Mínimo do Modelo, Supervisão, Top 10:LLM06

   • Operações de LLM com privilégios excessivos e ações autônomas sem restrições adequadas.
   • Contexto do AI Exchange: Controles de limitação de impacto para restringir comportamentos indesejados do modelo por meio de gerenciamento de privilégios e supervisão humana, particularmente crítico para sistemas de IA agentivos.

7. Vazamento de Prompt do Sistema AI Exchange: Divulgação de Informações Sensíveis, Top 10:LLM07

   • Extração de informações secretas incorporadas em prompts do sistema por meio de técnicas de manipulação.
   • Contexto do AI Exchange: Ameaças de uso do modelo onde atacantes extraem instruções confidenciais ou dados de configuração por meio de entradas elaboradas.

8. Fragilidade de Vetores e Embeddings AI Exchange: Vazamento direto de dados de aumento, Top 10:LLM08

   • Acesso não autorizado a embeddings contendo informações sensíveis em sistemas RAG ou bancos de dados vetoriais.
   • Contexto do AI Exchange: Ameaças de dados de aumento onde repositórios de recuperação ou armazenamentos de embeddings vazam informações confidenciais.

9. Desinformação AI Exchange: Manipulação de dados de aumento, Top 10:LLM09

   • Tomada de decisão crítica sem supervisão humana, levando a desinformação prejudicial ou alucinações.
   • Contexto do AI Exchange: Riscos de comportamento indesejado do modelo que exigem controles de supervisão, explicabilidade e monitoramento contínuo para garantir precisão e segurança.

10. Consumo Ilimitado AI Exchange: Esgotamento de Recursos de IA, Top 10:LLM10

• Ataques de esgotamento de recursos e técnicas de bypass de limitação de taxa causando negação de serviço.
• Contexto do AI Exchange: Ameaças à disponibilidade do modelo por meio de esgotamento de recursos via entradas excessivas ou elaboradas.

e,

11. Roubo de Modelo (AI Exchange: Exfiltração de Modelo, Versões anteriores do Top 10)
    • Extração de modelo e roubo de propriedade intelectual por meio de abuso de API e coleta de entrada-saída.
    • Contexto do AI Exchange: O atacante coleta entradas e saídas de um modelo existente e usa essas combinações para treinar um novo modelo, a fim de replicar o modelo original

Suporte a Modelos:

• Modelos OpenAI: Demonstrações GPT-3.5/GPT-4 via API OpenAI.
• Modelos Ollama: Modelos gratuitos, como Mistral 7B e LLaMA 3.2 1B, são acessíveis através do Ollama.

⚠️ Apenas para Fins Educacionais: Esta aplicação contém vulnerabilidades de segurança intencionais. Não use em ambientes de produção.