О проекте

PwnzzAI Shop представляет собой практическую платформу обучения, намеренно созданную для обучения защите AI-технологий. Это намеренно небезопасное Flask-приложение демонстрирует широкий спектр уязвимостей безопасности ИИ через иммерсивный опыт пиццерии.

Партнёр-основатель: OWASP AI Exchange

Область применения и цели обучения

PwnzzAI разработан как всеобъемлющая, развивающаяся обучающая платформа, соответствующая таксономии рисков AI Exchange. Его область применения постепенно расширяется в ногу с фреймворками анализа безопасности и защитными рекомендациями OWASP AI Exchange, обеспечивая долгосрочную актуальность по мере развития практик безопасности ИИ. В настоящее время проект включает OWASP Top 10 для LLM, с архитектурой, намеренно сопоставленной с классификацией рисков AI Exchange. Со временем PwnzzAI стремится стать структурированной образовательной экосистемой, поддерживающей:

• Обучение защите и обороне ИИ, включая самостоятельные траектории обучения
• Практические программы обучения безопасности с упражнениями на основе сценариев
• Командные инициативы для инженеров по безопасности и практиков
• Сквозное обучение безопасности ИИ, охватывающее проектирование, разработку, развёртывание и эксплуатацию

Инструкции по установке

Выберите один из 3 способов запуска PwnzzAI:

1. Docker с обоими образами (PwnzzAI + Ollama)
2. Docker с вашим локальным/удалённым Ollama и только образом PwnzzAI
3. Запуск исходного кода вручную

Перед началом (все варианты)

1. Установите Docker Desktop с https://www.docker.com/products/docker-desktop.
2. Откройте Docker Desktop и дождитесь сообщения, что Docker запущен.
3. Установите Git, если он ещё не установлен.
4. Клонируйте репозиторий и перейдите в него:

Дополнительно: настройка облачной модели (OpenAI / Gemini / Claude)

Лабораторные работы изначально работают на бесплатной локальной модели. Чтобы также использовать вкладки облачных моделей (OpenAI / Gemini / Claude), вам понадобятся две вещи — API-ключ и имя модели:

• API-ключ — можно ввести во время выполнения на странице Lab Setup в приложении или задать в .env (OPENAI_API_KEY=...). Ключ из Lab Setup имеет приоритет.
• Имя модели — не имеет интерфейса, должно быть указано в .env. В коде нет значения по умолчанию, поэтому при отсутствии вызовы завершаются ошибкой LLM Provider NOT provided.

Создайте .env из шаблона и раскомментируйте строку модели:

После редактирования .env перезапустите приложение. Полное описание провайдеров и моделей см. в Настройка облачных моделей (OpenAI, Claude, Gemini и др.).

Вариант 1: Docker (PwnzzAI + Ollama)

Используйте этот вариант, если хотите, чтобы Docker запускал как приложение PwnzzAI, так и Ollama.

1. Запустите оба контейнера:

2. Проверьте, что оба сервиса работают:

3. Откройте приложение в браузере:

4. В приложении перейдите на страницу Basics и выполните настройку Ollama для загрузки моделей.

5. При необходимости следите за логами:

6. Остановите всё после завершения:

7. Опционально полный сброс (также удаляет сохранённые модели Ollama):

Если вы публикуете образ приложения под другим адресом реестра, переопределите имя образа при запуске:

Если образ по умолчанию не загружается (сборка локально)

docker compose использует образ pwnzzai-app по умолчанию из docker-compose.yml (переопределяется с помощью PWNZZAI_IMAGE). Если docker compose up завершается с ошибкой denied, unauthorized или подобной при загрузке этого образа, возможно, требуется вход в реестр или у вашей учётной записи нет прав на загрузку. Вы всё ещё можете запустить всё из этого репозитория, собрав образ приложения локально и указав compose на него.

Из корня репозитория:

Windows PowerShell:

Затем откройте http://localhost:8080. Первая загрузка может кратковременно завершиться ошибкой, пока Flask запускается внутри контейнера; подождите несколько секунд и обновите страницу, если видите ошибку соединения.

Если у вас есть доступ к образу в реестре, вы можете сначала аутентифицироваться (пример для GitHub Container Registry):

Тот же подход с PWNZZAI_IMAGE=pwnzzai-local:dev применим к Варианту 2, если вы используете docker-compose.external-ollama.yml и сталкиваетесь с той же ошибкой загрузки.

Вариант 2: Docker (ваш собственный Ollama + образ PwnzzAI)

Используйте этот вариант, если Ollama уже запущен где-то ещё и вы хотите запустить только PwnzzAI в Docker.

Если вы запускаете Ollama на WSL, а PwnzzAI в Docker, см. OLLAMA_CONNECTION_TROUBLESHOOTING.md для устранения проблем с подключением (Connection refused, host.docker.internal, привязка и проверка переменных окружения).

1. Оставьте ваш сервис Ollama работающим.

2. Если Ollama находится на удалённой машине, установите OLLAMA_HOST перед запуском (пропустите, если Ollama на той же машине, что и Docker, и доступен по умолчанию в docker-compose.external-ollama.yml, т.е. http://host.docker.internal:11434).

Linux/macOS:

Windows PowerShell:

3. Запустите PwnzzAI с файлом compose для внешнего Ollama:

Если образ приложения по умолчанию не загружается из GHCR, соберите локально и установите PWNZZAI_IMAGE, как описано в Если образ по умолчанию не загружается (сборка локально).

4. Откройте http://localhost:8080 в браузере, чтобы увидеть приложение. Начните со страницы Basic и настройте лабораторию.

5. При необходимости следите за логами приложения:

6. Остановите после завершения:

Вариант 3: Запуск исходного кода вручную

Используйте этот вариант, если хотите запускать Python напрямую (без Docker для приложения).

1. Установите Python 3.11.
2. Создайте и активируйте виртуальное окружение.

Linux/macOS:

Windows PowerShell:

3. Установите зависимости:

4. Убедитесь, что Ollama доступен: http://localhost:11434 или другой конечной точкой через OLLAMA_HOST.

5. Запустите приложение:

6. Откройте:

Если нужны подробности, посмотрите этот обзор , в котором показана пошаговая настройка.

Возможности

• Сервис пиццы: Просматривайте аппетитные пиццы, изучайте отзывы клиентов, оставляйте комментарии и делайте виртуальные заказы!
• Обширные демонстрации уязвимостей: Активные демонстрации, охватывающие OWASP LLM Top 10 и категории угроз AI Exchange, включая угрозы ввода модели, угрозы времени разработки, угрозы безопасности времени выполнения и системные риски ИИ.
• Ориентированный на обучение дизайн: Изучайте методы эксплуатации и подходы к защите через понятные описания, созданные для структурированных учебных программ и согласованные с таксономией угроз AI Exchange.
• Многопровайдерная реализация: Каждая демонстрация работает как с коммерческой OpenAI, так и с бесплатными фреймворками Ollama, обеспечивая доступность для всех участников.
• Стандартизированное содержание: Учебные материалы синхронизированы с OWASP AI Exchange, который служит основой для новых стандартов безопасности ИИ, таких как ISO/IEC 27090 и prEN 18282.

Охват безопасности ИИ

Эта платформа демонстрирует обширный спектр проблем защиты ИИ, соответствующий всеобъемлющей таксономии угроз OWASP AI Exchange. Текущая реализация охватывает OWASP Top 10 для LLM-приложений и основные категории угроз AI Exchange с расширяемой архитектурой, предназначенной для будущего покрытия рисков ИИ.

Образовательная структура

Каждая уязвимость, демонстрируемая в PwnzzAI, включает:

1. Активные демонстрации, иллюстрирующие механику уязвимости
2. Сценарии эксплуатации, предоставляющие интерактивные упражнения по атакам
3. Усиленные альтернативы, подробно описывающие защитные подходы

Реализованные уязвимости:

В соответствии с угрозами OWASP AI Exchange и OWASP Top 10 для LLM-приложений 2025:

1. Prompt Injection AI Exchange: Direct Prompt Injection, Indirect Prompt Injection, Top 10: LLM-01.

   • Direct Prompt Injection: Обход системных инструкций через специально созданные пользовательские вводы для манипуляции поведением модели.
   • Indirect Prompt Injection: Использование внешних источников данных для внедрения вредоносных инструкций и манипуляции ответами модели.
   • Контекст AI Exchange: Угрозы ввода модели, где атакующие создают инструкции для обмана модели.

2. Data Disclosure AI Exchange: Disclosure of sensitive data in model output , Top 10: LLM-02

• Извлечение данных обучения, системной информации и учётных данных через выходные данные модели.
• Контекст AI Exchange: Выходные данные модели могут содержать конфиденциальные данные обучающего набора или ввода (включая данные дополнения).

3. Supply Chain Vulnerabilities AI Exchange: Supply Chain Model Poisoning, Top 10: LLM 03

• Риски безопасности сторонних моделей и плагинов от скомпрометированных поставщиков.
• Контекст AI Exchange: Угрозы цепочки поставок на этапе разработки, включая отравленные предварительно обученные модели, повреждённые источники данных и скомпрометированный хостинг моделей.

4. Data and Model Poisoning AI Exchange: Data Poisoning, Model Poisoning, Top 10: LLM04

   • Демонстрация того, как вредоносные данные обучения влияют на ответы и поведение модели.
   • Контекст AI Exchange: Угрозы времени разработки, когда манипуляция данными обучения или прямая подмена параметров модели приводит к нежелательному поведению модели.

5. Improper Output Handling AI Exchange: Output Contains Conventional Injection, Top 10:LLM05

   • Непроверенные выходные данные LLM, приводящие к XSS и другим инъекционным атакам в последующих системах.
   • Контекст AI Exchange: Текстовый вывод модели может содержать обычные инъекционные атаки, такие как XSS (межсайтовый скриптинг), которые создают уязвимость при обработке (например, отображении на сайте, выполнении команды).

6. Excessive Agency AI Exchange: Least Model Privilege, Oversight, Top 10:LLM06

   • Избыточно привилегированные операции LLM и автономные действия без соответствующих ограничений.
   • Контекст AI Exchange: Контроль ограничения воздействия для сдерживания нежелательного поведения модели через управление привилегиями и надзор человека, особенно критично для агентных AI-систем.

7. System Prompt Leakage AI Exchange: Sensitive Information Disclosure, Top 10:LLM07

   • Извлечение секретной информации, встроенной в системные промпты, с помощью методов манипуляции.
   • Контекст AI Exchange: Угрозы использования модели, где атакующие извлекают конфиденциальные инструкции или данные конфигурации через специально созданные вводы.

8. Vector and Embedding Weakness AI Exchange: Direct augmentation data leak, Top 10:LLM08

   • Несанкционированный доступ к эмбеддингам, содержащим конфиденциальную информацию, в RAG-системах или векторных базах данных.
   • Контекст AI Exchange: Угрозы данных дополнения, когда хранилища извлечения или эмбеддингов выдают конфиденциальную информацию.

9. Misinformation AI Exchange: Augmentation data manipulation, Top 10:LLM09

   • Принятие критических решений без контроля человека, приводящее к вредоносной дезинформации или галлюцинациям.
   • Контекст AI Exchange: Риски нежелательного поведения модели, требующие средств контроля, объяснимости и непрерывного мониторинга для обеспечения точности и безопасности.

10. Unbounded Consumption AI Exchange: AI Resource Exhaustion, Top 10:LLM10

• Атаки истощения ресурсов и методы обхода ограничения скорости, приводящие к отказу в обслуживании.
• Контекст AI Exchange: Угрозы доступности модели через истощение ресурсов с помощью чрезмерных или специально созданных вводов.

и,

11. Model Theft (AI Exchange: Model Exfilteration, Более ранние версии Top 10
    • Извлечение модели и кража интеллектуальной собственности через злоупотребление API и сбор входных/выходных данных.
    • Контекст AI Exchange: Атакующий собирает входные и выходные данные существующей модели и использует эти комбинации для обучения новой модели с целью воспроизведения оригинальной.

Поддержка моделей:

• OpenAI Models: Демонстрации через OpenAI API (GPT-3.5/GPT-4).
• Ollama Models: Бесплатные модели, такие как Mistral 7B и LLaMA 3.2 1B, доступны через Ollama.

⚠️ Только для образовательных целей: Это приложение содержит намеренные уязвимости безопасности. Не используйте в производственной среде.