Apache NiFi

Статус

Ресурсы

Контакты

Сообщество

Возможности

Apache NiFi — это простая в использовании, мощная и надежная система для обработки и распространения данных.

NiFi автоматизирует конвейеры данных и их распространение в областях кибербезопасности, наблюдаемости, потоков событий и генеративного ИИ для тысяч компаний по всему миру во всех отраслях.

• Пользовательский веб-интерфейс
  • Бесшовный процесс проектирования, управления и мониторинга
  • Управление средой выполнения и версионируемые конвейеры
  • Безопасен по умолчанию благодаря HTTPS
• Масштабируемая обработка
  • Настраиваемая приоритизация для пропускной способности и задержки
  • Гарантированная доставка со стратегиями повторных попыток и отсрочки (backoff)
  • Горизонтальное масштабирование с помощью кластеризации
• Отслеживание происхождения данных
  • История с возможностью поиска и настраиваемыми атрибутами
  • Граф происхождения данных от источника к назначению
  • Метаданные и содержимое для каждого решения об обработке
• Расширяемая архитектура
  • Интерфейс плагинов для процессоров и сервисов контроллера
  • Поддержка процессоров на нативном Python
  • REST API для оркестрации и мониторинга
• Безопасная конфигурация
  • Единый вход с OpenID Connect или SAML 2
  • Гибкие политики авторизации для ролевого доступа
  • Зашифрованная связь с помощью TLS и SFTP

Требования

NiFi поддерживает современные операционные системы и требует актуальных версий языков для разработки и запуска приложения.

Требования к платформе

• Java 21

Необязательные зависимости

• Python 3.10 или выше

Проекты

Репозиторий исходного кода включает несколько компонентных проектов.

Пожалуйста, ознакомьтесь с документацией отдельных проектов для получения дополнительных сведений.

• Apache NiFi
• Apache NiFi Registry
• Apache NiFi MiNiFi

Начало работы

Руководства по проектам содержат обширную документацию по установке и расширению приложения.

• Начало работы
• Руководство пользователя
• Руководство администратора
• Руководство разработчика

Разработка

NiFi использует Maven Wrapper для разработки проекта. Maven Wrapper предоставляет shell-скрипты, которые загружают и кэшируют выбранную версию Apache Maven для выполнения команд сборки.

При разработке в Microsoft Windows используйте mvnw.cmd вместо mvnw для выполнения команд Maven.

Сборка

Выполните следующую команду для сборки модулей проекта с использованием параллельного выполнения:

./mvnw install -T1C

Выполните следующую команду для сборки модулей проекта с параллельным выполнением и статическим анализом для подтверждения соответствия требованиям к коду и лицензированию:

./mvnw install -T1C -P contrib-check

Выполните следующую команду для сборки двоичных файлов приложения без сборки других необязательных модулей:

./mvnw install -T1C -am -pl :nifi-assembly

Двоичные файлы

Модуль nifi-assembly содержит двоичный дистрибутив.

ls nifi-assembly/target/nifi-*-bin.zip

Модуль nifi-assembly включает двоичный дистрибутив в каталоге для локальной разработки и тестирования.

cd nifi-assembly/target/nifi-*-bin/nifi-*/

Запуск

NiFi предоставляет shell-скрипты для запуска и остановки системы.

Для работы в Microsoft Windows используйте nifi.cmd вместо nifi.sh для системных команд.