Apache Flink

Apache Flink — это фреймворк с открытым исходным кодом для обработки потоков данных, обладающий мощными возможностями как для потоковой, так и для пакетной обработки.

Узнайте больше о Flink на https://flink.apache.org/

Возможности

• Среда выполнения, ориентированная на потоковую обработку, поддерживающая как пакетную обработку, так и программы потоковой передачи данных.
• Элегантные и выразительные API на Java и Scala.
• Среда выполнения, поддерживающая одновременно очень высокую пропускную способность и низкую задержку событий.
• Поддержка обработки времени событий и неупорядоченных событий в DataStream API на основе Модели Dataflow.
• Гибкое оконное разбиение (время, количество, сессии, пользовательские триггеры) для различных временных семантик (время события, время обработки).
• Отказоустойчивость с гарантиями обработки ровно один раз.
• Естественное обратное давление в потоковых программах.
• Библиотеки для обработки графов (пакетная), машинного обучения (пакетная) и обработки сложных событий (потоковая).
• Встроенная поддержка итеративных программ (BSP) в API DataSet (пакетный).
• Пользовательское управление памятью для эффективного и надежного переключения между алгоритмами обработки данных в памяти и вне её.
• Уровни совместимости с Apache Hadoop MapReduce.
• Интеграция с YARN, HDFS, HBase и другими компонентами экосистемы Apache Hadoop.

Пример потоковой обработки

case class WordWithCount(word: String, count: Long)

val text = env.socketTextStream(host, port, '\n')

val windowCounts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .keyBy("word")
  .timeWindow(Time.seconds(5))
  .sum("count")

windowCounts.print()

Пример пакетной обработки

case class WordWithCount(word: String, count: Long)

val text = env.readTextFile(path)

val counts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .groupBy("word")
  .sum("count")

counts.writeAsCsv(outputPath)

Сборка Apache Flink из исходного кода

Необходимые компоненты для сборки Flink:

• Unix-подобная среда (мы используем Linux, Mac OS X, Cygwin, WSL)
• Git
• Maven (мы рекомендуем версию 3.2.5, требуется как минимум 3.1.1)
• Java 8 или 11 (Java 9 или 10 может работать)

git clone https://github.com/apache/flink.git
cd flink
mvn clean package -DskipTests # это займет до 10 минут

Теперь Flink установлен в каталоге build-target.

ПРИМЕЧАНИЕ: Maven 3.3.x может собрать Flink, но не сможет корректно затенять некоторые зависимости. Maven 3.1.1 создает библиотеки правильно. Для сборки модульных тестов с Java 8 используйте Java 8u51 или выше, чтобы избежать ошибок в тестах, использующих PowerMock Runner.

Разработка Flink

Разработчики Flink используют IntelliJ IDEA для работы с кодом Flink. Мы рекомендуем IntelliJ IDEA для проектов, включающих код на Scala.

Минимальные требования к IDE:

• Поддержка Java и Scala (в том числе смешанных проектов)
• Поддержка Maven с Java и Scala

IntelliJ IDEA

Среда IntelliJ IDEA поддерживает Maven из коробки и предоставляет плагин для разработки на Scala.

• Загрузка IntelliJ: https://www.jetbrains.com/idea/
• Плагин Scala для IntelliJ: https://plugins.jetbrains.com/plugin/?id=1347

Подробнее см. в нашем руководстве Настройка IntelliJ.

Eclipse Scala IDE

ПРИМЕЧАНИЕ: По нашему опыту, эта настройка не работает с Flink из-за недостатков старой версии Eclipse, входящей в состав Scala IDE 3.0.3, или из-за несовместимости версий со встроенной версией Scala в Scala IDE 4.4.1.

Мы рекомендуем использовать IntelliJ (см. выше)

Поддержка

Не стесняйтесь спрашивать!

Свяжитесь с разработчиками и сообществом через списки рассылки, если вам нужна помощь.

Откройте задачу, если вы нашли ошибку в Flink.

Документация

Документация Apache Flink находится на сайте: https://flink.apache.org или в каталоге docs/ исходного кода.

Форк и участие

Это активный проект с открытым исходным кодом. Мы всегда открыты для людей, которые хотят использовать систему или внести вклад. Свяжитесь с нами, если вы ищете задачи для реализации, соответствующие вашим навыкам. Эта статья описывает как внести вклад в Apache Flink.

О проекте

Apache Flink — это проект с открытым исходным кодом Фонда программного обеспечения Apache (ASF). Проект Apache Flink возник из исследовательского проекта Stratosphere.