Apache Flink

Apache Flink est un framework de traitement de flux open source avec de puissantes capacités de traitement en flux et par lots.

En savoir plus sur Flink sur https://flink.apache.org/

Fonctionnalités

• Un runtime orienté flux qui prend en charge à la fois le traitement par lots et les programmes de flux de données
• Des API élégantes et fluides en Java et Scala
• Un runtime qui prend en charge simultanément un très haut débit et une faible latence d'événements
• Prise en charge du traitement event time et out-of-order dans l'API DataStream, basée sur le Dataflow Model
• Fenêtrage flexible (temps, nombre, sessions, déclencheurs personnalisés) selon différentes sémantiques temporelles (event time, processing time)
• Tolérance aux pannes avec garanties de traitement exactly-once
• Back-pressure naturel dans les programmes de flux
• Bibliothèques pour le traitement de graphes (batch), l'apprentissage automatique (batch) et le traitement d'événements complexes (streaming)
• Prise en charge intégrée des programmes itératifs (BSP) dans l'API DataSet (batch)
• Gestion de mémoire personnalisée pour une commutation efficace et robuste entre les algorithmes de traitement de données en mémoire et hors mémoire
• Couches de compatibilité pour Apache Hadoop MapReduce
• Intégration avec YARN, HDFS, HBase et d'autres composants de l'écosystème Apache Hadoop

Exemple de streaming

case class WordWithCount(word: String, count: Long)

val text = env.socketTextStream(host, port, '\n')

val windowCounts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .keyBy("word")
  .timeWindow(Time.seconds(5))
  .sum("count")

windowCounts.print()

Exemple batch

case class WordWithCount(word: String, count: Long)

val text = env.readTextFile(path)

val counts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .groupBy("word")
  .sum("count")

counts.writeAsCsv(outputPath)

Compiler Apache Flink à partir des sources

Prérequis pour compiler Flink :

• Environnement de type Unix (nous utilisons Linux, Mac OS X, Cygwin, WSL)
• Git
• Maven (nous recommandons la version 3.2.5 et exigeons au moins 3.1.1)
• Java 8 ou 11 (Java 9 ou 10 peut fonctionner)

git clone https://github.com/apache/flink.git
cd flink
mvn clean package -DskipTests # this will take up to 10 minutes

Flink est maintenant installé dans build-target.

NOTE : Maven 3.3.x peut compiler Flink, mais n'ombrera pas correctement certaines dépendances. Maven 3.1.1 crée les bibliothèques correctement. Pour compiler les tests unitaires avec Java 8, utilisez Java 8u51 ou supérieur pour éviter les échecs dans les tests unitaires qui utilisent le runner PowerMock.

Développer Flink

Les committers de Flink utilisent IntelliJ IDEA pour développer la base de code de Flink. Nous recommandons IntelliJ IDEA pour développer des projets impliquant du code Scala.

Les exigences minimales pour un IDE sont :

• Prise en charge de Java et Scala (également les projets mixtes)
• Prise en charge de Maven avec Java et Scala

IntelliJ IDEA

L'IDE IntelliJ prend en charge Maven nativement et propose un plugin pour le développement Scala.

• Téléchargement IntelliJ : https://www.jetbrains.com/idea/
• Plugin IntelliJ Scala : https://plugins.jetbrains.com/plugin/?id=1347

Consultez notre guide Configuration d'IntelliJ pour plus de détails.

Eclipse Scala IDE

NOTE : D'après notre expérience, cette configuration ne fonctionne pas avec Flink en raison des lacunes de l'ancienne version d'Eclipse fournie avec Scala IDE 3.0.3 ou d'incompatibilités de version avec la version Scala fournie dans Scala IDE 4.4.1.

Nous recommandons d'utiliser IntelliJ à la place (voir ci-dessus)

Support

N'hésitez pas à demander !

Contactez les développeurs et la communauté sur les listes de diffusion si vous avez besoin d'aide.

Ouvrez un ticket si vous avez trouvé un bug dans Flink.

Documentation

La documentation d'Apache Flink se trouve sur le site web : https://flink.apache.org ou dans le répertoire docs/ du code source.

Fork et Contribuer

C'est un projet open source actif. Nous sommes toujours ouverts aux personnes qui souhaitent utiliser le système ou y contribuer. Contactez-nous si vous cherchez des tâches de mise en œuvre adaptées à vos compétences. Cet article décrit comment contribuer à Apache Flink.

À propos

Apache Flink est un projet open source de l'Apache Software Foundation (ASF). Le projet Apache Flink est issu du projet de recherche Stratosphere.