Apache Flink

Apache Flink è un framework di elaborazione flussi open source con potenti capacità di elaborazione di flussi e batch.

Scopri di più su Flink su https://flink.apache.org/

Caratteristiche

• Un runtime orientato allo streaming che supporta sia l'elaborazione batch che i programmi di streaming dati
• API eleganti e fluide in Java e Scala
• Un runtime che supporta contemporaneamente throughput molto elevato e bassa latenza degli eventi
• Supporto per l'elaborazione event time e out-of-order nell'API DataStream, basata sul Dataflow Model
• Windowing flessibile (tempo, conteggio, sessioni, trigger personalizzati) attraverso diverse semantiche temporali (event time, processing time)
• Tolleranza ai guasti con garanzie di elaborazione exactly-once
• Back-pressure naturale nei programmi di streaming
• Librerie per elaborazione di grafi (batch), Machine Learning (batch) e Complex Event Processing (streaming)
• Supporto integrato per programmi iterativi (BSP) nell'API DataSet (batch)
• Gestione personalizzata della memoria per un passaggio efficiente e robusto tra algoritmi di elaborazione dati in-memory e out-of-core
• Livelli di compatibilità per Apache Hadoop MapReduce
• Integrazione con YARN, HDFS, HBase e altri componenti dell'ecosistema Apache Hadoop

Esempio di Streaming

case class WordWithCount(word: String, count: Long)

val text = env.socketTextStream(host, port, '\n')

val windowCounts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .keyBy("word")
  .timeWindow(Time.seconds(5))
  .sum("count")

windowCounts.print()

Esempio di Batch

case class WordWithCount(word: String, count: Long)

val text = env.readTextFile(path)

val counts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .groupBy("word")
  .sum("count")

counts.writeAsCsv(outputPath)

Compilare Apache Flink dal codice sorgente

Prerequisiti per compilare Flink:

• Ambiente Unix-like (usiamo Linux, Mac OS X, Cygwin, WSL)
• Git
• Maven (consigliamo la versione 3.2.5 e richiediamo almeno la 3.1.1)
• Java 8 o 11 (Java 9 o 10 potrebbero funzionare)

git clone https://github.com/apache/flink.git
cd flink
mvn clean package -DskipTests # questo richiederà fino a 10 minuti

Flink è ora installato in build-target.

NOTA: Maven 3.3.x può compilare Flink, ma non ombreggerà correttamente alcune dipendenze. Maven 3.1.1 crea le librerie correttamente. Per compilare i test unitari con Java 8, usa Java 8u51 o superiore per evitare fallimenti nei test unitari che utilizzano il runner PowerMock.

Sviluppare Flink

I committer di Flink usano IntelliJ IDEA per sviluppare il codice di Flink. Raccomandiamo IntelliJ IDEA per sviluppare progetti che coinvolgono codice Scala.

I requisiti minimi per un IDE sono:

• Supporto per Java e Scala (anche progetti misti)
• Supporto per Maven con Java e Scala

IntelliJ IDEA

L'IDE IntelliJ supporta Maven nativamente e offre un plugin per lo sviluppo Scala.

• Download di IntelliJ: https://www.jetbrains.com/idea/
• Plugin Scala per IntelliJ: https://plugins.jetbrains.com/plugin/?id=1347

Consulta la nostra guida Configurare IntelliJ per i dettagli.

Eclipse Scala IDE

NOTA: Dalla nostra esperienza, questa configurazione non funziona con Flink a causa di carenze della vecchia versione di Eclipse in bundle con Scala IDE 3.0.3 o di incompatibilità di versione con la versione di Scala in bundle in Scala IDE 4.4.1.

Raccomandiamo invece di usare IntelliJ (vedi sopra)

Supporto

Non esitare a chiedere!

Contatta gli sviluppatori e la comunità sulle mailing list se hai bisogno di aiuto.

Apri un issue se hai trovato un bug in Flink.

Documentazione

La documentazione di Apache Flink si trova sul sito web: https://flink.apache.org o nella directory docs/ del codice sorgente.

Fork e Contribuisci

Questo è un progetto open source attivo. Siamo sempre aperti a persone che vogliono usare il sistema o contribuire ad esso. Contattaci se stai cercando attività di implementazione adatte alle tue competenze. Questo articolo descrive come contribuire ad Apache Flink.

Informazioni

Apache Flink è un progetto open source della Apache Software Foundation (ASF). Il progetto Apache Flink ha avuto origine dal progetto di ricerca Stratosphere.