Apache Flink

Apache Flink は、強力なストリーム処理とバッチ処理の機能を備えたオープンソースのストリーム処理フレームワークです。

Flink の詳細は https://flink.apache.org/ をご覧ください。

特徴

バッチ処理とデータストリーミングプログラムの両方をサポートするストリーミングファーストのランタイム
Java と Scala のエレガントで流暢な API
非常に高いスループットと低いイベントレイテンシを同時にサポートするランタイム
Dataflow Model に基づく DataStream API での イベント時間 および 順序外れ 処理のサポート
異なる時間セマンティクス（イベント時間、処理時間）にわたる柔軟なウィンドウ処理（時間、カウント、セッション、カスタムトリガー）
正確に1回 の処理保証を備えたフォールトトレランス
ストリーミングプログラムにおける自然なバックプレッシャー
グラフ処理（バッチ）、機械学習（バッチ）、複合イベント処理（ストリーミング）のためのライブラリ
DataSet（バッチ）API での反復プログラム（BSP）の組み込みサポート
インメモリとアウトオブコアのデータ処理アルゴリズム間の効率的で堅牢な切り替えのためのカスタムメモリ管理
Apache Hadoop MapReduce の互換性レイヤー
YARN、HDFS、HBase、および Apache Hadoop エコシステムの他のコンポーネントとの統合

ストリーミングの例

case class WordWithCount(word: String, count: Long)

val text = env.socketTextStream(host, port, '\n')

val windowCounts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .keyBy("word")
  .timeWindow(Time.seconds(5))
  .sum("count")

windowCounts.print()

バッチの例

case class WordWithCount(word: String, count: Long)

val text = env.readTextFile(path)

val counts = text.flatMap { w => w.split("\\s") }
  .map { w => WordWithCount(w, 1) }
  .groupBy("word")
  .sum("count")

counts.writeAsCsv(outputPath)

ソースから Apache Flink をビルドする

Flink をビルドするための前提条件:

Unix系環境（Linux、Mac OS X、Cygwin、WSL を使用）
Git
Maven（バージョン 3.2.5 を推奨、少なくとも 3.1.1 が必要）
Java 8 または 11（Java 9 または 10 でも動作する可能性あり）

git clone https://github.com/apache/flink.git
cd flink
mvn clean package -DskipTests # これには最大10分かかります

Flink は build-target にインストールされます。

注記: Maven 3.3.x でも Flink はビルドできますが、特定の依存関係を適切にシェードできません。Maven 3.1.1 はライブラリを適切に作成します。 Java 8 で単体テストをビルドするには、PowerMock ランナーを使用する単体テストの失敗を防ぐために Java 8u51 以上を使用してください。

Flink の開発

Flink のコミッターは IntelliJ IDEA を使用して Flink コードベースを開発しています。 Scala コードを含むプロジェクトの開発には IntelliJ IDEA をお勧めします。

IDE の最低要件は次のとおりです:

Java と Scala のサポート（混合プロジェクトも含む）
Java と Scala を使用した Maven のサポート

IntelliJ IDEA

IntelliJ IDE は Maven を標準でサポートし、Scala 開発用のプラグインを提供しています。

IntelliJ ダウンロード: https://www.jetbrains.com/idea/
IntelliJ Scala プラグイン: https://plugins.jetbrains.com/plugin/?id=1347

詳細は IntelliJ のセットアップガイドをご確認ください。

Eclipse Scala IDE

注記: 経験上、このセットアップは Flink では動作しません。 Scala IDE 3.0.3 にバンドルされている古い Eclipse バージョンの欠陥、または Scala IDE 4.4.1 にバンドルされている Scala バージョンとのバージョンの非互換性のためです。

代わりに IntelliJ を使用することをお勧めします（上記参照）

サポート

遠慮なくお問い合わせください！

ヘルプが必要な場合は、メーリングリストで開発者やコミュニティに連絡してください。

Flink でバグを見つけた場合は、課題を報告してください。

ドキュメント

Apache Flink のドキュメントはウェブサイト https://flink.apache.org またはソースコードの docs/ ディレクトリにあります。

フォークして貢献する

これは活発なオープンソースプロジェクトです。システムを使用したり貢献したい人を常に歓迎しています。あなたのスキルに合った実装タスクをお探しの場合は、お問い合わせください。この記事では、Apache Flink への貢献方法について説明しています。

概要

Apache Flink は Apache Software Foundation (ASF) のオープンソースプロジェクトです。 Apache Flink プロジェクトは Stratosphere 研究プロジェクトから始まりました。

apache__flink_CVE-2020-17519_1-11-2

人気