Apache Flink

O Apache Flink é um framework de código aberto para stream processing e processamento em lote desenvolvido pela Apache Software Foundation. O principal componente do Apache Flink é uma engine para processamento de streams distribuída usando o paradigma de dataflow, escrito em Scala e Java. O Flink executa programas data-flow arbitrários com paralelismo de dados e pipelines. O fato de usar pipelines também faz do Flink um motor para processamento em lotes. O Flink também suporta a execução de modelos iterativos. A engine do Flink provê baixa latência e alta disponibilidade, com suporte a tolerância a falhas. Programas para o Flink podem ser escritos em Java, Scala, Python, e SQL sendo automaticamente compilados e otimizados em programas data-flow para serem executados em cluster ou na nuvem. O Flink não providencia um sistema para armazenamento dos dados, mas providencia fontes de dados e conectores para sistemas como o Kinesis da AWS, Apache Kafka, HDFS, Apache Cassandra, e Elastic Search.