Spark是一種快速、通用的計算集群系統(tǒng)，Spark提出的最主要抽象概念是彈性分布式數(shù)據(jù)集(RDD)，它是一個元素集合，劃分到集群的各個節(jié)點上，可以被并行操作。用戶也可以讓Spark保留一個RDD在內(nèi)存中，使其能在并行操作中被有效的重復使用。Flink是可擴展的批處理和流式數(shù)據(jù)處理的數(shù)據(jù)處理平臺，設(shè)計思想主要來源于hadoop、MPP數(shù)據(jù)庫、流式計算系統(tǒng)等，支持增量迭代計算。 中培偉業(yè)《大數(shù)據(jù)平臺搭建與高性能計算實戰(zhàn)》專家蔣老師在這里對二者進行了比較分析。- N, i; @, n/ X; X
　　張老師指介紹，4 R$ m+ s+ g* |9 u- {5 KSpark 1.4特點如下所示：
　　5 D6 y) h! b6 Q6 H/ }1.Spark為應用提供了REST API來獲取各種信息，包括jobs、stages、tasks、storage info等。
　　2.Spark Streaming增加了UI，可以方便用戶查看各種狀態(tài)，另外與Kafka的融合也更加深度，加強了對Kinesis的支持。
　　% e4 k+ A, w1 K9 A3.Spark SQL（DataFrame）添加ORCFile類型支持，另外還支持所有的Hive metastore。
　　4.Spark ML/MLlib的ML pipelines愈加成熟，提供了更多的算法和工具。 5.Tungsten項目的持續(xù)優(yōu)化，特別是內(nèi)存管理、代碼生成、垃圾回收等方面都有很多改進。
　　/ E6 R4 o7 E% X" J. H$ P  [$ N6.SparkR發(fā)布，更友好的R語法支持。

蔣老師接著介紹了 Flink 0.9有如下特點：

; n& P' u* z8 I; L5 M! [" I1.DataSet API 支持Java、Scala和Python。
      ! s4 l6 {4 ^8 e0 D2.DataStream API支持Java and Scala。
      3.Table API支持類SQL。
      4.有機器學習和圖處理（Gelly）的各種庫。
      5.有自動優(yōu)化迭代的功能，如有增量迭代。
      6.支持高效序列化和反序列化，非常便利。
      - F/ _0 q. `2 n3 h+ x* T/ p7.與Hadoop兼容性很好。

性能對比
　　蔣老師認為，首先它們都可以基于內(nèi)存計算框架進行實時計算，所以都擁有非常好的計算性能。經(jīng)過測試，F(xiàn)link計算性能上略好。

Spark和Flink全部都運行在Hadoop YARN上，性能為Flink > Spark > Hadoop(MR)，迭代次數(shù)越多越明顯，性能上，F(xiàn)link優(yōu)于Spark和Hadoop最主要的原因是Flink支持增量迭代，具有對迭代自動優(yōu)化的功能。

流式計算比較

它們都支持流式計算，F(xiàn)link是一行一行處理，而Spark是基于數(shù)據(jù)片集合（RDD）進行小批量處理，所以Spark在流式處理方面，不可避免增加一些延時。Flink的流式計算跟Storm性能差不多，支持毫秒級計算，而Spark則只能支持秒級計算。

Hadoop兼容

2 計算的資源調(diào)度都支持YARN的方式

數(shù)據(jù)存取都支持HDFS、HBase等數(shù)據(jù)源。

Flink對Hadoop有著更好的兼容，如可以支持原生HBase的TableMapper和TableReducer，唯一不足是現(xiàn)在只支持老版本的MapReduce方法，新版本的MapReduce方法無法得到支持，Spark則不支持TableMapper和TableReducer這些方法。

 DSQL支持

都支持，Spark對SQL的支持比Flink支持的范圍要大一些，另外Spark支持對SQL的優(yōu)化，而Flink支持主要是對API級的優(yōu)化。

計算迭代

這是Flink特有的，在迭代中可以顯著減少計算。

蔣老師最后總結(jié)道，Spark和Flink都支持實時計算，且都可基于內(nèi)存計算。Spark后面最重要的核心組件仍然是Spark SQL，而在未來幾次發(fā)布中，除了性能上更加優(yōu)化外（包括代碼生成和快速Join操作），還要提供對SQL語句的擴展和更好地集成。至于Flink，其對于流式計算和迭代計算支持力度將會更加增強。無論是Spark、還是Flink的發(fā)展重點，將是數(shù)據(jù)科學和平臺API化，除了傳統(tǒng)的統(tǒng)計算法外，還包括學習算法，同時使其生態(tài)系統(tǒng)越來越完善。