隨著IT互聯網信息技術的飛速發展和進步。目前大數據行業也越來越火爆，從而導致國內大數據人才也極度缺乏，中培偉業特為此開設了大數據相關的培訓課程，為我國的互聯網行業貢獻一份力量。

一．Hadoop

2011年起，中國就進入大數據風起云涌的時代，以Hadoop為代表的家族軟件，占據了大數據處理的廣闊地盤。開源界及廠商，所有數據軟件，無一不向Hadoop靠攏。Hadoop也從小眾的高富帥領域，變成了大數據開發的標準。在Hadoop原有技術基礎之上，出現了Hadoop家族產品，通過“大數據”概念不斷創新，推出科技進步?？梢哉f，Hadoop在大數據領域的成功，更引發了它本身的加速發展。

眾所周知，Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。而它的名字來源于Doug Cutting兒子的玩具大象。Doug Cutting曾說過："這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手。"

Hadoop能解決什么問題呢？

Hadoop作為大數據系統可以做的事情有很多的，最為常見的像日志分析，搜索，圖片分析，物聯網傳感數據分析，數據的長期存儲。我們選擇Hadoop是因為Hadoop具有這些優點。（1）可以存儲結構化數據和非結構化數據；（2）性價比高、容錯率高；（3）當服務當中的一臺服務的軟硬件出錯后系統都能繼續運行；（4）能夠對海量數據快速存儲；（5）對海量數據做快速計算；（6）能夠通過添加節點的方式快速擴展系統；（7）Hadoop對系統數據安全性是有保障的?！　?/p>

看多Hadoop的朋友都知道，存儲在Hadoop平臺中的數據，通過統一的分布式存儲HDFS，可以將數據的訪問和存儲分布在大量服務器之中，在可靠的多備份存儲的同時，還能將訪問分布到集群的各個服務器之上?！　?/p>

Hadoop架構可以很好的解決數據庫擴展的瓶頸，它把數據庫的設計部署在經濟實惠的硬件上，通過橫向擴展，便可無限的提升數據庫的數據處理能力。

二．Spark

1.Spark的定義

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現的分布式計算，擁有Hadoop MapReduce所具有的優點；但不同于MapReduce的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的map reduce的算法。其架構如下圖所示：

2.如何使用Spark

Spark可以直接對HDFS進行數據的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數據倉庫Shark實現上借用Hive，幾乎與Hive完全兼容。

由于RDD的特性，Spark不適用那種異步細粒度更新狀態的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合。

總的來說Spark的適用面比較廣泛且比較通用。

有人說：“Spark就像一個高性能引擎; 它支持您想要對數據執行的工作。Hadoop可以提供一個可能的存儲層，為Spark引擎提供數據”。在大數據技術領域當中，應用Hadoop和Spark技術體系，能強化大數據平臺的分布式集群架構和核心關鍵技術實現、大數據應用項目開發和大數據集群運維實踐、以及Hadoop與Spark大數據項目應用開發與調優的全過程沙盤模擬實戰。

以上在中培課堂中就能全盤掌握。而參加中培培訓，讓每個學員都能在課程培訓過程中學到實實在在的大數據技術知識體系，以及大數據技術應用實戰技能，具備實際大數據應用項目的動手開發實踐與運維管理部署能力。