隨著IT互聯(lián)網信息技術的飛速發(fā)展和進步。目前大數(shù)據行業(yè)也越來越火爆，從而導致國內大數(shù)據人才也極度缺乏，中培偉業(yè)特為此開設了大數(shù)據相關的培訓課程，為我國的互聯(lián)網行業(yè)貢獻一份力量。

一．Hadoop

2011年起，中國就進入大數(shù)據風起云涌的時代，以Hadoop為代表的家族軟件，占據了大數(shù)據處理的廣闊地盤。開源界及廠商，所有數(shù)據軟件，無一不向Hadoop靠攏。Hadoop也從小眾的高富帥領域，變成了大數(shù)據開發(fā)的標準。在Hadoop原有技術基礎之上，出現(xiàn)了Hadoop家族產品，通過“大數(shù)據”概念不斷創(chuàng)新，推出科技進步。可以說，Hadoop在大數(shù)據領域的成功，更引發(fā)了它本身的加速發(fā)展。

眾所周知，Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。而它的名字來源于Doug Cutting兒子的玩具大象。Doug Cutting曾說過："這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手。"

Hadoop能解決什么問題呢？

Hadoop作為大數(shù)據系統(tǒng)可以做的事情有很多的，最為常見的像日志分析，搜索，圖片分析，物聯(lián)網傳感數(shù)據分析，數(shù)據的長期存儲。我們選擇Hadoop是因為Hadoop具有這些優(yōu)點。（1）可以存儲結構化數(shù)據和非結構化數(shù)據；（2）性價比高、容錯率高；（3）當服務當中的一臺服務的軟硬件出錯后系統(tǒng)都能繼續(xù)運行；（4）能夠對海量數(shù)據快速存儲；（5）對海量數(shù)據做快速計算；（6）能夠通過添加節(jié)點的方式快速擴展系統(tǒng)；（7）Hadoop對系統(tǒng)數(shù)據安全性是有保障的?！　?/p>

看多Hadoop的朋友都知道，存儲在Hadoop平臺中的數(shù)據，通過統(tǒng)一的分布式存儲HDFS，可以將數(shù)據的訪問和存儲分布在大量服務器之中，在可靠的多備份存儲的同時，還能將訪問分布到集群的各個服務器之上?！　?/p>

Hadoop架構可以很好的解決數(shù)據庫擴展的瓶頸，它把數(shù)據庫的設計部署在經濟實惠的硬件上，通過橫向擴展，便可無限的提升數(shù)據庫的數(shù)據處理能力。

二．Spark

1.Spark的定義

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據挖掘與機器學習等需要迭代的map reduce的算法。其架構如下圖所示：

2.如何使用Spark

Spark可以直接對HDFS進行數(shù)據的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數(shù)據倉庫Shark實現(xiàn)上借用Hive，幾乎與Hive完全兼容。

由于RDD的特性，Spark不適用那種異步細粒度更新狀態(tài)的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合。

總的來說Spark的適用面比較廣泛且比較通用。

有人說：“Spark就像一個高性能引擎; 它支持您想要對數(shù)據執(zhí)行的工作。Hadoop可以提供一個可能的存儲層，為Spark引擎提供數(shù)據”。在大數(shù)據技術領域當中，應用Hadoop和Spark技術體系，能強化大數(shù)據平臺的分布式集群架構和核心關鍵技術實現(xiàn)、大數(shù)據應用項目開發(fā)和大數(shù)據集群運維實踐、以及Hadoop與Spark大數(shù)據項目應用開發(fā)與調優(yōu)的全過程沙盤模擬實戰(zhàn)。

以上在中培課堂中就能全盤掌握。而參加中培培訓，讓每個學員都能在課程培訓過程中學到實實在在的大數(shù)據技術知識體系，以及大數(shù)據技術應用實戰(zhàn)技能，具備實際大數(shù)據應用項目的動手開發(fā)實踐與運維管理部署能力。