Hadoop雖然目前有點(diǎn)走下坡路，但依然是大數(shù)據(jù)的主流架構(gòu)之一，實(shí)際上，盡管其出現(xiàn)和發(fā)展已經(jīng)歷經(jīng)多年，但很多人并不一定真正了解它。中培偉業(yè)《大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算最佳實(shí)戰(zhàn)》專家鐘老師在這里就有關(guān)Hadoop的11個(gè)真相進(jìn)行了介紹，希望對(duì)大家進(jìn)一步了解Hadoop有所幫助。

真相1：Hadoop是由多個(gè)產(chǎn)品組成的。

人們?cè)谡務(wù)揌adoop的時(shí)候，常常把它當(dāng)做單一產(chǎn)品來(lái)看待，但真相上它由多個(gè)不同的產(chǎn)品共同組成。Hadoop是一系列開(kāi)源產(chǎn)品的組合，這些產(chǎn)品都是Apache軟件基金會(huì)的項(xiàng)目?！?/p>

一提到Hadoop，人們往往將其與MapReduce放在一起，但其實(shí)HDFS和MapReduce一樣，也是Hadoop的基礎(chǔ)。

真相2：Apache Hadoop是開(kāi)源技術(shù)，但專有廠商也提供Hadoop產(chǎn)品。

由于Hadoop屬于開(kāi)源技術(shù)，可免費(fèi)下載，所以IBM、Cloudera和EMC Greenplum等廠商都可以推出他們各自的Hadoop特別發(fā)行版本。

這些特別發(fā)行版本一般都會(huì)有一些附加特性，比如高級(jí)管理工具及相關(guān)的支持維護(hù)服務(wù)。有人可能對(duì)此嗤之以鼻：既然開(kāi)源社區(qū)是免費(fèi)的，那么我們?yōu)槭裁催€要為它的服務(wù)付費(fèi)?鐘老師解釋道，這些版本的HDFS對(duì)一些IT部門更合適，特別是企業(yè)IT系統(tǒng)已經(jīng)相對(duì)成熟的用戶。

真相3：Hadoop是一個(gè)生態(tài)系統(tǒng)，而非一個(gè)產(chǎn)品。

Hadoop是由開(kāi)源社區(qū)和各個(gè)廠商共同開(kāi)發(fā)和推動(dòng)的。具體說(shuō)來(lái)，廠商的Hadoop的產(chǎn)品其結(jié)構(gòu)化和關(guān)系性更強(qiáng)一些。

一直以來(lái)報(bào)表平臺(tái)、數(shù)據(jù)集成平臺(tái)在為更新的平臺(tái)提供各種各樣的接口，Hadoop當(dāng)然也不例外。

真相4：HDFS是文件系統(tǒng)，而不是數(shù)據(jù)庫(kù)管理系統(tǒng)。

鐘老師最無(wú)法忍受的，就是人們常常把二者混為一談。能夠?qū)?shù)據(jù)集進(jìn)行管理是數(shù)據(jù)管理系統(tǒng)很重要的特性之一，這一點(diǎn)HDFS是不具備的。

數(shù)據(jù)庫(kù)管理系統(tǒng)中，我們通過(guò)查詢索引可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的隨機(jī)訪問(wèn)，它往往處理的是結(jié)構(gòu)化的數(shù)據(jù)，而在Hadoop中不會(huì)處理這樣的數(shù)據(jù)類型。

真相5：Hive與SQL類似，卻非標(biāo)準(zhǔn)SQL。

傳統(tǒng)獲取數(shù)據(jù)的業(yè)務(wù)工具大多都是基于SQL的，這比較讓人頭疼，因?yàn)镠adoop使用的是一種類似SQL但不是SQL的語(yǔ)言——Apache Hive和HiveQL。實(shí)際上兼容性只是一個(gè)短時(shí)間問(wèn)題，但卻阻礙了Hadoop的普及。

真相6：Hadoop與MapReduce相互關(guān)聯(lián)，但不相互依賴。

MapReduce早在HDFS出現(xiàn)以前就由Google開(kāi)發(fā)推出。除此之外，諸如MapR一類的廠商一直在宣傳MapReduce功能的多樣性，無(wú)需HDFS支持。

盡管如此，鐘老師卻認(rèn)為它們具有很好的互補(bǔ)性。HDFS的大部分價(jià)值都體現(xiàn)在可層疊到分布式文件系統(tǒng)的工具上。

真相Hadoop的意義不僅僅在于數(shù)據(jù)量，更在于數(shù)據(jù)的多樣化。

有人把Hadoop歸類為海量數(shù)據(jù)處理技術(shù)，但是Hadoop真正的價(jià)值卻是對(duì)多樣化數(shù)據(jù)處理的能力。Hadoop的處理范圍為大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)所不及，比如針對(duì)半結(jié)構(gòu)化與完全非結(jié)構(gòu)化的數(shù)據(jù)?！?/p>

真相Hadoop是數(shù)據(jù)倉(cāng)庫(kù)的補(bǔ)充，不是數(shù)據(jù)倉(cāng)庫(kù)的替代品。

Hadoop對(duì)多樣化數(shù)據(jù)類型進(jìn)行管理的能力使得“數(shù)據(jù)倉(cāng)庫(kù)將死”的言論四起，但真相是數(shù)據(jù)倉(cāng)庫(kù)在其領(lǐng)域中的性能仍然出色，Hadoop可起到對(duì)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)進(jìn)行補(bǔ)充的作用。數(shù)據(jù)倉(cāng)庫(kù)和其他系統(tǒng)的架構(gòu)越來(lái)越多地開(kāi)始向分布式靠攏，Hadoop在這里將發(fā)揮其作用。

真相Hadoop不僅僅是Web分析。

Hadoop在互聯(lián)網(wǎng)中的運(yùn)用非常普遍，不過(guò)Hadoop普及趨勢(shì)的部分原因是因?yàn)樗梢蕴幚砀囝愋偷姆治觥?/p>

真相：大數(shù)據(jù)不一定非Hadoop不可。

別看現(xiàn)在大數(shù)據(jù)和Hadoop已經(jīng)密不可分，鐘老師卻認(rèn)為Hadoop并不是大數(shù)據(jù)的“唯一”。他提到了許多其他廠商的產(chǎn)品，如Teradata、Sybase IQ（被SAP收購(gòu)）和Vertica（被HP收購(gòu)）等。

除此之外，在Hadoop沒(méi)有誕生之時(shí)，一些企業(yè)就已經(jīng)開(kāi)始研究大數(shù)據(jù)了。例如，電信行業(yè)多年以前就有呼叫明細(xì)記錄。

真相Hadoop不是“免費(fèi)午餐”。

雖然Hadoop屬于開(kāi)源技術(shù)，但是軟件的安裝部署是需要花錢的。鐘老師稱，由于Hadoop在管理工具與支持服務(wù)方面的不足，企業(yè)在使用過(guò)程中很容易產(chǎn)生額外費(fèi)用。另外，由于它沒(méi)有優(yōu)化程序，我們只能請(qǐng)專業(yè)人士在運(yùn)行環(huán)境中手寫(xiě)輸入代碼，而這些專業(yè)人士的薪酬價(jià)碼都不菲。