隨著互聯(lián)網(wǎng)大數(shù)據(jù)的時代的到來，越來越多的人看到大數(shù)據(jù)工程師的好處。所以很多人都紛紛轉行做大數(shù)據(jù)開發(fā)工程師。但是對于一些新手小白來說，在初次接觸大數(shù)據(jù)開發(fā)時，他們有太多的問題需要了解了。就好比，初級大數(shù)據(jù)開發(fā)工程師需要學什么？初級大數(shù)據(jù)開發(fā)工程師需要具備哪些技能？如果了解下文這些知識，將成為專業(yè)的大數(shù)據(jù)開發(fā)工程師。2W的月薪就是小毛毛雨。

　　初級大數(shù)據(jù)開發(fā)工程師需要學什么？

學習大數(shù)據(jù)的兩大基礎就是JAVA和Linux，學習順序不分前后。需要同時掌握，才可以繼續(xù)大數(shù)據(jù)課程的學習。

· Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，學習大數(shù)據(jù)要學習那個方向呢？

只需要學習Java的標準版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術在大數(shù)據(jù)技術里用到的并不多，只需要了解就可以了，當然Java怎么連接數(shù)據(jù)庫還是要知道的，像JDBC一定要掌握一下，有同學說Hibernate或Mybites也能連接數(shù)據(jù)庫啊，為什么不學習一下，我這里不是說學這些不好，而是說學這些可能會用你很多時間，到最后工作中也不常用，我還沒看到誰做大數(shù)據(jù)處理用到這兩個東西的，當然你的精力很充足的話，可以學學Hibernate或Mybites的原理，不要只學API，這樣可以增加你對Java操作數(shù)據(jù)庫的理解，因為這兩個技術的核心就是Java的反射加上JDBC的各種使用。

　　· Linux：因為大數(shù)據(jù)相關軟件都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數(shù)據(jù)相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術學習起來更快。

　　大數(shù)據(jù)開發(fā)工程師需具備哪些技能？

　　Java

大家都知道Java的方向有JavaSE、JavaEE、JavaME，學習大數(shù)據(jù)要學習那個方向呢?只需要學習Java的標準版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術在大數(shù)據(jù)技術里用到的并不多，只需要了解就可以了，當然Java怎么連接數(shù)據(jù)庫還是要知道的，像JDBC一定要掌握一下。

　　Linux

因為大數(shù)據(jù)相關軟件都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數(shù)據(jù)相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。

　　Hadoop

這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個是必學的。

　　Mysql

我們學習完大數(shù)據(jù)的處理了，接下來學習學習小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那？你能在Linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

　　Sqoop

這個是用于把Mysql里的數(shù)據(jù)導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數(shù)據(jù)表導出成文件再放到HDFS上也是一樣的，當然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。

　　Hive

這個東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那它和Pig差不多掌握一個就可以了。

以上就是關于初級大數(shù)據(jù)開發(fā)工程師需要學什么，以及初級大數(shù)據(jù)開發(fā)工程師需要具備哪些技能的相關內容介紹。其實大數(shù)據(jù)開發(fā)工程師還有很多技能需要學習，例如Spark、Kafka、Hbase、Oozie、Zookeeper等等，這里就不詳解列舉。想了解更多關于大數(shù)據(jù)開發(fā)工程師的信息，請繼續(xù)關注中培偉業(yè)。