零基礎學習hadoop,沒有想象的那么困難,也沒有想象的那么容易。在剛接觸云計算,曾經想過培訓,但是培訓機構的選擇就讓我很糾結。所以索性就自己學習了。整個過程整理一下,給大家參考,歡迎討論,共同學習。
從一開始什么都不懂,到能夠搭建集群,開發。整個過程,只要有Linux基礎,虛擬機化和java基礎,其實hadoop,沒有太大的困難。
首先整體說一下學習過程給大家借鑒:
首先查閱了資料,什么是hadoop,至于這方面,你可以參考這個帖子hadoop新手學習指導。對這個有了整體的認識之后開始下面內容。(新手請務必參考hadoop新手學習指導,否則后面可能看不懂)
我們知道hadoop,有單機安裝,偽分布安裝和分布安裝。
同時hadoop的環境是Linux,所以我們還需要安裝Linux系統。因為我們的習慣是使用windows,所以對于Linux上來就安裝軟件之類的,困難度很大。并且我們要搭建集群,需要多臺硬件的,不可能為了搭建集群,去買三臺電腦。
從成本和使用我們需要懂虛擬化方面的知識。這里的虛擬化其實就是我們需要懂得虛擬機的使用。因為hadoop安裝在Linux中,才能真正發揮作用。所以我們也不會使用windows。
(這里補充硬件的選擇:最關鍵的是內存,2G內存是有點卡的,4G有點勉強的,8G用起來順暢)
基于以上內容。所以我們需要懂得
1.虛擬化
2.Linux
3.java基礎
下面來詳細介紹
1.虛擬化
剛開始學習,上來就安裝了虛擬機wmware station,然后創建虛擬機,安裝Linux。但是問題來了。虛擬機的網絡難住,因為缺乏這方面的知識,所以不得不停下來,學習虛擬機的網絡,該怎么搞。虛擬機網絡分為三種:
1.briage
2.host-only
3.nat
這不是很簡單的嗎?網上資料也不少。可是事情并沒有想象的那么簡單,因為nat雖然能上網,但是虛擬系統無法和本局域網中的其他真實主機進行通訊。橋接模式全都需要手工配置,而且這里還需要明白自己是本機撥號上網,還是路由撥號上網。host-only創建一個與網內其他機器相隔離的虛擬系統,這個更不行。這些都不適合我們的hadoop集群。hadoop要求主機與虛擬機與外部網絡(能上網),這三者都是通的,在安裝的過程中,才不會遇到麻煩。
所以這就是虛擬化方面的困難。
下面總結了在虛擬化方面需要做的:
此文章讓你明白為什么虛擬化,虛擬化的價值
詳細介紹了虛擬化三種網絡模式
上面了解三種網絡模式,這三種網絡模式該如何才能上網。
對于上面你可能了解的還不夠,下面咱們論壇會員具體實踐指導,可以與他們相互交流:
集群搭建:主機寬帶撥號上網,虛擬機使用橋接模式,該如何ping通外網
集群搭建必備:nat模式設置靜態ip,達到上網與主機相互通信
上面是三種不同網絡模式下,如何達到,虛擬機,主機,網絡三者互通。
上面的知識具備了我們開始動手:
第一步:下載軟件
VMware Workstation 10.0.0簡體中文正式版官方下載地址
ubuntu-desktop 版:是圖形界面
ubuntu-12.04-desktop-amd64
鏈接:?http://pan.baidu.com/s/1eQxHLFO?密碼: nnkv?
新手指導windows使用虛擬機安裝Linux(ubuntu):包括下載及安裝指導
上面的帖子很齊全,包括wmware下載Linux桌面版下載。還有安裝指導,包括下面需要講解的Linux安裝指導
第二步:
下載我們就需要安裝和使用
VMware workstation安裝linux(ubuntu)配置詳解
在這里我們安裝完畢虛擬機,安裝完畢Linux,我們需要返回第一步,進行網絡設置。但是在網絡設置中,我們會遇到各種各樣的困難,因為缺乏Linux知識。
同時這里補充一些虛擬化的基礎知識:
虛擬機安裝Linux視頻
2.Linux
2.1、Linux基礎知識
對于Linux的學習也是一個過程,因為可能你連最簡單的開機和關機命令都不會,更不要談配置網絡。這里面給大家提供剛開始學習所查閱的資料和經驗總結。
首先我們需要使用一些命令,進行網絡配置,但是在網絡配置中,這里面又必須懂得虛擬機的一些知識,所以前面的虛擬機知識需要掌握扎實一些。
對于網絡配置:
集群搭建:主機寬帶撥號上網,虛擬機使用橋接模式,該如何ping通外網
集群搭建必備:nat模式設置靜態ip,達到上網與主機相互通信
其實還是上面三個,但是我們會遇到各種不會的命令,即使能查到命令,我們也不能使用。為什么會這樣,因為各種有的命令,是需要使用安裝包的。我們在配置網絡過程中,同樣會遇到各種各樣的奇怪的配置。在我們的Linux的系統,不能找到文件。這里只舉ubuntu。網絡配置文件/etc/network/interfaces。我們配置完畢之后,有各種網絡重啟方式:
/etc/init.d/networking??restart
復制代碼
這是一種網絡重啟方式,但是有時候并不管用。
那么這時候我們遇到困難了,剛接觸命令不起作用,該怎么辦?
ifconfig eth0 down
復制代碼
ifconfig eth0 up
復制代碼
(這里同樣需要明白,我這里使用的是eth0上網的,如果你使用的是eth1,就需要替換成eth1)
上面的兩個命令能達到同樣的效果。
在舉一例:
我們需要配置網絡文件,在很多網絡配置是使用下面的命令的
vim /etc/network/interfaces
復制代碼
但是我們看到下面錯誤
The program vim can be found in the following package:
vim
vim -gnome
vim-tiny
vim-gtk
vim-nox
Try:sudo apt-get install
復制代碼
這和我們看到的配置完全不一樣。這是因為我們安裝Linux之后,并沒有安裝vim包。所以我們又遇到了困難。如果你熟悉Linux的話,這個根本不是問題。
vi /etc/network/interfaces
復制代碼
上面命令迎刃而解。一個vim,一個vi。在我們剛接觸這些肯定云里霧里,所以你需要首先有成就感,然后在慢慢接觸。下面都是經過實踐的內容,也算是經驗,大家可以參考。
云技術基礎:學習hadoop使用零基礎linux(Ubuntu)筆記
搭建集群必知:Linux常用命令及修改文件總結(不斷更新)? ??
解決遇到Linux網絡配置,從熟悉網絡配置文件入手(大體了解即可)
Linux重啟方式init 0 init1 init 3 init 5 init 6 這幾個啟動級別都代表什么意思?
Linux基礎必懂:eth0,eth1,eth2,lo是什么意思?
此篇文章幫助認識網卡,判斷網卡是否啟動,對于網絡的也算是常識。
--------------------------------------------------------------------------------------------------------------------------------------------
這是了解你所處路徑的,起到輔助的作用。
此篇文章較為關鍵,因為經常用到,而且需要熟悉
編輯模式
命令模式
如何保存,如何退出等各種操作
熟悉他的作用就是能夠查看軟件安裝是否成功
2.1、Linux安裝hadoop
上面切記浮躁,因為這也是上面一到兩個月的總結。我們不可能一天兩天就能完成。所以上面需要我們經過最起碼完全一周的時間。我們熟悉了Linux命令,熟悉了網絡知識。后面我們進行的快多了。
部署集群,首先需要安裝java,然后安裝hadoop。
首先我們還是從零基礎開始。
我們需要下載和本地電腦相匹配的jdk,是32位的下載32位,是64位的下載64位。這里我們從最簡單的入手。在這過程中,可能遇到問題的是環境變量的配置,造成命令不能識別。而這里你需要學習新的Linux知識。不過如果前面你已經配置完網絡,有了這個基礎,在學習新的知識,壓力明顯變小了。
下面給大家分享一下,在Linux中如何安裝Java和hadoop。
(hadoop2搭建參考hadoop2.2完全分布式最新高可靠安裝文檔
)
Hadoop安裝過程:Hadoop單機環境搭建權威指南(ubuntu)?
安裝完畢,我們該怎么用,該怎么測試安裝成功。
通過上面帖子,我們很容易安裝完成,如果是剛熟悉Linux,需要補充下面知識,才能順利完成。
linux(ubuntu)安裝Java jdk環境變量設置及小程序測試
今天在寫點內容,以上咱們已經會安裝集群了,那么我們就需要進入開發了。開發零基礎,該如何,咱們提供了相關的內容分別介紹下面文章
學習hadoop----java零基礎學習線路指導視頻(1)
這一篇我們使用什么開發工具,甚至考慮使用什么操作系統。然后就是Java基礎知識篇,包括變量、函數等。
第一篇是屬于思想篇,那么這一篇屬于實戰篇,通過不同的方式,交給你怎么編寫第一個小程序。
Java零基礎:一步步教你如何使用eclipse創建項目及編寫小程序實例
由于上面沒有真正抽象出eclipse的使用,所以這里專門介紹了使用eclipse如何創建項目,及如何編寫小程序實例
eclipse基本知識會了之后,我們在項目,這些技巧相當有用,而且經常用到
這是第三篇,我們上面熟悉之后,就可以開發hadoop。但是因為hadoop是屬于分布式,所以如果對Java越是熟悉,可能產生的問題就會越多。這里總結了hadoop的開發方式。
在此我向大家推薦一個大數據學習交流群710219868: 里面會分享一些資 深大數據工程師架構師錄制的視頻錄像 數據開發師必備的知識體系。還能領取免費的學習資源。注意 學習編號 填寫八月哦!!