久久精品国产一区二区电影,羞羞的视频,色狠狠av老熟女

Mac下利用vmware fushion安裝centos服務(wù)器，然后搭建Hadoop集群。

準(zhǔn)備工作

安裝好三臺(tái) Linux 虛擬機(jī)，配置好靜態(tài)ip，關(guān)閉防火墻，關(guān)閉selinux，更改主機(jī)名，同步時(shí)間，配置好hadoop用戶(hù)，并設(shè)置免密登錄，最好安裝好JDK。詳細(xì)參考：Zookeeper三節(jié)點(diǎn)集群搭建。
安裝過(guò)程中涉及到的軟件：
hadoop-2.6.0-cdh5.14.2.tar.gz，下載地址

安裝過(guò)程

上傳hadoop安裝包，進(jìn)行解壓
mac命令行中執(zhí)行：

cp hadoop-2.6.0-cdh5.14.2.tar.gz hadoop@node01:/kkb/soft
ssh hadoop@node01
cd /kkb/soft
tar -xzvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /kkb/install

配置hadoop環(huán)境變量

配置環(huán)境變量

vim /etc/profile
# 增加：
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
# PATH增加：
$HADOOP_HOME/bin:$HADOOP_HOME/sbin

驗(yàn)證環(huán)境變量

source /etc/profile
hadoop version

配置hadoop-env.sh

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hadoop-env.sh
# 找到JAVA_HOME，并設(shè)置為：
export JAVA_HOME=/kkb/install/jdk1.8.0_141

配置core-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/core-site.xml
# 修改其內(nèi)容為：
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
    </property>
    <!--  緩沖區(qū)大小，實(shí)際工作中根據(jù)服務(wù)器性能動(dòng)態(tài)調(diào)整 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
         <value>10080</value>
         <description>檢查點(diǎn)被刪除后的分鐘數(shù)。 如果為零，垃圾桶功能將被禁用。 該選項(xiàng)可以在服務(wù)器和客戶(hù)端上配置。           如果垃圾箱被禁用服務(wù)器端，則檢查客戶(hù)端配置。 如果在服務(wù)器端啟用垃圾箱，則會(huì)使用服務(wù)器上配置的值，并忽略客
         戶(hù)端配置值。
         </description>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>0</value>
        <description>垃圾檢查點(diǎn)之間的分鐘數(shù)。 應(yīng)該小于或等于fs.trash.interval。
        如果為零，則將該值設(shè)置為fs.trash.interval的值。 每次檢查指針運(yùn)行時(shí)，
        它都會(huì)從當(dāng)前創(chuàng)建一個(gè)新的檢查點(diǎn)，并刪除比f(wàn)s.trash.interval更早創(chuàng)建的檢查點(diǎn)。
        </description>
    </property>
</configuration>

配置hdfs-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hdfs-site.xml
#  修改其內(nèi)容為：
<configuration>
    <!-- NameNode存儲(chǔ)元數(shù)據(jù)信息的路徑，實(shí)際工作中，一般先確定磁盤(pán)的掛載目錄，然后多個(gè)目錄用，進(jìn)行分割   --> 
    <!--   集群動(dòng)態(tài)上下線(xiàn) 
    <property>
        <name>dfs.hosts</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/accept_host</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/deny_host</value>
    </property>
     -->
     <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node01:50090</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
    </property>
    <!--  定義dataNode數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)位置，實(shí)際工作中，一般先確定磁盤(pán)的掛載目錄，然后多個(gè)目錄用，進(jìn)行分割  -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
    </property>
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/mapred-site.xml
# 修改其內(nèi)容為：
<!--指定運(yùn)行mapreduce的環(huán)境是yarn -->
<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
</configuration>

配置yarn-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/yarn-site.xml
# 修改其內(nèi)容為：
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
         <name>yarn.log.server.url</name>
         <value>http://node01:19888/jobhistory/logs</value>
    </property>
    <!--多長(zhǎng)時(shí)間聚合刪除一次日志 此處-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
    </property>
    <!--時(shí)間在幾秒鐘內(nèi)保留用戶(hù)日志。只適用于如果日志聚合是禁用的-->
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
    </property>
    <!--指定文件壓縮類(lèi)型用于壓縮匯總?cè)罩?->
    <property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
    </property>
    <!-- nodemanager本地文件存儲(chǔ)目錄-->
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/yarn/local</value>
    </property>
    <!-- resourceManager  保存最大的任務(wù)完成個(gè)數(shù) -->
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
    </property>
</configuration>

編輯slaves
此文件用于配置集群有多少個(gè)數(shù)據(jù)節(jié)點(diǎn),我們把node2，node3作為數(shù)據(jù)節(jié)點(diǎn),node1作為集群管理節(jié)點(diǎn).
配置/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop目錄下的slaves

vim slaves
# 將localhost這一行刪掉，并且增加：
node01
node02
node03

mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

遠(yuǎn)程復(fù)制hadoop到集群各個(gè)機(jī)器

分發(fā)hadoop安裝文件到node02，node03

cd /kkb/install
scp -r hadoop-2.6.0-cdh5.14.2 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 node03:$PWD

分發(fā)全局環(huán)境配置文件/etc/profile到node02，node03

sudo scp /etc/profile node02:/etc/profile
sudo scp /etc/profile node03:/etc/profile

使集群中所有機(jī)器的環(huán)境變量生效

ssh node02
source /etc/profile
hadoop version
exit
ssh node03
source /etc/profile
hadoop version
exit

格式化hadoop
注意格式化hadoop只用在namenode上進(jìn)行，也即node01上進(jìn)行。

hdfs namenode -format

啟動(dòng)集群

在node01上啟動(dòng)hadoop集群

start-all.sh
# 啟動(dòng)完成后，可以執(zhí)行 jps查看進(jìn)程
jps

在瀏覽器界面中輸入：http://192.168.2.100:50070/，查看namenode的web界面。

namenode

運(yùn)行hello, world!

mapreduce程序(行話(huà)程為詞頻統(tǒng)計(jì)程序(中文名),英文名：wordcount)，就是統(tǒng)計(jì)一個(gè)文件中每一個(gè)單詞出現(xiàn)的次數(shù)，也是我們學(xué)習(xí)大數(shù)據(jù)技術(shù)最基礎(chǔ)，最簡(jiǎn)單的程序，入門(mén)必須要會(huì)要懂的第一個(gè)程序，其地位和java，php，c#，javascript等編程語(yǔ)言的第一個(gè)入門(mén)程序HelloWorld(在控制臺(tái)打印“hello world！”等字樣)程序一樣，尤為重要,不同的是它們是單機(jī)應(yīng)用程序，我們接下來(lái)要運(yùn)行的程序(wordcount)是一個(gè)分布式運(yùn)行的程序，是在一個(gè)大數(shù)據(jù)集群中運(yùn)行的程序。wordcount程序能夠正常的運(yùn)行成功，輸入結(jié)果，意味著我們的大數(shù)據(jù)環(huán)境正確的安裝和配置成功

hdfs dfs -ls /
# 在hadoop目錄下創(chuàng)建測(cè)試文件
hdfs dfs -mkdir /test
# 在本地創(chuàng)建一個(gè)文件
touch words
vim words
# 編輯內(nèi)容如下：
i love you
you love him
# 將測(cè)試文件上傳到hadoop上的測(cè)試目錄
hdfs dfs -put words /test
#/ test/words 是hdfs上的文件存儲(chǔ)路徑 /test/output是mapreduce程序的輸出路徑，
# 這個(gè)輸出路徑是不能已經(jīng)存在的路徑，mapreduce程序運(yùn)行的過(guò)程中會(huì)自動(dòng)創(chuàng)建輸出路徑
# 數(shù)據(jù)路徑存在的話(huà)會(huì)報(bào)錯(cuò)
hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/words /test/output
# 查看運(yùn)行結(jié)果：
hdfs dfs -cat /test/output/part-r-00000

停止集群

stop-all.sh

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

Hadoop三節(jié)點(diǎn)集群搭建

Hadoop三節(jié)點(diǎn)集群搭建

準(zhǔn)備工作

安裝過(guò)程

啟動(dòng)集群

運(yùn)行hello, world!

停止集群

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

Hadoop三節(jié)點(diǎn)集群搭建

準(zhǔn)備工作

安裝過(guò)程

啟動(dòng)集群

運(yùn)行hello, world!

停止集群

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频