日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

配置密碼分布式集群環境hadoop、hbase、zookeep

系統 3642 0

新手發帖,很多方面都是剛入門,有錯誤的地方請大家見諒,歡迎批評指正

????

1、環境說明

???? 群集環境少至要需3個節點(也就是3臺服務器設備):1個Master,2個Slave,節點之間局域網連接,可以互相ping通,面下舉例說明,配置節點IP分配如下:

????

Hostname IP 新建戶用 新建戶用密碼
Master 10.10.10.213 hadoop 123456
Slave1 10.10.10.214 hadoop 123456
Slave2 10.10.10.215 hadoop 123456

???? 三個節點均用使centos?6.3系統,為了便于維護,群集環境配置項最好用使同相戶用名、戶用密碼、同相hadoop、hbase、zookeeper錄目結構。

????

2、準備工作

????

2.1、修改Hostname

???? 為了群集可以畸形穩定的運行,我們要需將個每節點的hostname別分配置為對應的Master、Slave1、Slave2。

???? (1)在Master服務器中執行以下令命:

    hostname Master	//前當效有
  
    vi /etc/sysconfig/network	//啟重后失效
  
    HOSTNAME=Master
  

???? (2)在Slave1服務器中執行以下令命:

    hostname Slave1	//前當效有
  
    vi /etc/sysconfig/network	//啟重后失效
  
    HOSTNAME=Slave1
  

???? (3)在Slave2服務器中執行以下令命:

    hostname Slave2	//前當效有
  
    vi /etc/sysconfig/network	//啟重后失效
  
    HOSTNAME=Slave2
  

????

2.2、添加Hosts映射系關

???? 別分在三個節點下通過如下令命修改hosts映射系關:

    vi /etc/hosts
  

???? 添加內容如下:

    Master	10.10.10.213

Slave1	10.10.10.214

Slave2	10.10.10.215
  

????

2.3、配置JDK環境

???? Hadoop群集必須賴依JDK環境,所以這里我們首先要需配置好JDK環境,樣同為了管理,我們議建服務器中的節點JDK安裝環境均在同相徑路下。

????

2.3.1、解壓安裝包

???? 拷貝jdk件文jdk-6u25-linux-x64.bin到/usr/lib/java件文錄目(該錄目可自行義定)下,解壓安裝包,如果件文權限被制約,可通過如下令命停止賦權限作操:

    chmod u+w jdk-6u25-linux-x64.bin
  

????

2.3.2、修改環境配置息信

    vi /etc/profile
  

???? 在最后加上:

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_25

export PATH=$PATH:$JAVA_HOME/bin 

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
  

???? 通過銷注或者以下令命使修改失效:

    source /etc/profile
  

????

2.3.3、檢查前當JDK版本息信

    java -version
  

????

2.3.4、充補(可選)

???? 如果查看前當的JDK版本不是剛才設置的JDK版本,則可以停止默許JDK版本設置作操:

    sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300   

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300   

sudo update-alternatives --config java(選擇jdk1.6.0_25版本的序號就行)
  

????

2.4、安裝SSH

???? Centos系統安裝時默許可以選擇安裝SSH,ubuntu下可以通過如下令命停止安裝(提前是必須聯網):

    sudo apt-get install ssh

sudo apt-get install rsync
  

????

2.5、新建戶用

???? 為了hadoop群集的全安與便利管理,我們要另外新建戶用,并設置密碼,令命如下:

    sudo adduser hadoop

sudo passwd hadoop
  

???? 上述令命中,第一行令命新建了一個user為hadoop的戶用,第二行令命是為這個hadoop戶用設置密碼,樣同最好服務器之間均保持一致。

????

2.6、配置群集之間SSH無密碼登岸

???? 群集環境的用使必須通過ssh無密碼登岸來執行,本機登岸本機必須無密碼登岸,主機與從機之間必須可以向雙無密碼登岸,從機與從機之間無制約。以本次為例,比如Master與Slave1之間的無密碼登岸設置驟步如下:

???? (1)進入Master服務器,停止無密碼自登岸設置

    ssh hadoop@Master	//登岸Master

ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa

cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys	//成生密鑰

chmod 700 ~/.ssh && chmod 600 ~/.ssh/*	//設置權限
  

???? 如果不知道是不是配置勝利,可通過如下令命停止驗證:

    ssh localhost
  

????如果上述令命不要需輸入密碼則表現配置勝利。

???? 進入Slave1服務器,停止無密碼自登岸設置,作操同上,只要將對應的Master為改Slave1可即,此處省略。

???? (2)進入Master服務器,設置Master->Slave1的無密碼登岸

    ssh hadoop@Master	//登岸Master

cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys'

ssh hadoop@Slave1	//若此處不要需輸入密碼則配置勝利
  

???? (3)進入Slave1服務器,設置Slave1->Master的無密碼登岸

    ssh hadoop@Slave1	//登岸Slave1

cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys'

ssh hadoop@Master	//若此處不要需輸入密碼則勝利
  

???? 以上就是Master與Slave1之間的向雙無密碼登岸配置。Master與Slave2之間的配置道理同上述基本一樣,所以不再贅述。

????

3、Hadoop群集安裝配置

????

3.1、修改hadoop配置件文

????每日一道理
漫漫人生路,誰都難免會遭遇各種失意或厄運。在凄風苦雨 慘霧愁云的考驗面前,一個強者,是不會向命運低頭的。風再冷,不會永遠不息;霧再濃,不會經久不散。風息霧散,仍是陽光燦爛。

???? 在centos系統下解壓hadoop安裝包hadoop-1.0.3.tar.gz,修改conf錄目下的6個件文:

????(1)core-site.xml

    <configuration>

	<property>

		<name>fs.default.name</name>

		<value>hdfs://Master:9000</value>

	</property>

</configuration>
  

????(2)hadoop-env.sh

???? 在該件文中加上如下一行碼代:

    export JAVA_HOME=(你配置的jdk徑路,比如:/usr/java/jdk1.6.0_25)
  

???? (3)hdfs-site.xml

    <configuration>	

	<property>

		<name>dfs.name.dir</name>

		<value>/home/hadoop/temp/hadoop</value>

	</property>

	<property>

		<name>dfs.data.dir</name>

		<value>/home/hadoop/temp/hadoop</value>

	</property>

	<property>

		<name>dfs.replication</name>

		<value>1</value>

	</property>

	<property>

		<name>dfs.support.append</name>

		<value>true</value>

	</property>

</configuration>
  

???? (4)mapred-site.xml

    <configuration>

	<property>

		<name>mapred.job.tracker</name>

		<value>Master:9001</value>

	</property>

	<property>

		<name>mapred.acls.enabled</name>

		<value>false</value>

	</property>

</configuration>
  

???? (5)Masters

    Master
  

???? (6)Slaves

    Slave1

Slave2
  

????

3.2、步同安裝包

???? 將解壓修改后的hadoop-1.0.3件文夾別分拷貝到Master、Slave1、Slave2的同相hadoop安裝徑路下。

????

3.3、啟動Hadoop群集

???? 進入Master的hadoop-1.0.3錄目,執行以下作操:

    bin/hadoop namenode -format	//式格化namenode,第一次啟動服務前執行的作操,后以不要需執行

bin/start-all.sh	 //啟動hadoop

jps	//用jps令命能看到除jps外有5個進程
  

???? 至此,hadoop群集配置進程結束。可通過瀏覽器地址http://10.10.10.213:50070?查看節點用啟狀態驗證配置是不是勝利。

????

4、Zookeeper群集安裝配置

????

4.1、修改zookeeper配置件文zoo.cfg

???? 在centos系統下解壓zookeeper安裝包zookeeper-3.4.3.tar.gz?,進入到conf錄目,將zoo_sample.cfg拷貝一份命名為zoo.cfg(Zookeeper?在啟動時會找這個件文作為默許配置件文),開打該件文停止修為改以下式格(注意權限問題,如果最后配置有問題請檢查進程中權限是不是準確)。

    dataDir=/home/hadoop/temp/zookeeper/data



server.0=10.10.10.213:2888:3888

server.1=10.10.10.214:2888:3888

server.2=10.10.10.215:2888:3888
  

????

4.2、新建錄目、新建并編輯myid件文

???? (本次配置myid件文放在/home/hadoop/temp/zookeeper/data錄目下)

    mkdir /home/hadoop/temp/zookeeper/data	//dataDir錄目

vi /home/hadoop/temp/zookeeper/data/myid
  

???? 注意myid件文中的內容為:Master中為0,Slave1中為1,Slave2中為2,別分與zoo.cfg中對應起來。

????

4.3、步同安裝包

???? 將解壓修改后的zookeeper-3.4.3件文夾別分拷貝到Master、Slave1、Slave2的同相zookeeper安裝徑路下。注意:myid件文的內容不是一樣的,各服務器中別分是對應zoo.cfg中的設置。

????

4.4、啟動zookeeper

???? Zookeeper的啟動與hadoop不一樣,要需個每節點都執行,別分進入3個節點的zookeeper-3.4.3錄目,啟動zookeeper:

    bin/zkServer.sh start
  

????注意:此時如果報錯先不會理,繼承在另兩臺服務器中執行同相作操。

????

4.5、檢查zookeeper是不是配置勝利

???? 待3臺服務器均啟動后,如果進程準確的話zookeeper應當經已主動選好leader,進入每臺服務器的zookeeper-3.4.3錄目,執行以下作操查看zookeeper啟動狀態:

    bin/zkServer.sh status
  

???? 如果涌現以下碼代表現安裝勝利了。

    [java] view plaincopy

JMX enabled by default  

Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg  

Mode: follower	//或者有且只有一個leader
  

????

5、HBase群集安裝配置

????

5.1、修改hbase配置件文

???? 在centos系統下解壓hadoop安裝包hadoop-1.0.3.tar.gz,修改conf錄目下的3個件文:

???? (1)hbase-env.sh

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_25	//JDK的安裝錄目

export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf	//hadoop的安裝錄目

export HBASE_MANAGES_ZK=true
  

???? (2)hbase-site.xml

    <configuration>

	<property>

		<name>hbase.rootdir</name>

		<value>hdfs://Master:9000/hbase</value>

	</property>  	

	<property>

		<name>hbase.cluster.distributed</name>

		<value>true</value>

	</property>

	<property>

		<name>hbase.zookeeper.property.clientPort</name>

		<value>2181</value>

	</property>

	<property>

		<name>hbase.zookeeper.quorum</name>

		<value>Master</value>

	</property>

	<property>

		<name>hbase.zookeeper.property.dataDir</name>

		<value>/home/hadoop/temp/zookeeper</value>

	</property>

	<property>

		<name>dfs.support.append</name>

		<value>true</value>

	</property>

</configuration>
  

???? (3)regionservers

    Slave1

Slave2
  

????

5.2、步同安裝包

???? 將解壓修改后的hbase-0.94.1-security件文夾別分拷貝到Master、Slave1、Slave2的同相hbase安裝徑路下。

????

5.3、啟動HBase

???? 進入Master的hbase-0.94.1-security錄目,執行以下作操:

    bin/start-hbase.sh	//之后用jps查看是不是全部進程都已啟動
  

???? 至此,hbase服務配置進程結束。可通過瀏覽器地址http://10.10.10.213:60010?查看hbase是不是可用。

???? 也可以執行以下令命,進入hbase?shell停止驗證。

????

6、結語

????

關于hadoop、zookeeper、hbase的啟動與閉關序順:啟動時hadoop和zookeeper意隨前后,但是hbase必須最后啟動,閉關時hbase必須首先閉關,然后意隨前后閉關hadoop、zookeeper。否則,會涌現異常。

關于各軟件的安裝包可以去官網下載,不同版本的安裝配置可能會有少量的變化,而且版本搭配如果不一樣的話也可能涌現問題,有問題就針對性地去查,這樣學習才有步進。

文章結束給大家分享下程序員的一些笑話語錄: 打賭
飛機上,一位工程師和一位程序員坐在一起。程序員問工程師是否樂意和他一起玩一種有趣的游戲。工程師想睡覺,于是他很有禮貌地拒絕了,轉身要睡覺。程序員堅持要玩并解釋說這是一個非常有趣的游戲:"我問你一個問題,如果你不知道答案,我付你5美元。然后你問我一個問題,如果我答不上來,我付你5美元。"然而,工程師又很有禮貌地拒絕了,又要去睡覺。  程序員這時有些著急了,他說:"好吧,如果你不知道答案,你付5美元;如果我不知道答案,我付50美元。"果然,這的確起了作用,工程師答應了。程序員就問:"從地球到月球有多遠?"工程師一句話也沒有說,給了程序員5美元。  現在輪到工程師了,他問程序員:"什么上山時有三條腿,下山卻有四條腿?"程序員很吃驚地看著工程師,拿出他的便攜式電腦,查找里面的資料,過了半個小時,他叫醒工程師并給了工程師50美元。工程師很禮貌地接過錢又要去睡覺。程序員有些惱怒,問:"那么答案是什么呢?"工程師什么也沒有說,掏出錢包,拿出5美元給程序員,轉身就去睡覺了。

配置密碼分布式集群環境hadoop、hbase、zookeeper搭建(全)


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 手游| 集贤县| 舟山市| 定南县| 盐津县| 勐海县| 桂平市| 鞍山市| 沾化县| 钟祥市| 海原县| 巴中市| 承德县| 三原县| 密云县| 高阳县| 嘉义市| 五常市| 钟山县| 阿克陶县| 宽甸| 蕉岭县| 泾源县| 柘荣县| 长沙市| 衡山县| 四平市| 乃东县| 鸡西市| 龙海市| 康平县| 常州市| 泸西县| 华阴市| 贡山| 禹州市| 香格里拉县| 南华县| 南康市| 海林市| 祥云县|