超哥超哥 学习手册

Hadoop 2.6.0 HA高可用集群配置详解（三）

Hadoop集群的启动
集群启动步骤

  // 启动zookeeper集群（分别在slave1、slave2和slave3执行）    $ zkServer.shstart    // 启动HDFS（在master1执行）    $ start-dfs.sh    备注：此命令分别在master1/master2节点启动了NameNode和ZKFC，分别在slave1/slave2/slave3节点启动了DataNode和JournalNode，如下图所示。  

  // 启动YARN（在master2执行）    $ start-yarn.sh    备注：此命令在master2节点启动了ResourceManager，分别在slave1/slave2/slave3节点启动了NodeManager。

  // 启动YARN的另一个ResourceManager（在master1执行，用于容灾）    $ yarn-daemon.sh start resourcemanager    // 启动YARN的安全代理（在master2执行）    $ yarn-daemon.sh start proxyserver    备注：proxyserver充当防火墙的角色，可以提高访问集群的安全性    // 启动YARN的历史任务服务（在master1执行）    $ mr-jobhistory-daemon.sh starthistoryserver    备注：yarn-daemon.sh start historyserver已被弃用；CDH版本似乎有个问题，即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用，实际对应的端口号是10200和8188，而且部需要配置就可以在任意节点上开启历史任务服务。

集群启动截图

hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC，如下图所示：

hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC，如下图所示：

hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper，如下图所示：

Web UI

下图为http://hadoop-master1:50070，可看到NameNode为active状态：

下图为http://hadoop-master2:50070，可看到NameNode为standby状态：

HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用：

下图为http://hadoop-master2:8088，可看到ResourceManager为active状态：

下图为http://hadoop-master1:8088，可看到ResourceManager为standby状态，它会自动跳转到http://hadoop-master2:8088：

下图为http://hadoop-master1:19888，可查看历史任务信息：

功能测试

  // 向HDFS上传数据    $ hadoopfs -put webcount.txt /input    // 查看HDFS上的数据    $ hadoopfs -ls /input    $ hadoopfs -cat /input/webcount.txt

// 向YARN提交MapReduce任务，该任务用于分析网站日志文件webcount.txt统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

  // 在HDFS查看结果    $ hadoopfs -ls /output/webcount    $ hadoopfs -cat /output/webcount/part-r-00000

// 通过Web UI查看任务信息和历史任务信息

  • Hadoop 2.6.0 HA高可用集群配置详解（一）
  • Hadoop 2.6.0 HA高可用集群配置详解（二）
  • Hadoop 2.6.0 HA高可用集群配置详解（三）

本文原创地址：https://www.linuxprobe.com/hadoop-high-available-3.html编辑：吴向平，审核员：暂无

本站所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如果侵犯你的利益，请发送邮箱到 [email protected]，我们会很快的为您处理。
超哥软件库 » Hadoop 2.6.0 HA高可用集群配置详解（三）

超哥 钻石

分享到：

相关推荐