Hadoop集群监控系统Ambari安装
原创文章,转载请注明出处 http://qingtangpaomian.iteye.com/blog/1671305
1. 写在前面
Ambari是Apache的一个开源项目,旨在提供一个Hadoop集群安装、管理、配置、监控的一体化工具。Ambari使用了开源项目hmc完成hadoop的安装功能 , 在监控方面则使用了ganglia和nagios两个开源项目。
本人在安装ambari的过程中遇到了种种问题,特别写博客记录下来,给大家参考。
注意 :本文当中的所有操作,建议以root账户执行。
2. Ambari安装
2.1 Step1 - 获取Ambari
1. 从SVN获取代码
# svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari
2. 将源代码打包为rpm包
使用rpm打包工具将ambari源代码打包 :
# yum install rpm-build
# cd hmc/package/rpm
# ./create_hmc_rpm.sh
# cd mon_dashboard/package/rpm
# ./create_dashboard_rpm.sh
注意 : 这些步骤执行完成后,会在下面的路径中发现对应的rpm包,这些包就是ambari各组件对应的安装包。
1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm
2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm
3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.2 Step2 - 安装Ambari Master Server
注意 : Ambari使用的是master - slaver 的这种结构,在集群中有一个节点作为master server节点,而其他节点作为slaver,听从master节点的调度。在安装之前,需要读者对从集群当中选择一个节点作为ambari master节点。
1. 安装前的准备
在安装ambari之前,需要做一下两件事情
1) : 配置Ambari Master到其他所有Slaver的 password-less SSH(参考以下内容)
1. Run on ambary master: % ssh-keygen -t dsa
2. Copy pubkey to each nodes:
Scp ~/.ssh/id_dsa.pub root@<each node IP>:/.ssh/authorized_keys
3. Back up id_dsa, this will be as private key when you want to launch Ambari install Hadoop clusters.
Note: you might need create .ssh folder on each node manually.
2) : 关闭防火墙
# service iptables stop
2. 安装Ambari Server依赖模块
注意 : Ambari server对puppet , ruby , passenger , httpd等模块有依赖,所以在安装ambari server需要先安装依赖模块。
a. 先在本机添加yum仓库,包括redhat, hontworks以及passenger的仓库 :
$ rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
如果是i386则执行以下操作:
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm
# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm
b. 安装php模块
# yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
# yum install php-pdo
# php -m | grep posix
如果posix模块没有找到,则执行以下操作
# yum install php-process
c. 执行以下操作,安装Ambari master主要依赖
# yum install pdsh
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel
3. 安装Ambari master
# rpm -iv ambari-1.0.0-1.noarch.rpm
# rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.3 Step3 - 安装Ambari Agent
1. 安装依赖(这里同Ambari Server完全相同)
a. 先在本机添加yum仓库,包括redhat, hontworks以及passenger的仓库 :
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
如果是i386则执行以下操作:
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm
# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm
b. 安装php模块
# yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
# yum install php-pdo
# php -m | grep posix
如果posix模块没有找到,则执行以下操作
# yum install php-process
c. 执行以下操作,安装Ambari 主要依赖
# yum install pdsh
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel
2. 安装Ambari Agent
# rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm
2.4 Step4 - 启动Ambari
1. 启动Ambari Server
a) 从网址 http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html 下载以下的三个文件,拷贝到ambari master所在机器的路径/var/run/hmc/downloads/ 下
1) jdk-6u26-linux-x64.bin
2) jdk-6u26-linux-i586.bin
3) jce_policy-6.zip
b) 启动Ambari Master
# service ambari start
2. 启动Ambari Agent
# service ambari-agent start
3. 从Web界面访问Ambari服务
搭建完成Ambari服务后,就可以通过以下Web地址访问Ambari服务 http://AMBARIMASTER/hmc/html/,如果能够成功访问,则搭建成功。
分享到:
相关推荐
本章首先对Ambari做简单介绍,然后详细介绍了Ambari的安装,以及如何使用Ambari搭建Hadoop集群,最后阐述了Ambari的架构和工作原理。 本章主要内容如下。 (1)Ambari简介。 (2)Ambari的安装。 (3)利用Ambari...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。但是这里的 Hadoop 是广义...
本文来自于infoq.com,介绍生产环境中Hadoop集群现状、Ambari的关键技术,Ambari管理监控线上Hadoop集群的技术方案,线上接管过程中的问题和解决方式。首先介绍我们生产环境中Hadoop集群的现状,Hadoop集群主要承担...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
关于Ambari安装过程,亲测可用,Hadoop集群监控
Apache Ambari是一种基于Web的运维工具,支持Apache Hadoop集群的自动化部署、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 ...
ambari stable版本 hadoop集群监控
[大数据][HDP][Ambari][2.7.7]ambari-server-2.7.7.0-0.x86_64.rpm ...Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 本文档个人工作总结,描述...
Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。 ambari-agent是用于管理群集节点的代理器。详细安装步骤参考...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控,集成HDP,文章提供了安装过程的常见问题及相应解决办法。
CentOS 6.5 安装Ambari,Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS...
此存储库提供了一些示例,可帮助您开始使用 Ambari快速设置 Hadoop 集群。 #概述 蓝图可用于定义和安装 Hortonworks HDP 集群。 所需的步骤是(高级视图): 使用操作系统安装集群节点 在所有节点上安装(一个)...
Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。 ambari-metrics-collector是用于管理收集群集节点的指标的代理器。详细安装...
Ambari Hadoop平台的管理软件,具备Hadoop组件的安装、管理、运维 3 ⽂件系统 HDFS 分布式⽂件系统 4 资源调度 YARN hadoop的资源管理和作业调度系统 5 协调框架 Zookeeper 分布式协调服务,解决分布式数据⼀致性⽅...