1 软件介绍
Ambari是一款用于部署、管理和监控Hadoop集群服务的开源系统,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。它实现了以下功能:
1)安装一个Hadoop集群:
提供了以向导指引的方式安装一个集群,可以在任意的主机上安装Hadoop服务。
提供了对Hadoop服务的配置功能。
2)管理一个Hadoop集群:
提供了启动、停止等集群管理功能。
3)监控一个Hadoop集群:
提供了一个用于监控Hadoop集群健康状态的仪表盘。
提供了一套健康指标体系来收集监控数据。
提供了一套预警框架,可以结合预定的监控指标实现通知预警。
2 适配环境
2.1 操作系统环境
项目
版本
Kylin Linux Server
release V10 (SP2) /(Sword)-aarch64-Build09/20210524
Kernel
4.19.90-24.4.v2101.ky10.aarch64
2.2 硬件环境
节点类型
主机名
主节点
10.1.110.80
ambari-master
从节点
10.1.110.81
ambari-slave01
从节点
10.1.110.82
ambari-slave02
2.3 软件环境
Ambari2.7.5
Hotonworks HDP-3.1.5组件
3 适配步骤
3.1 安装前配置
3.1.1 修改主机名(所有节点)
修改hosts文件vim /etc/hosts
添加内容如下:
3.1.2 设置免密登录(所有节点)
3.1.3 关闭防火墙和selinux(所有节点)
3.1.4 安装httpd(主节点)
yum安装yum -y install httpdsystemctl start httpd添加到开机自启动
systemctl enable httpd
3.1.5 配置本地源(主节点)
挂载iso先将Kylin-Server-10-SP2-aarch64-Release-Build09-20210524.iso下载到本地系统上,然后挂载iso至/var/www/html/localrepo/ISO
mount -o loop Kylin-Server-10-SP2-aarch64-Release-Build09-20210524.iso /var/www/html/localrepo/ISO
将给定压缩包hdp_required_RPMS_aarch64.tar.gz解压至/var/www/html/localrepo/HDP_required目录下
tar zxvf hdp_required_RPMS_aarch64.tar.gz -C /var/www/html/localrepo/HDP_required将依赖拷贝到所有从节点
scp -r HDP_required/ ambari-slave01:~/
scp -r HDP_required/ ambari-slave02:~/
3.1.6修改源文件(所有节点)
备份系统自带repo文件cd /etc/yum.repos.dcp kylin_aarch64.repo kylin_aarch64.repo.bak修改repo文件
vim kylin_aarch64.repo
内容如下:
3.1.7主节点安装python2-dnf(主节点)
3.1.8从节点安装python2-dnf(从节点)
3.1.9 制作ambari和HDP组件的仓库(主节点)
将所需安装包下载到本地
HDP-3.1.5.0-centos7-rpm-aarch64.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
ambari-2.7.5.0-centos7.tar.gz
1)创建ambari和hdp目录
解压ambari和HDP组件至对应目录(解压完成后,可以删掉安装包)
tar -zxvf HDP-3.1.5.0-centos7-rpm-aarch64.tar.gz -C /var/www/html/hdp/tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/hdp/ambari/tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/
2)新建repo文件
cd /etc/yum.repos.d/新建ambari.repo文件
vim ambari.repo
添加如下内容
[ambari]name=ambaribaseurl=http://10.1.110.80/hdp/ambari/ambari/gpgcheck=0enabled=1新建HDP.repo文件:
vim HDP.repo
添加如下内容
[HDP]name=HDPbaseurl=http://10.1.110.80/hdp/HDP/centos7/3.1.5.0-152/gpgcheck=0enabled=1新建HDP-UTILS.repo文件
vim HDP-UTILS.repo
添加如下内容
3.1.10更新源(所有节点)
更新仓库数据
3.1.11 安装必备软件(所有节点)
安装软件包
3.1.12 java配置(所有节点)
使用系统自带的JDK,无需配置JAVA_HOME环境变量。
安装java-1.8.0-openjdk-devel
(此路径在后续的ambari-server setup 中作为JAVA_HOME环境变量使用)
3.2 安装步骤
3.2.1 安装ambari-agent(所有节点)
在aliases中添加:kylin10: centos7
具体内容如下:
3.2.2 安装ambari-server(主节点)
安装ambari-serveryum remove postgresql-libs-10.5-19.p01.ky10.aarch64rpm -ivh /var/www/html/localrepo/HDP_required/postgresql-libs-10.5-12.ky10.aarch64.rpmyum -y install ambari-server修改server的os_check.py文件
vim /usr/lib/ambari-server/lib/ambari_commons/os_check.py 205
做如下修改:
3.2.3 mariadb安装与配置(主节点)
3.2.3.1 安装mariadb
第一步:安装与测试登陆
1.安装命令
yum -y install mariadb mariadb-server
2.启动MariaDB
systemctl start mariadb
3.进行MariaDB的相关简单配置
Enter current password for root (enter for none): #–初次运行直接回车
(2)设置密码
(3)其他配置
Remove anonymous users? [Y/n] #– 回车Disallow root login remotely? [Y/n] #–回车Remove test database and access to it? [Y/n] #– 回车Reload privilege tables now? [Y/n] #– 回车
初始化MariaDB完成,
(4)测试登录
第二步:配置MariaDB的字符集
1.修改/etc/my.cnf.d/mariadb-server.cnf文件
vim /etc/my.cnf.d/mariadb-server.cnf
在[mysqld]标签下添加
init_connect=SET collation_connection = utf8_unicode_ciinit_connect=SET NAMES utf8character-set-server=utf8collation-server=utf8_unicode_ciskip-character-set-client-handshake
2.新建/etc/my.cnf.d/client.cnf文件
vim /etc/my.cnf.d/client.cnf
添加如下内容:
[client]default-character-set=utf8
3.修改/etc/my.cnf.d/mysql-clients.cnf文件
vim /etc/my.cnf.d/mysql-clients.cnf
在[mysql]中添加
default-character-set=utf8
4.全部配置完成,重启MariaDB
systemctl restart mariadb
第三步:进入MariaDB查看字符集
设置开机启动:
systemctl enable mariadb
mariadb安装完成
3.2.3.2 在mysql创建ambari、hive数据库及用户
创建 ambari 库,并添加相应的用户命令如下:
3.2.3.3 建立 MySQL 与 ambari 的连接
安装mysql-connector-java.jarcp /var/www/html/localrepo/HDP_required/mysql-connector-java.jar /usr/share/java/拷贝到lib 目录下
cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar修改配置文件
vim /etc/ambari-server/conf/ambari.properties在最后一行添加
server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar
3.2.4 启动 ambari-server 的配置程序(主节点)
修改配置文件/usr/sbin/ambari-server
在上面图中,若使用系统java环境,则JAVA_HOME的值应为/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.aarch64/
3.2.5 初始化数据库(主节点)
确保以上都显示为OK
指定数据库驱动
3.2.6导入stacks相关包
3.2.7去掉SMARTSENSE服务
3.2.6 启动ambari-server(主节点)
3.2.7 安装部署HDP集群
登录成功后开始部署
输入集群名称
导入版本信息,选择文件HDP-3.1.5.0-152.xml
hostname 在 /etc/hosts中查看
将查看到的内容在 Target Hosts 中输入
ambari-masterambari-slave01ambari-slave02
密钥部分不要直接复制,最好拷贝到本地,然后通过本地上传
点击 Click here to see the check results. 查看是否警告。如存在异常,则需解决,再执行下一步。
点击下一步
会有连续的警告,如下,直接PROCEED ANYWAY 即可
默认即可,点击下一步
NFSGateway那一列全不选,其他全选,设置如下,下一步
输入正确密码
Hive这里记得要test,填写内容如下
默认下一步
设置密码
直接进行下一步
点击complete完成配置
修改完成以后,重启YARN服务,就可恢复正常。