节点集群(银河麒麟服务器操作系统SP2安装Ambari2.7.5和HDP3.1.5)

忆起那年冬雪 电子 38

1 软件介绍

Ambari是一款用于部署、管理和监控Hadoop集群服务的开源系统,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。它实现了以下功能:

1)安装一个Hadoop集群:

提供了以向导指引的方式安装一个集群,可以在任意的主机上安装Hadoop服务。

提供了对Hadoop服务的配置功能。

2)管理一个Hadoop集群:

提供了启动、停止等集群管理功能。

3)监控一个Hadoop集群:

提供了一个用于监控Hadoop集群健康状态的仪表盘。

提供了一套健康指标体系来收集监控数据。

提供了一套预警框架,可以结合预定的监控指标实现通知预警。

2 适配环境

2.1 操作系统环境

项目

版本

Kylin Linux Server

release V10 (SP2) /(Sword)-aarch64-Build09/20210524

Kernel

4.19.90-24.4.v2101.ky10.aarch64

2.2 硬件环境

节点类型

主机名

主节点

10.1.110.80

ambari-master

从节点

10.1.110.81

ambari-slave01

从节点

10.1.110.82

ambari-slave02

2.3 软件环境

Ambari2.7.5

Hotonworks HDP-3.1.5组件

3 适配步骤

3.1 安装前配置

3.1.1 修改主机名(所有节点)

修改hosts文件

vim /etc/hosts

添加内容如下:

3.1.2 设置免密登录(所有节点)

3.1.3 关闭防火墙和selinux(所有节点)

3.1.4 安装httpd(主节点)

yum安装

yum -y install httpdsystemctl start httpd添加到开机自启动

systemctl enable httpd

3.1.5 配置本地源(主节点)

挂载iso

先将Kylin-Server-10-SP2-aarch64-Release-Build09-20210524.iso下载到本地系统上,然后挂载iso至/var/www/html/localrepo/ISO

mount -o loop Kylin-Server-10-SP2-aarch64-Release-Build09-20210524.iso /var/www/html/localrepo/ISO

将给定压缩包hdp_required_RPMS_aarch64.tar.gz解压至/var/www/html/localrepo/HDP_required目录下

tar zxvf hdp_required_RPMS_aarch64.tar.gz -C /var/www/html/localrepo/HDP_required将依赖拷贝到所有从节点

scp -r HDP_required/ ambari-slave01:~/

scp -r HDP_required/ ambari-slave02:~/

3.1.6修改源文件(所有节点)

备份系统自带repo文件

cd /etc/yum.repos.dcp kylin_aarch64.repo kylin_aarch64.repo.bak修改repo文件

vim kylin_aarch64.repo

内容如下:

3.1.7主节点安装python2-dnf(主节点)

3.1.8从节点安装python2-dnf(从节点)

3.1.9 制作ambari和HDP组件的仓库(主节点)

将所需安装包下载到本地

HDP-3.1.5.0-centos7-rpm-aarch64.tar.gz

HDP-UTILS-1.1.0.22-centos7.tar.gz

ambari-2.7.5.0-centos7.tar.gz

1)创建ambari和hdp目录

解压ambari和HDP组件至对应目录(解压完成后,可以删掉安装包)

tar -zxvf HDP-3.1.5.0-centos7-rpm-aarch64.tar.gz -C /var/www/html/hdp/tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/hdp/ambari/tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/

2)新建repo文件

cd /etc/yum.repos.d/新建ambari.repo文件

vim ambari.repo

添加如下内容

[ambari]name=ambaribaseurl=http://10.1.110.80/hdp/ambari/ambari/gpgcheck=0enabled=1新建HDP.repo文件:

vim HDP.repo

添加如下内容

[HDP]name=HDPbaseurl=http://10.1.110.80/hdp/HDP/centos7/3.1.5.0-152/gpgcheck=0enabled=1新建HDP-UTILS.repo文件

vim HDP-UTILS.repo

添加如下内容

3.1.10更新源(所有节点)

更新仓库数据

3.1.11 安装必备软件(所有节点)

安装软件包

3.1.12 java配置(所有节点)

使用系统自带的JDK,无需配置JAVA_HOME环境变量。

安装java-1.8.0-openjdk-devel

(此路径在后续的ambari-server setup 中作为JAVA_HOME环境变量使用)

3.2 安装步骤

3.2.1 安装ambari-agent(所有节点)

在aliases中添加:kylin10: centos7

具体内容如下:

3.2.2 安装ambari-server(主节点)

安装ambari-server

yum remove postgresql-libs-10.5-19.p01.ky10.aarch64rpm -ivh /var/www/html/localrepo/HDP_required/postgresql-libs-10.5-12.ky10.aarch64.rpmyum -y install ambari-server修改server的os_check.py文件

vim /usr/lib/ambari-server/lib/ambari_commons/os_check.py 205

做如下修改:

3.2.3 mariadb安装与配置(主节点)

3.2.3.1 安装mariadb

第一步:安装与测试登陆

1.安装命令

yum -y install mariadb mariadb-server

2.启动MariaDB

systemctl start mariadb

3.进行MariaDB的相关简单配置

Enter current password for root (enter for none): #–初次运行直接回车

(2)设置密码

(3)其他配置

Remove anonymous users? [Y/n] #– 回车Disallow root login remotely? [Y/n] #–回车Remove test database and access to it? [Y/n] #– 回车Reload privilege tables now? [Y/n] #– 回车

初始化MariaDB完成,

(4)测试登录

第二步:配置MariaDB的字符集

1.修改/etc/my.cnf.d/mariadb-server.cnf文件

vim /etc/my.cnf.d/mariadb-server.cnf

在[mysqld]标签下添加

init_connect=SET collation_connection = utf8_unicode_ciinit_connect=SET NAMES utf8character-set-server=utf8collation-server=utf8_unicode_ciskip-character-set-client-handshake

2.新建/etc/my.cnf.d/client.cnf文件

vim /etc/my.cnf.d/client.cnf

添加如下内容:

[client]default-character-set=utf8

3.修改/etc/my.cnf.d/mysql-clients.cnf文件

vim /etc/my.cnf.d/mysql-clients.cnf

在[mysql]中添加

default-character-set=utf8

4.全部配置完成,重启MariaDB

systemctl restart mariadb

第三步:进入MariaDB查看字符集

设置开机启动:

systemctl enable mariadb

mariadb安装完成

3.2.3.2 在mysql创建ambari、hive数据库及用户

创建 ambari 库,并添加相应的用户

命令如下:

3.2.3.3 建立 MySQL 与 ambari 的连接

安装mysql-connector-java.jar

cp /var/www/html/localrepo/HDP_required/mysql-connector-java.jar /usr/share/java/拷贝到lib 目录下

cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar修改配置文件

vim /etc/ambari-server/conf/ambari.properties在最后一行添加

server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

3.2.4 启动 ambari-server 的配置程序(主节点)

修改配置文件/usr/sbin/ambari-server

在上面图中,若使用系统java环境,则JAVA_HOME的值应为/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.aarch64/

3.2.5 初始化数据库(主节点)

确保以上都显示为OK

指定数据库驱动

3.2.6导入stacks相关包

3.2.7去掉SMARTSENSE服务

3.2.6 启动ambari-server(主节点)

3.2.7 安装部署HDP集群

登录成功后开始部署

输入集群名称

导入版本信息,选择文件HDP-3.1.5.0-152.xml

hostname 在 /etc/hosts中查看

将查看到的内容在 Target Hosts 中输入

ambari-masterambari-slave01ambari-slave02

密钥部分不要直接复制,最好拷贝到本地,然后通过本地上传

点击 Click here to see the check results. 查看是否警告。如存在异常,则需解决,再执行下一步。

点击下一步

会有连续的警告,如下,直接PROCEED ANYWAY 即可

默认即可,点击下一步

NFSGateway那一列全不选,其他全选,设置如下,下一步

输入正确密码

Hive这里记得要test,填写内容如下

默认下一步

设置密码

直接进行下一步

点击complete完成配置

修改完成以后,重启YARN服务,就可恢复正常。

标签: 安装 主节点 集群

抱歉,评论功能暂时关闭!