公司为CDH集群建设购买了一批新的服务器。第一批20台服务器的CDH集群已经建成,还购买了几台服务器用于安装集群跳板机和调度框架。作为跳板机,它们需要首先作为网关节点添加到CDH集群中。该过程大致可分为以下几个步骤:
模板为主机创建网关节点安装前准备群集添加网关节点以下步骤为CDH群集添加网关节点
1.创建主机模板。在CM的主页上,选择主机模板。
主机模板创建
注意:主机模板定义了多组角色组,可用于通过向新主机填充角色来轻松扩展集群。例如,要通过添加更多具有DataNodes、TaskTrackers和RegionServers的主机来扩展现有集群,您可以以适合新主机硬件配置的方式创建和配置包含角色组(每个角色类型一个角色组)的主机模板,然后您可以将该主机模板应用于新主机,并在一次操作中创建所有角色。您还可以将主机模板应用于具有现有角色的主机,以重新配置它们。具有现有角色的主机将获得新角色,但不会失去现有角色。
点击 创建
主机模板创建
为模板命名,然后单击每个服务以检查相应的网关角色。
选择网关
成功创建后,如下图
主机模板
2.网关安装前的准备工作。2.1所有节点的主机文件。添加一个新节点Echo' 10.130.128.121操作系统CDH-121'/etc/hosts。同时,需要在网关节点中添加其他节点主机映射。
2.2关闭防火墙并清除规则,关闭selinux#检查防火墙打开状态# systemctl状态firewalld#已关闭防火墙d .服务-防火墙d-动态防火墙守护进程加载3360加载(/usr/lib/systemd/system/firewall d .服务;残疾;厂商预置: enabled)Active 3360 Inactive(Dead)Docs 3360 Man 3360 Firewall D(1)#如果没有关闭,执行以下命令# system CTL stop Firewall D # system CTL disable Firewall D #清空规则# iptables -F#查看并关闭selinux # cat/etc/selinux/config #该文件控制系统上selinux的状态。# SELINUX=可以取这三个值中的一个:# enforcing - SELinux安全策略被强制执行。# permissive - SELinux打印警告而不是强制。# disabled -没有加载SELinux策略。SELINUX=disabled# SELINUXTYPE=可以取三个值之一:# targeted -目标进程受到保护,# minimum -目标策略的修改。只有选定的进程受到保护。# mls -多级安全保护。SELINUXTYPE=targeted#当SELINUX=enforcing时,改为SELINUX=disabled,设置后重启生效。2.3设置时间同步#查看节点时间和时区# Timedatectl本地时间: mon 2021-06-07 22336059:29 CST通用时间3360 mon 2021-06-07 14:59:2
9 UTC RTC time: Mon 2021-06-07 22:59:48 Time zone: Asia/Shanghai (CST, +0800) NTP enabled: yesNTP synchronized: no RTC in local TZ: yes DST active: n/a# date查看时间# 安装kerberos客户端yum localinstall -y --nogpgcheck \krb5-libs-1.15.1-50.el7.x86_64.rpm \krb5-workstation-1.15.1-50.el7.x86_64.rpm \libkadm5-1.15.1-50.el7.x86_64.rpm分发配置文件
scp -P18822 -r /etc/krb5.conf root@10.130.128.121:/etc/测试是否kerberos客户端是否安装成功
# 如果没有hdfs在KDC服务器添加一个kinit hdfs# 输入密码登录后,klist查看一下
3.添加Gateway节点3.1 CM首页-主机-Add HostsAdd Hosts
3.2 选择 Add hosts to cluster增加主机到集群
增加主机到集群
3.3 进入安装引导页面点击继续之后等一会儿(几分钟)会进入安装引导页面
安装引导页面
3.4 根据主机ip和ssh端口进行搜索匹配主机
3.5 配置自定义存储库自定义存储库配置
自定义存储库即parcel包的存储位置,由于集群安装时在oscdh-101节点上装了http服务,同时将parcel包放在如下路径
自定义存储库
通过http可以查看parcel包位置,所以自定义存储库设置路径为http://oscdh-101/cdh6_parcel/
浏览器查看parcel包
3.6 设置JDK安装选项JDK安装选项设置
3.7 设置登录gateway节点的用户名和密码gateway节点用户名密码
注:安装 Cloudera 包需要有主机的 root 访问权限。此安装程序将通过 SSH 连接到您的主机,然后直接以 root 用户身份登录,或者以另一个具有变为 root 用户的无密码 sudo/pbrun 权限的用户身份登录。
3.8 进入parcels安装页面parcels安装页面
安装失败了,重试之后还是不行,由于集群安装时,没有配置节点间免密,每个节点预先安装并启动了CM的agent和dameon,参照集群安装方式在每个节点上安装CM的agent和dameon。
3.9 在gateway节点部署CM的agent和daemons包# 从其他节点拷贝scp -P18822 -r cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm root@10.130.128.121:/root/cdh631/scp -P18822 -r cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm root@10.130.128.121:/root/cdh631/# 安装rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --forcerpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force修改/etc/cloudera-scm-agent/config.ini文件
# 设置为CM Server节点名server_host=oscdh-101启动gateway节点的agent服务
# 启动service cloudera-scm-agent start# 查看状态service cloudera-scm-agent status3.10 重新增加主机点击增加主机,此时可以发现几个节点直接都可以看到了
添加主机
3.11 进入parcel包安装页面parcel包安装
3.12 检查主机正确性parcels包安装完毕后,会自动检查主机正确性,检查结果如下
检查主机正确性
解决透明大页面问题
Psycopg2的警告不必理会(集群选择的MySQL存储CM数据,Psycopg2是用来连接PostGreSQL数据库的),透明大页面问题解决方法如下(在所有提示主机执行):
# 临时生效echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled# 添加到初始化脚本,永久生效echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local执行完毕后,重新运行检查主机正确性,运行完已无其他报错。
点击继续进入选择主机模板页面,选择前面创建好的Gateway模板
选择主机模板
3.13 开始安装Gateway安装Gateway
安装完毕后点击继续,CM会自动部署客户端配置,部署完毕点击完成即可。