sys币的前景,krsys币官网

  

  公司为CDH集群建设购买了一批新的服务器。第一批20台服务器的CDH集群已经建成,还购买了几台服务器用于安装集群跳板机和调度框架。作为跳板机,它们需要首先作为网关节点添加到CDH集群中。该过程大致可分为以下几个步骤:   

  

  模板为主机创建网关节点安装前准备群集添加网关节点以下步骤为CDH群集添加网关节点   

  

  1.创建主机模板。在CM的主页上,选择主机模板。   

  

  主机模板创建   

  

  注意:主机模板定义了多组角色组,可用于通过向新主机填充角色来轻松扩展集群。例如,要通过添加更多具有DataNodes、TaskTrackers和RegionServers的主机来扩展现有集群,您可以以适合新主机硬件配置的方式创建和配置包含角色组(每个角色类型一个角色组)的主机模板,然后您可以将该主机模板应用于新主机,并在一次操作中创建所有角色。您还可以将主机模板应用于具有现有角色的主机,以重新配置它们。具有现有角色的主机将获得新角色,但不会失去现有角色。   

  

  点击 创建   

  

  主机模板创建   

  

  为模板命名,然后单击每个服务以检查相应的网关角色。   

  

  选择网关   

  

  成功创建后,如下图   

  

  主机模板   

  

  2.网关安装前的准备工作。2.1所有节点的主机文件。添加一个新节点Echo' 10.130.128.121操作系统CDH-121'/etc/hosts。同时,需要在网关节点中添加其他节点主机映射。   

  

  2.2关闭防火墙并清除规则,关闭selinux#检查防火墙打开状态# systemctl状态firewalld#已关闭防火墙d .服务-防火墙d-动态防火墙守护进程加载3360加载(/usr/lib/systemd/system/firewall d .服务;残疾;厂商预置: enabled)Active 3360 Inactive(Dead)Docs 3360 Man 3360 Firewall D(1)#如果没有关闭,执行以下命令# system CTL stop Firewall D # system CTL disable Firewall D #清空规则# iptables -F#查看并关闭selinux # cat/etc/selinux/config #该文件控制系统上selinux的状态。# SELINUX=可以取这三个值中的一个:# enforcing - SELinux安全策略被强制执行。# permissive - SELinux打印警告而不是强制。# disabled -没有加载SELinux策略。SELINUX=disabled# SELINUXTYPE=可以取三个值之一:# targeted -目标进程受到保护,# minimum -目标策略的修改。只有选定的进程受到保护。# mls -多级安全保护。SELINUXTYPE=targeted#当SELINUX=enforcing时,改为SELINUX=disabled,设置后重启生效。2.3设置时间同步#查看节点时间和时区# Timedatectl本地时间: mon 2021-06-07 22336059:29 CST通用时间3360 mon 2021-06-07 14:59:2   

9 UTC RTC time: Mon 2021-06-07 22:59:48 Time zone: Asia/Shanghai (CST, +0800) NTP enabled: yesNTP synchronized: no RTC in local TZ: yes DST active: n/a# date查看时间# dateMon Jun 7 23:00:56 CST 2021 # 拷贝ntp相关rpm包,到gateway节点scp -P18822 -r downloads root@10.130.128.121:/root/# 安装ntprpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpmrpm -ivh ntp-4.2.6p5-29.el7.centos.x86_64.rpm# 同步时间# /usr/sbin/ntpdate oscdh-101 7 Jun 16:18:46 ntpdate<34722>: step time server 10.130.128.101 offset -28740.755359 sec2.4 节点安装jdkmkdir /usr/javatar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/# 修正所属用户及用户组chown -R root:root /usr/java/jdk1.8.0_181# 设置环境变量echo "export JAVA_HOME=/usr/java/jdk1.8.0_181" >> /etc/profileecho "export PATH=/usr/java/jdk1.8.0_181/bin:${PATH}" >> /etc/profilesource /etc/profilewhich java2.5 节点放置MySQL连接jar包mkdir -p /usr/share/java/# 重命名不能带版本号cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar2.6 设置swappinessecho "vm.swappiness=10" >> /etc/sysctl.conf# 检查设置是否生效sysctl -p2.7 安装kerberos客户端将kerberos相关离线包拷贝到节点目录下,然后安装

  

# 安装kerberos客户端yum localinstall -y --nogpgcheck \krb5-libs-1.15.1-50.el7.x86_64.rpm \krb5-workstation-1.15.1-50.el7.x86_64.rpm \libkadm5-1.15.1-50.el7.x86_64.rpm分发配置文件

  

scp -P18822 -r /etc/krb5.conf root@10.130.128.121:/etc/测试是否kerberos客户端是否安装成功

  

# 如果没有hdfs在KDC服务器添加一个kinit hdfs# 输入密码登录后,klist查看一下# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: hdfs@BI.COMValid starting Expires Service principal06/07/2021 17:42:06 06/08/2021 17:42:06 krbtgt/BI.COM@BI.COM renew until 06/14/2021 17:42:06注:集群启用了Kerberos认证时才有这一步操作。

  

3.添加Gateway节点3.1 CM首页-主机-Add HostsAdd Hosts

  

3.2 选择 Add hosts to cluster增加主机到集群

  

增加主机到集群

  

3.3 进入安装引导页面点击继续之后等一会儿(几分钟)会进入安装引导页面

  

安装引导页面

  

3.4 根据主机ip和ssh端口进行搜索匹配主机

  

3.5 配置自定义存储库自定义存储库配置

  

自定义存储库即parcel包的存储位置,由于集群安装时在oscdh-101节点上装了http服务,同时将parcel包放在如下路径

  

自定义存储库

  

通过http可以查看parcel包位置,所以自定义存储库设置路径为http://oscdh-101/cdh6_parcel/

  

浏览器查看parcel包

  

3.6 设置JDK安装选项JDK安装选项设置

  

3.7 设置登录gateway节点的用户名和密码gateway节点用户名密码

  

注:安装 Cloudera 包需要有主机的 root 访问权限。此安装程序将通过 SSH 连接到您的主机,然后直接以 root 用户身份登录,或者以另一个具有变为 root 用户的无密码 sudo/pbrun 权限的用户身份登录。

  

3.8 进入parcels安装页面parcels安装页面

  

安装失败了,重试之后还是不行,由于集群安装时,没有配置节点间免密,每个节点预先安装并启动了CM的agent和dameon,参照集群安装方式在每个节点上安装CM的agent和dameon。

  

3.9 在gateway节点部署CM的agent和daemons包# 从其他节点拷贝scp -P18822 -r cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm root@10.130.128.121:/root/cdh631/scp -P18822 -r cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm root@10.130.128.121:/root/cdh631/# 安装rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --forcerpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force修改/etc/cloudera-scm-agent/config.ini文件

  

# 设置为CM Server节点名server_host=oscdh-101启动gateway节点的agent服务

  

# 启动service cloudera-scm-agent start# 查看状态service cloudera-scm-agent status3.10 重新增加主机点击增加主机,此时可以发现几个节点直接都可以看到了

  

添加主机

  

3.11 进入parcel包安装页面parcel包安装

  

3.12 检查主机正确性parcels包安装完毕后,会自动检查主机正确性,检查结果如下

  

检查主机正确性

  

解决透明大页面问题

  

Psycopg2的警告不必理会(集群选择的MySQL存储CM数据,Psycopg2是用来连接PostGreSQL数据库的),透明大页面问题解决方法如下(在所有提示主机执行):

  

# 临时生效echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled# 添加到初始化脚本,永久生效echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local执行完毕后,重新运行检查主机正确性,运行完已无其他报错。

  

点击继续进入选择主机模板页面,选择前面创建好的Gateway模板

  

选择主机模板

  

3.13 开始安装Gateway安装Gateway

  

安装完毕后点击继续,CM会自动部署客户端配置,部署完毕点击完成即可。

相关文章