博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CDH5 大数据实验平台搭建笔记
阅读量:5749 次
发布时间:2019-06-18

本文共 3081 字,大约阅读时间需要 10 分钟。

本实验环境4台linux16.04 都是安装在VMware Workstation的虚拟机。

分别是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主服务器 主服务器25G+8G 其它20G+4G

以下四台机器都需要

1.修改root密码 一样的密码

  1. apt-get install openssh-server openssh-client

apt-get install ntp

3.在主机 ssh-keygen -t rsa 生成 /root/.ssh/下 密钥文件和私钥文件 id_rsa,id_rsa.pub

  1. 修改 vi /etc/ssh/sshd_config
    增加 PermitRootLogin yes 允许root远程登录

/etc/init.d/ssh restart重启服务

5.从CDH01复制id_rsa.pub到其他机器的 /root/.ssh/authorized_keys

在CDH02,CDH03,CDH04建立目录 /root/.ssh
scp id_rsa.pub root@192.168.196.142L/root/.ssh/authorized_keys

  1. 修改hosts文件
  2. /etc/hosts

vi /etc/hostname

192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04

  1. 下载jdk1.8 到 /var/cache/apt
    网上下载oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安装下载的文件

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb

输入javac -version 测试 显示版本 javac 1.8.0_20

8.在 CDH01 上安装 mysql

sudo apt-get install mysql-server
apt-get isntall mysql-client
sudo apt-get install libmysqlclient-dev
sudo netstat -tap | grep mysql
mysql -u root -p

vi /etc/mysql/mysql.cnf.d/mysqld.cnf

bindaddress = 0.0.0.0 (允许远程登录mysql)

grant all privileges on . to root@'%' identified by '密码*' with grant option;
flush privileges;

  1. cloudera-manager安装

在CDH01目录 /var/cache/apt/archives

cd /var/cache/apt/archives
设置 apt数据源
curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s | sudo apt-key add

确认:/etc/apt/sources.list.d/cloudera-manager.list文件为以下内容:

deb [arch=amd64] xenial-cm5.13.1 contrib

apt-get update

apt-get install cloudera-manager-server cloudera-manager-agent

10、修改Cloudera-Manager-Server的配置文件db.properties,设置MySql连接

  修改Cloudera-Manager-Server的配置文件db.properties,设置刚才我们在(4.7)Mysql中创建的cmf数据库、用户名、密码(4台机器都要执行)

root@m1:~# vi /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd mysql-connector-java-5.1.45
mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib

12.建立cm数据库

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

13.建立用户(这个好像也可以自动建立,无需手动建立用户)

useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false -comment "Cloudera SCM User" cloudera-scm
也可以根据cloudera平台运行后,上面提示CDH01未建立hive等...几个用户和用户组,分别再建立

useradd Hive

....

  1. ufw disable (关闭防火墙)

15.启动主服务器服务

service cloudera-scm-server start
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一会 才能看到7180服务已启动)

16.复制以下文件到 /opt/cloudera/parcel-repo

CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名为 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

17.复制cloudera-manager的安装文件到其它机器

cd /var/cache/apt/archives
scp cloudera* root@CDH02:/var/cache/apt/archives
scp cloudera* root@CDH03:/var/cache/apt/archives
scp cloudera* root@CDH04:/var/cache/apt/archives

  1. admin/admin

在浏览器打开以上网址,账号密码是admin/admin,然后按向导开始安装 cloudera 平台及各组件。

以下是成功安装后的运行界面:

转载地址:http://ktezx.baihongyu.com/

你可能感兴趣的文章
stringstream中的clear()与str()
查看>>
判断sqlserver临时表等临时资源是否存在
查看>>
微信小程序开发 -- 点击右上角实现转发功能
查看>>
ERP实施随笔
查看>>
前端布局学习
查看>>
问题解决-Failed to resolve: com.android.support.constraint:constraint-layout:1.0.0-alpha7
查看>>
openURL的使用
查看>>
与MS Project相关的两个项目
查看>>
[转载]ASP.NET MVC Music Store教程(1):概述和新项目
查看>>
css实现单行,多行文本溢出显示省略号……
查看>>
解决数据丢失问题
查看>>
RAID在SQL Server中的应用(RAID几种级别)
查看>>
WCF Http Get 方法返回 400 Bad Request
查看>>
GC DevKit 快速入门
查看>>
定位到oob
查看>>
C# Language Introduction
查看>>
WP8开发环境配置 以及 如何知道自己的CPU支持SLAT
查看>>
C# Winform 按ESC关闭窗体
查看>>
C#中的泛型
查看>>
C#程序中注释过多的8条理由
查看>>