这篇文章主要讲解了“怎么安装hdfs、hbase和opentsdb”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么安装hdfs、hbase和opentsdb”吧!

网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了通城免费建站欢迎大家使用!
系统准备:CentOS6.5
配置静态IP,修改hostname
使用
ifconfig查看当前网卡MAC地址与名称。假定网卡名称为eth0,MAC地址为33:44:55:66:77:88编辑/etc/sysconfig/network-scripts/ifcfg-eth0:DEVICE="eth0" BOOTPROTO="none" ONBOOT="yes" HWADDR="33:44:55:66:77:88" NETMASK="255.255.255.0" GATEWAY="192.168.1.1" IPADDR="192.168.1.110"重启network服务:
service network restart修改hostname:编辑/etc/sysconfig/network文件,将hostname一项修改为自己的hostname,需重启生效
时间同步。使用ntp同步时间后,可以使用如下命令写入硬件时间:
hwclock --systohc -u关闭防火墙,并禁止防火墙开机启动:
service iptables stop chkconfig iptables off
创建hadoop用户和组
groupadd hadoop useradd -g hadoop hadoop
调整hadoop用户的系统limits限制:编辑
/etc/security/limits.conf文件,在后面添加:
hadoop - nofile 32768 hadoop - nproc 32000
在hadoop用户下,使用命令ulimit -a查看改动情况。
修改机器的
/etc/hosts文件。在其中列出所有机器的IP地址与机器hostname,以及127.0.0.1 localhost,然后同步到所有机器上。配置机器相互间
hadoop用户的无密码访问
切换至
hadoop用户,进入该用户主文件夹下的.ssh文件夹下(没有则创建) 运行命令ssh-keygen -t dsa -P '',确认,生成id_dsa与id_dsa.pub文件 将id_dsa.pub文件改名,以便所有机器之间相互区别 将所有机器上的.pub文件使用cat追加到文件authorized_keys文件中,并修改该文件权限:chmod 600 authorized_keys将authorized_keys同步至所有机器上hadoop用户主目录下的.ssh文件夹下
所有机器安装
jdk,使用yum安装,注意相同版本
安装hadoop
下载
hadoop 2.2.0版本,解压至目录/usr/local/hadoop,该目录即为HADOOP_HOME修改
HADOOP_HOME下的etc/hadoop/hadoop-env.sh,修改其中的变量JAVA_HOME到正确位置修改
HADOOP_HOME下的etc/hadoop/core-site.xml文件,在之间加入配置。核心配置如下:
fs.defaultFS hdfs://namenode节点主机名:9000 hadoop.tmp.dir hadoop临时文件夹存放路径
修改
HADOOP_HOME下的etc/hadoop/hdfs-site.xml文件,在之间加入配置。核心配置如下:
dfs.datanode.data.dir hadoop临时文件夹存放路径/dfs/data dfs.namenode.name.dir hadoop临时文件夹存放路径/dfs/name dfs.replication 3
修改
HADOOP_HOME下的masters文件夹,写入master主机名,每个一行修改
HADOOP_HOME下的slaves文件夹,写入slaves主机名,每个一行将
/usr/local/hadoop/bin,/usr/local/hadoop/sbin加入系统路径使用
scp将/usr/local/hadoop文件夹所有内容同步至所有机器中,并注意所有机器中临时文件夹的可访问性初始化
namenode:hadoop namenode -format启动
hdfs:start-dfs.sh,访问http://namenode节点主机名:50070查看结果
安装Hbase
下载
hbase 0.98.5,解压至目录/usr/local/hbase下修改
hbase目录下conf/hbase-env.sh文件,修改变量JAVA_HOME,将变量HBASE_MANAGES_ZK修改为true修改
conf/core-site.xml文件,核心配置如下:
hbase.rootdir hdfs://namenode节点主机名:9000/hbase hbase.cluster.distributed true hbase.master master节点主机名:60000 hbase.zookeeper.quorum 启动zookeeper服务的主机列表,有多个用逗号隔开 hbase.zookeeper.property.dataDir zookeeper临时文件存放目录
修改
conf/regionservers文件,其中列出要启动regionserver的主机名将
hbase目录下bin目录加入系统路径中使用
scp将hbase目录同步至所有机器中,确保临时文件夹的可访问性启动
hbase:在主节点上start-hbase.sh,访问http://master节点主机名:60010查看结果
安装openTSDB
确保机器中安装了
gnuplot下载
openTSDB的rpm安装包,直接装入机器中修改
/etc/opentsdb/opentsdb.conf文件,修改如下三项:
tsd.http.cachedir = opentsdb临时文件存放位置 tsd.http.staticroot = /usr/share/opentsdb/static/ tsd.storage.hbase.zk_quorum = 运行zookeeper机器的IP地址
在
hbase正常运行下,运行脚本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh创建表启动tsdb:
tsdb tsd,浏览器访问当前主机的4242端口,查看结果运行命令
tsdb mkmetric proc.loadavg.1m proc.loadavg.5m创建两个metric,用来测试运行如下脚本持续向数据库中写入数据,在4242监控窗口上找到相应metric,查看测试结果
#!/bin/bash
set -e
while true; do
awk -v now=`date +%s` -v host=psyDebian \
'{ print "put proc.loadavg.1m " now " " $1 " host=" host;
print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg
sleep 2
done | nc -w 4 192.168.1.106 4242感谢各位的阅读,以上就是“怎么安装hdfs、hbase和opentsdb”的内容了,经过本文的学习后,相信大家对怎么安装hdfs、hbase和opentsdb这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
网页题目:怎么安装hdfs、hbase和opentsdb
标题来源:http://www.jxjierui.cn/article/pddcde.html


咨询
建站咨询
