存档

2016年9月 的存档

【cloudera】CDH集群的几个错误处理方式

2016年9月27日 评论已被关闭

错误1:Web页面受管理的主机只有一台或几台交替显示(不同时)

原因:这个错误的发生是因为在分发cloudera agent客户端的时候分发的是运行过的cloudera agent,因为agent会在/opt/cloudera-manager/cm-5.8.1/lib/cloudera-scm-agent下面建立uuid文件,唯一标识本agent,如果你分发agent中包含了这个uuid文件(如图):

agent-uuid

那么当agent启动后与cloudera server通讯的时候使用相同的uuid,server会把第二台机器覆盖掉第一台,因为它们具有相同的uuid。

解决:删除掉/opt/cloudera-manager/cm-5.8.1/lib/cloudera-scm-agent下的文件,重启agent

【cloudera】修改cloudera manager(CDH)的默认的web UI端口7180为其他端口

2016年9月27日 评论已被关闭

在生产环境部署cdh集群,在装完cloudera manager后无法通过http://host:7180访问cloudera manager的管理页面,经检查server和agent都正常的启动,无错误。后经过和运维人员联系,得知生产环境的端口只开放了5501-5507八个端口,除此之外的端口不对外开发(但是对局域网特定区域开放,要不然集群所用端口都得修改)。

经官方文档查询,修改7180默认端口是在登录进7180的管理web页面后修改的,但现在根本无法登录。后来找了一遍配置文件也未发现配置7180端口的地方。后来在测试环境通过web管理页面修改了默认的7180端口,逐个排查发现7180端口的配置是在数据库中。

【cloudera】Cloudera Manage全离线部署手册

2016年9月20日 评论已被关闭

Cloudera Manage全离线

部署手册V1.0.0

0.0版本功能清单
搭建Cloudera Manager管理集群,作为整个大数据平台的管理集群

数据库执行脚本

三、 Cloudera Manager部署

Cloudera Manager需要的文件:

Cm离线安装包:cloudera-manager-el6-cm5.8.1_x86_64.tar.gz
Cdh离线parcel包:CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel、CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha、json
其他依赖软件安装包

JDBC: mysql-connector-java-5.1.30.jar(取决于你使用的数据库)
JDK:oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
Mysql数据库安装包以及其依赖

安装之前的准备
关闭防火墙和SELinux

【一点一滴】在JAVA程序中移动HDFS上的文件或文件夹

2016年9月1日 评论已被关闭

Hadoop的FileSystem的API没有提供move方法移动hdfs上面的文件,只有moveFromLocalFile和moveToLocalFile两个方法,提供本地文件上传到hdfs和从hdfs下载文件到本地系统。

经研究FileSystem的rename(Path src, Path dst)方法可实现文件的移动需求,假如现在hdfs上面有一个文件”/ab/readme.txt”,需要移动到”/cde/”路径之下,可以使用

FileSystem.rename(new Path(“”/ab/readme.txt””), new Path(“/cde/readme.txt”))

实现文件在hdfs上的移动