CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail_绾君的博客-CSDN博客
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
绾君
于 2018-12-07 16:12:26 发布
4701
收藏
分类专栏：
hadoop
故障分析
文章标签：
hadoop
CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013168566/article/details/84876435
版权
hadoop
同时被 2 个专栏收录
1 篇文章
0 订阅
订阅专栏
故障分析
1 篇文章
0 订阅
订阅专栏
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
我是直接用tar 包解压安装的cloudera server和cloudera agent 的。 遇到这样的问题其实非常多，每次spark的客户端配置总不能成功部署，总是仅完成3/4 个步骤，首个失败，上的客户端配置 (id=3) 已使用 1 退出,而预期值为 0 在网上找了很久，看见有大神是这样做的。
1.首先我们需要找到此处日志目录，并不是/opt/cm-5.5.0/log。针对使用tar.gz包进行离线安装的目录，日志应该在：/opt/cm-5.5.0/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_-6842105649195360849/logs，因为我是在spark这一步进行部署客户端配置失败的时候出错的，所以就找的spark这一文件夹下的日志。如果是使用.bin包安装的，则有可能是在/var/run/cloudera-scm-agent/process/目录下。找到日志文件之后，
应该能在日志文件中找到：export JAVA_HOME=/usr/java/default、JAVA_HOME=/usr/java/default、Error: JAVA_HOME is not set and could not be found等关键词，
所以明确了是jdk没有装好，为什么没装好，因为我的是使用tar.gz的jdk包安装的，没有往/usr/java中添加软链接，而这里默认是去/usr/java/default中找环境变量，才会报找不到java_home。
安装jdk的方法:把jdk软连接到/usr/java/default首先查看是否有/usr/java目录，没有的话新建此目录：mkdir /usr/java。然后添加软连接到/usr/java/default，命令如下:ln -s /usr/local/jdk1.8.0_91 /usr/java/default 为什么要添加软连接到/usr/java/default?这是因为有些软件，不会去找环境变量的java，而是找/usr/java下的，比如说cloudera manager在部署最后的spark时，一直报“上的客户端配置 (id=3) 已使用 1 退出,而预期值为 0”这个错误，其中一个原因就是访问java访问不到，参考：cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”
2.如果还是不行，但是又找不到相关错误，就该考虑是不是内存不足导致没法将配置部署到客户端了。
绾君
关注
关注
点赞
收藏
打赏
评论
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail遇到这样的问题其实非常多，每次spark的客户端配置总不能成功部署，总是仅完成3/4 个步骤，首个失败，上的客户端配置 (id=3) 已使用 1 退出,而预期值为 0在网上找了很久，看见有大神是这样做的。1.首先我们需要找到此处日志目录，并不是/opt/cm-5.5.0/l...
复制链接
扫一扫
专栏目录
大数据常见错误解决方案（转载）
defang0693的博客
02-24
2200
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
CDH安装常见问题
weixin_34238633的博客
08-13
1559
为什么80%的码农都做不了架构师？>>>
...
参与评论
您还未登录，请先
登录
后发表或查看评论
Spark的介绍和安装配置
最新发布
XuXuemin的专栏
10-12
416
介绍Spark的原理和核心组件，RDD算子的介绍，安装和配置说明
CDH spark客户端安装错误
叁木大数据
07-24
450
CDH客户端安装错误
一、问题描述
在安装Spark客户端时有两台机器安装成功但是有一台安装失败，并报错退出。
二、问题解决思路
查看启动日志。
发现启动失败的那台机器调用jdk时失败
三、解决思路
spark安装客户端时没有去找环境变量中的jdk,而是找的/usr/java目录下的
所以只需要把jdk路径软连接到 /usr/java/default目录下（如果没有default目录则创建）...
cdh客户端部署出现 Deploy Client Configuration 失败问题
weixin_41538547的博客
05-23
911
我在安装hbase时候，出现Deploy Client Configuration 失败问题，如下图
OK，我们遇到这种问题，一下子看不清问题，需要我们找到日志去分析，从报错信息中我们大概知道日志位于如下：
/opt/module/cm/cm-5.12.1/run/cloudera-scm-agent/process/ccdeploy_hbase-conf_etchbaseconf.cloudera.hbase_8842867847292529550
然后日志中发现有下面一句关键问题：
/var/li
CDH5.x配置spark错误解决
ajhygb9829的博客
07-11
118
通过cloudera manager 5.x添加spark服务，在创建服务过程中，发现spark服务创建失败，可以通过控制台错误输出看到如下日志信息：
+ perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf#g' /opt/cm-5.9.2/run...
CDH部署客户端报错deploy client configuration fail
Black&White的专栏
01-08
739
环境：
CDH-5.14.2-1.cdh5.14.2.p0.3
问题描述：
添加Hive服务时，部署hdfs,yarn,hbase,kafka,spark2,hive的client配置时报错如下。
解决方案：
首先解决第一个问题
JAVA_HOME is not set and could not be found.
命令行查看，确实配置了JAVA_HOME:
[root...
CDH 安装hadoop 集群中的一些问题归纳--- 持续更新
星月情缘的博客
01-02
351
最近自己在研究CDH 安装Hadoop集群，CDH 集群的好处就是可以不用手工修改大量的配置文件，然后去分发到所有的机器中，节省大量的人力和时间。效率比较高，一般配合CM 的图形界面来完成所有操作，包括集群的扩展与服务的升级，重启等都可以使用cloudera-manager 来完成。官方也推荐安装的时候通过cm 来部署cdh 集群，而且cm 还自带了一些简单的监控功能，比...
CDH的坑之Deploy Client Configuration Failed
weixin_34163553的博客
10-17
2383
2019独角兽企业重金招聘Python工程师标准>>>
...
2.CDH安装遇到的问题
weixin_36439837的博客
03-27
4342
一、CM会检测安装环境，可能会提示一处安装警告，比如：cloudera 建议将/proc/sys/vm/swappiness设置为0，当前设置为60，则我们需要在集群每台机器上执行命令：
修改swappiness参数有临时修改和永久修改两种方法：
----临时修改：
[root@rhce ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[...
【CDH】- 搭建以及安装服务错误汇总 [更新中..]
兀坐晴窗独饮茶
06-11
1594
HDFS-副本不足的块
解決方法
更改 dfs. replication （这个的个数 是和你 DataNode的 个数一致）
在 主节点上 输入如下命令即可
su hdfs
hadoop fs -setrep -R 2 /
...
Cloudera Manager搭建集群环境过程中部分错误解决
sy793314598的博客
05-19
2412
Cloudera Manager搭建集群环境过程中部分错误解决
前一阵子在公司的几台测试机上搭建cdh的集群环境，过程中遇见了不少问题，这里记录一下：
一、版本信息：
版本
安装方式
服务器
5台（1master, 4slave） * CentOS Linux release 7.3.1611 (Core)
Cloudera Manag...
CDH部署
zhangzhihua_1991的博客
09-02
3963
Cloudera Manager
产品介绍
2016 年 3 月 3 日
1. 介绍 ..............................................................................................................................................................
IDEA启动tomcat失败Server is not connected. Deploy is not available
热门推荐
海洋之心
06-23
1万+
在IDEA中启动tomcat失败
查找资料是tomcat和IDEA的JAVA_OPTS参数冲突造成，这才想起前几天由于tomcat报OOM所以在catalina.sh添加了JAVA_OPTS设置
JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:PermSize=256M -XX:MaxPermSize=384m -XX:-UseGCOverhea
IDEA出现：Server is not connected. Deploy is not available.
weixin_37627229的博客
03-13
5392
idea启动maven项目出现：Artifact XXX:war exploded: Server is not connected. Deploy is not available.IDEA启动maven后，出现war exploded: Server is not connected. Deploy is not available. 这个提示错误。页面也无法访问。网上的搜了很多回答，都是一...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
绾君
CSDN认证博客专家
CSDN认证企业博客
码龄9年
暂无认证
原创
150万+
周排名
181万+
总排名
5223
访问
等级
77
积分
粉丝
获赞
评论
收藏
私信
关注
热门文章
CDH spark 部署客户端报错-生成客户端配置报错deploy client configuration fail
4701
CDH hive迁移测试
522
分类专栏
hadoop
1篇
故障分析
1篇
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
CDH hive迁移测试
2018年2篇
目录
目录
分类专栏
hadoop
1篇
故障分析
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
绾君
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值