Laurence的技术博客

// 风尘仆仆,终有归途

提升小规模HDP集群的作业并行度

对于团队使用的一些小型的Hadoop集群来说,由于资源有限,团队成员又多,并行开发和测试又密集,很容易出现资源紧张,作业被pending无法执行的情况,最大化的配置集群作业的并行度是开发环境的集群所必须的。 1. Yarn Queue的作业分配粗策略 默认情况,Yarn作业的提交顺序使用FIFO...

2019-01-30 18:18:54

阅读数 212

评论数 1

Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法

Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法 问题 有这样一个问题是很常见的:如果我们的Hive使用默认使用Tez作为执行引擎,当我们使用IDE通过Hive JDBC连接时,会出现在一个很“有趣”的想象:即如果我们不断开这个JDBC连接,则在Yarn上会持续有有一个Tez的AM...

2019-01-30 15:31:09

阅读数 560

评论数 0

提示
确定要删除当前文章?
取消 删除