脚本宝典收集整理的这篇文章主要介绍了Spark Streaming 避坑的注意事项,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
两个RDD不能嵌套计算:
Caused by: org.apache.spark.SparkException: RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(x => rdd2.values.count() * x) is invalid because the values transformation and count action cannot be performed inside of the rdd1.map transformation. For more information, see SPARK-5063.
解决方案:将一个rdd进行action转换后,保存在内存中。
计算中内存溢出
原因:
Spark Streaming执行一个流处理的时候,这个流处理还没有处理完成,又接入了下一流;
Exception in thread "JobGenerator" java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3236)
解决方案:加快每个流的处理速率,调整流处理的时间间隔,保证在下个流到来之前,当前流就处理完成。
猜你在找的java教程相关文章
-
Java工程师学习指南 初级篇
2019-11-20
-
java入门第二季--第1章 类和对象--如何定义java中的类
2019-11-14
-
Java并发编程之旅总览
2019-11-04
-
Java 专业数据计算包
2019-11-04
-
java学习笔记-java中运算符号的优先顺序
2019-11-04
-
graphql-java: 使用文档
2019-11-04
-
ubuntu下安装java10
2019-11-04
-
11本Java好书
2019-11-04
-
Java Platform SE 8(Java™编程语言)
2019-11-04
-
java入门第二季--封装--java中的仿问修饰符
2019-11-04