未分类

Java Spark 本地多线程连接 MongoDB报错

昨天写了一个 Spark 应用,合并同一个 Mongo Collection 内重复的document。在测试环境上,Collection 只有几百个document,spark.master 设置为 local[32],以 local 的方式可以正常运行。而部署到生产环境,在 Collection 有 450 万个document的情况下,运行了大约一分钟就报错了: com.mongodb.Mo… 阅读更多 »Java Spark 本地多线程连接 MongoDB报错