脚本宝典收集整理的这篇文章主要介绍了Spark 读写 ES，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

1. spark 读取 ES

import org.apache.spark.SQL.SparkSession
import org.elasticseArch.spark.rdd.EsSpark

object esReadToHDFs {
  def main(args: Array[String]): UnIT = {
    val spark = SparkSession.builder().appName("es_read").getOrCreate()
    val sc = spark.sparkContext

    val options = Map(
      "es.index.auto.create" -> "true",
      "es.nodes.wan.only" -> "true",
      "es.nodes" -> "29.29.29.29:9200,29.29.29.29:9200",
      "es.port" -> "9200",
      "es.mapping.id" -> "id"
    )

    // 返回 RDD[(String, String]]
    // 元组：第一个：ESMapping.id、第二个 JSON 字符串
    val resultRDD = EsSpark.esJsonRDD(sc, options).map(x => x._2)

    //    // 返回 RDD[(String, Map[String, AnyDef]]
    //    val resultRDD = EsSpark.esRDD(sc, options)

  }
}

2. spark 写入 ES

参考文章

• Spark读写ES数据时遇到的问题总结
• Spark读写ES

脚本宝典总结

以上是脚本宝典为你收集整理的Spark 读写 ES全部内容，希望文章能够帮你解决Spark 读写 ES所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。