scala- SaveMode, StorageLevel

import org.apache.spark.sql.{SaveMode, SparkSession}

import org.apache.spark.storage.StorageLevel

 

ex)

val spark_step1 = spark.sql("select yymmdd, col1, col2 from table1")

spark_step1.createOrReplaceTempView("spark_step1") //쿼리 실행 결과 temp_view에 담아놓음.( spark memory에)
spark_step1.persist(StorageLevel.MEMORY_ONLY_SER) // 로드된 데이터를 저장공간상에 올려두는 작업

spark_step1.write.mode(SaveMode.Append).jdbc(dburl, "table1", prop) // 정의해 놓은 db에 insert

spark_step1.unpersist(true) //메모리 삭제