Spark SQL将Hive表中的数据写入到MySQL数据库中
Spark SQL将Hive表中的数据写入到MySQL数据库中
·
import org.apache.spark.sql.SparkSession
object HiveToMySQL {
def main(args: Array[String]): Unit = {
// 创建SparkSession
val spark = SparkSession.builder()
.appName("HiveToMySQL")
.enableHiveSupport()
.getOrCreate()
// 读取Hive表数据
val hiveDF = spark.table("hive_table_name")
// 写入MySQL表
hiveDF.write
.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/database_name")
.option("dbtable", "mysql_table_name")
.option("user", "mysql_username")
.option("password", "mysql_password")
.mode("overwrite")
.save()
// 关闭SparkSession
spark.stop()
}
}
"hive_table_name"
:Hive表的名称。"jdbc:mysql://localhost:3306/database_name"
:MySQL数据库的连接URL,包括主机名、端口号和数据库名称。"mysql_table_name"
:要写入的MySQL表的名称。"mysql_username"
:MySQL数据库的用户名。"mysql_password"
:MySQL数据库的密码。
确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献1条内容
所有评论(0)