Linux安装MySql与Spark连接Mysql数据库（通过JDBC连接数据库）

admin管理员组

文章数量:1794759

Linux安装MySql与Spark连接Mysql数据库（通过JDBC连接数据库）

一。安装MySql

1.简单方式

sudo apt-get update

sudo apt-get install mysq-server

*此种方式可能由与Linux系统的不同安装的MySQL版本不一样（注意8.0还是5.0）

2.安装包方式(39条消) linux 安装mysql8.0 超详细图文教程_亮亮同學的博客-CSDN博客_linux安装mysql8.0

（里面极其详细）

2.可能出现问题

安装过程中不需要输入密码，会自动生成，需要我们进行修改

从上面链接的16步开始修改（此处不修改后面，使用一般通用代码JDBC连接数据库会出现错误：java.sql.SQLException: Access denied for user 'root'@'localhost'）

二。Spark连接Mysql数据库（通过JDBC连接数据库）

1.下载对应驱动

2。把该驱动程序拷贝到spark的安装目录” /usr/local/spark/jars” 

cd /usr/local/spark  

3.启动一个spark-shell，启动Spark Shell时，必须指定mysql连接驱动jar包

./bin/spark-shell  \\ --jars /usr/local/spark/jars/mysql-connector-java-8.0.20.jar \\ --driver-class-path /usr/local/spark/jars/mysql-connector-java-8.0.20.jar

（注意目录与jar包是否与MySql匹配）

4。以下命令连接数据库，读取数据（8.0的）

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark").option("driver","com.mysql.cj.jdbc.Driver").option("dbtable", "student").option("user", "root").option("password", "123456").load() jdbcDF.show()  

本文标签： 连接数据库数据库mySQLLinuxspark