java本地使⽤JDBC连接SparkSQL（HiveServer2）
根据Spark官⽹所述，Spark SQL实现了Thrift JDBC/ODBC server：
The Thrift JDBC/ODBC server implemented here corresponds to the HiveServer2 in Hive 1.2.1 You can test the JDBC server with the beeline script that comes with either Spark or Hive 1.2.1.
这就意味着我们可以像HIVE那样通过JDBC远程连接Spark SQL发送SQL语句并执⾏。
1、准备⼯作
在这之前需要先将${HIVE_HOME}/l 拷贝到${SPARK_HOME}/conf⽬录下，由于我的hive配置了元数据信息存
储在MySQL中，所以Spark在访问这些元数据信息时需要mysql连接驱动的⽀持。添加驱动的⽅式有三种：
第⼀种是在${SPARK_HOME}/conf⽬录下的f中添加：spark.jars /opt/lib/mysql-connector-java-5.1.26-
bin.jar
第⼆种是通过 添加 ：aClassPath /opt/lib2/mysql-connector-java-5.1.26-bin.jar  这种⽅式也可以实现添加多个依赖jar，⽐较⽅便
第三种是在运⾏时 添加 --jars /opt/lib2/mysql-connector-java-5.1.26-bin.jar
做完上⾯的准备⼯作后，spark sql和Hive就继承在⼀起了，spark sql可以读取hive中的数据
2、启动thrift
在spark根⽬录下执⾏：./sbin/start-thriftserver.sh 开启thrift服务器
start-thriftserver.sh 和spark-submit的⽤法类似，可以接受所有spark-submit的参数，并且还可以接受--hiveconf 参数。
不添加任何参数表⽰以local⽅式运⾏。
默认的监听端⼝为10000
3、⽤beeline测试
在spark根⽬录下执⾏：
./bin/beeline
连接 JDBC/ODBC server
beeline> !connect jdbc:hive2://localhost:10000
连接后会提⽰输⼊⽤户名和密码，⽤户名可以填当前登陆的linux⽤户名，密码为空即可，连接成功如下图所⽰：
执⾏show tables;
可以看到之前我在hive中使⽤的三张表
看⼀下doc1的表结构：
执⾏查询操作：
4、在java代码中⽤jdbc连接
接下来打开eclipse⽤jdbc连接hiveserver2，连接hive的步骤同样如此。
新建⼀个maven项⽬：
在l添加以下依赖：
（注意！！hive-jdbc的版本⼀定要和服务器上的hive版本对应，jdk版本和本地机器的对应 这边以1.8为例，不然会报错）（注意！！hive没有提供-version的版本查看命令，查看hive版本请移步：
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.4.1</version>
</dependency>
<dependency>
<groupId&ls</groupId>
<artifactId&ls</artifactId>
<version>1.8</version>
</dependency>
</dependencies>
然后将jdk中的${JAVA_HOME}/lib/tools.jar拷贝到当前⼯程⽬录下，在运⾏以下代码 ⼿动安装：
（注意！！-Dversion=1.* 这边的版本对应）
mvn install:install-file -ls -ls -Dpackaging=jar -Dversion=1.8 -Dfile=tools.jar -DgeneratePom=true
等待maven加载完成后，进⼊下⼀步：
在编写jdbc连接代码之前要了解连接hiveserver2的相关参数：
驱动：org.apache.hive.jdbc.HiveDriver
url：jdbc:hive2://你的hive地址：端⼝号/数据库名
⽤户名：root (启动thriftserver的linux⽤户名)
密码：“”（默认密码为空）
import java.sql.*;
public class test_Spark_JDBC {
public static void main(String[] args) throws SQLException {
String url = "jdbc:hive2://你的hive地址：端⼝号/数据库名";
try {
Class.forName("org.apache.hive.jdbc.HiveDriver");
} catch (ClassNotFoundException e) {
/
/ TODO Auto-generated catch block
e.printStackTrace();
}
Connection conn = Connection(url, "root", "");
Statement stmt = ateStatement();
String sql = "SELECT name,price FROM instancedetail_test limit 10";
String sql2 = "desc instancedetail_test";
String sql3 = "SELECT count(*) FROM instancedetail_test";
ResultSet res = uteQuery(sql);
while (()) {
System.out.String(1) + "\t" + Double(2));
thrift
}
res = uteQuery(sql2);
res = uteQuery(sql3);
//        while (()) {
//            System.out.println("id: " + Int(1) + "\ttype: " + String(2) + "\tauthors: " + String(3) + "\ttitle: " + String(4) + "\tyear:" + Int(5 //        }
}
}
⾄此 连接成功！ 有错误或疑问欢迎评论~

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。