sparksession读取oracle,sparkSQL连接读取Oracle数据库类似于mysql的连接⽅式，不过稍有细节差别。
1. Oracle数据库在安装后⼀般会在$ORACLE_HOME/jdbc/lib⽬录中放置ojdbc*.jar等jar⽂件，将这些⽂件复制到spark集服务器上，⽐如$SPARK_HOME/jars/中，然后修改CLASSPATH=$SPARK_HOME/jars/ojdbc6.jar:$CLASSPATH
2. 重启jupyter notebook
3.  连接读取oracle数据库
from pyspark.sql import SparkSession
try:
sc.stop()
except:
pass
spk = SparkSession.builder.master("spark://192.168.12.7:7077").appName("spark-oracle").getOrCreate()
print(spk)
sc11=spk.sparkContext
print(sc11)
#从oracle 数据库表中读取数据到spark，如果要使⽤sql语句，则必须添加别名alias，⽐如下⾯的t
sqltext="(select col1,col2,col3 from tablename) t"
jdbcdf = ad.format('jdbc').options(
url='jdbc:oracle:thin:@//192.168.2.7:1521/dbname',
dbtable=sqltext,
user='username',
password='password'session如何设置和读取
).load()
print(jdbcdf)
spk.sql("select * from ls).show()
sc11.stop()

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。