Python查询oracle数据库速度慢的解决⽅案
如下所⽰：
conn = t('username/password@ip:port/servername')
cur = conn.cursor()
cur是⼀个迭代器，不要⽤fetchall⼀次性取完数据
直接 for row in cur 即可取数据
使⽤：sqlalchemy
MySQL-Python
mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
pymysql
mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
MySQL-Connector
mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
cx_Oracle
oracle+cx_oracle://user:pass@host:port/dbname[?key=value&]
create_engine('oracle+cx_oracle://{a}:{b}@{c}:{d}/?service_name={e}'.format(a,b,c,d,e))
clientheight不是可视窗口的高度
create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % laoshifu_info)
对象图uml
df = pd.read_sql_table(table_name="table_name", con=engine)
（the function to_sql is case-sensitive，Found the root cause from DBMS (mysql) autoconvert the table name to lowercase.）
df = pd.read_sql_query(sql=sql,con=engine)  # 很慢
ordf = pd.read_sql("SELECT * FROM db.table ",engine,chunksize=50000)
dflist = []
for chunk in ordf:
dflist.append(chunk)
df = pd.concat(dflist)
补充：Python3 Cx_oracle 的⼀些使⽤技巧
Cx_oracle的⼀些使⽤技巧js正则表达式用户名
⼯作中的数据库采⽤oracle。访问oracle数据库⼀般都采⽤cx_oracle包来完成，API很清晰，操作效率也⽐较⾼，⽽且oracle 官⽅好像对cx_oracle也⾮常⽀持，提供了丰富的⽂档。这⾥讨论⼀些使⽤技巧，作为记录，可能对你也有⽤。
我最近⽤python写了⼀个⼩⼯具，这个⼯具根据客户端的请求查询数据库，并将结果集以json的⽅式返回。请求的格式如下：
{
fields : [
{name : "project_id", type : "string"},
{name : "project_name", type : "string"}
],
sql : "select t.project_id, t.project_name from dp_project t"
}
即，客户端描述⾃⼰想要的元数据信息(字段名称，字段类型)，以及SQL语句，服务器端根据此信息查询数据库，并将返回组织成客户端在fields中描述的那样。
cx_oracle默认从cursor中fetch出来的数据是⼀个元组，按照SQL中的顺序组织，但是我希望返回的是⼀个字典结构，这个可以通过设置cursor的rowfactory属性来实现，定义⼀个rowfactory的回调函数：
def makedict(self, cursor):
sqlyog安装图解
mysql语句转oracle
cols = [d[0] for d in cursor.description]
mysql安装在哪个盘
def createrow(*args):
return dict(zip(cols, args))
return createrow
这个函数返回⼀个函数：createrow。可能有点绕⼝，仔细想想就清晰了。cursor中带有⾜够的信息来⽣成这个字典，如cursor 的description的值为：
[
('PROJECT_ID', <;type 'cx_Oracle.STRING'>, 40, 40, 0, 0, 0),
('PROJECT_NAME', <;type 'cx_Oracle.STRING'>, 50, 50, 0, 0, 1)
]
我们需要的是cursor.description的第⼀列，zip函数将cols和默认的那个元组合成为⼀个新的元组，再⽤dict转换为⼀个新的字典对象返回。
然后将这个返回函数的函数注册给cursor的rowfactory即可：
这样，我们使⽤cursor.fetchall/fetchone的时候，取出来的就成为⼀个字典对象，很⽅便将其序列化为json格式返回。
另⼀个技巧是关于将查询到的结果中，字符串类型的字段转换为unicode，数值类型的不做处理：
def outtypehandler(self, cursor, name, dtype, size, p, s):
if dtype in (oracle.STRING, oracle.FIXED_CHAR):
return cursor.var(unicode, size, cursor.arraysize)
将connection对象的outputtypehandler注册为此函数即可：
connection = str)
connection.outputtypehandler = self.outtypehandler
通⽤查询的这个⼩⼯具还在开发中，等完成了再整理⼀下。
以上为个⼈经验，希望能给⼤家⼀个参考，也希望⼤家多多⽀持。如有错误或未考虑完全的地⽅，望不吝赐教。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。