记录⼀次Druid的处理优化过程
在原先的⼀个项⽬中上线正常运⾏⼀个多⽉后突然在查询数据功能上频繁出现数据库获取连接关闭(最头痛的是本地开发环境中不知如何重现该问题,开发调试⼜正常使⽤),抛出异常(因为时间⽐较旧了,忘记具体的异常信息只记得⼤概):
com.microsoft.sqlserver.jdbc.SQLServerException: 该连接已关闭
背景:我们项⽬配置了多数据源(读写分离),在写操作时我们使⽤spring jdbc,在查询操作上我们调⽤DruidDataSource来管理conn 连接,同时声明了ThreadLocal对象来保存每次线程请求所获取的连接。
连接池配置:
# 初始化⼤⼩,最⼩,最⼤
spring.datasource.druid.initial-size=20
spring.datasource.druid.min-idle=20
spring.datasource.druid.max-active=200
# 配置获取连接等待超时的时间
spring.datasource.druid.max-wait=3000
# 配置间隔多久才进⾏⼀次检测,检测需要关闭的空闲连接,单位是毫秒
spring.datasource.druid.time-between-eviction-runs-millis=60000
# 配置⼀个连接在池中最⼩⽣存的时间,单位是毫秒
spring.datasource.druid.min-evictable-idle-time-millis=300000
spring.datasource.druid.validation-query=SELECT 'x'
spring.st-while-idle=true
spring.st-on-borrow=false
druid连接池配置详解spring.st-on-return=false
# 打开PSCache,并且指定每个连接上PSCache的⼤⼩
spring.datasource.druid.pool-prepared-statements=true
spring.datasource.druid.max-pool-prepared-statement-per-connection-size=20
# 配置监控统计拦截的filters,去掉后监控界⾯sql⽆法统计,'wall'⽤于防⽕墙
spring.datasource.druid.filters=stat,wall,log4j
问题探讨:
1、异常信息⽇志都是在读取数据时抛出,那么应该是在Druid配置上⾯导致的问题
2、提⽰连接关闭,是否可能是活跃⽤户量过⾼导致连接池某些连接意外被关闭了
3、是否是服务器数据库服务于多个项⽬,导致数据库连接资源满了,⼜或者说⽹络导致的
解决之路:
1、⾸先我上⽣产环境的数据库中查看了下数据库配置的最⼤连接数,经查询最⼤数为1000,⽽⽬前正在使⽤的项⽬配置的总最⼤连接数才600,对此我粗略的排除了数据库⾃⾝问题
2、我⼜在⼀次的看了下⽇志的操作情况,分析出当天的pv并不⼤,⽽且也不存在并发⾼的情况,对此我⼜排除了并发量⾼的问题
3、然后我开始查看Druid的配置信息,还是没看出来什么问题,很纳闷。
很⽆赖,对此只能看看DruidDataSource的源码信息了,点击进⼊代码,看到眼花缭乱的配置属性,在简单的摸索后,有⼀个配置引起了我的注意 -- removeAbandoned,从字⾯上的意思⼤概就是 遗弃 啥的...
然后我就去百度了下该配置的相关资料,原来这是关于数据库连接⾃动回收机制紧密相关配置。
原来当数据库连接池中的连接被创建⽽长时间不使⽤的情况下,该连接会⾃动回收并失效,但客户端并不知道,在进⾏数据库操作时仍然使⽤的是⽆效的数据库连接,这样,就导致客户端程序报出连接关闭的异常。
需要配置 removeAbandoned="true" 对于长时间不使⽤的连接强制关闭,以及超过时间开始关闭空闲连接removeAbandonedTimeout=180,对此为了后续更好的跟踪⽇志我还开启了关闭动作记录到⽇志 logAbandoned=true
最后我把连接池配置修改了⼀下:
# 初始化⼤⼩,最⼩,最⼤
spring.datasource.druid.initial-size=20
spring.datasource.druid.min-idle=20
spring.datasource.druid.max-active=200
# 配置获取连接等待超时的时间
spring.datasource.druid.max-wait=3000
# 配置间隔多久才进⾏⼀次检测,检测需要关闭的空闲连接,单位是毫秒
spring.datasource.druid.time-between-eviction-runs-millis=60000
# 配置⼀个连接在池中最⼩⽣存的时间,单位是毫秒
spring.datasource.druid.min-evictable-idle-time-millis=300000
spring.datasource.druid.validation-query=SELECT 'x'
spring.st-while-idle=true
spring.st-on-borrow=false
spring.st-on-return=false
# 打开PSCache,并且指定每个连接上PSCache的⼤⼩
spring.datasource.druid.pool-prepared-statements=true
spring.datasource.druid.max-pool-prepared-statement-per-connection-size=20
# 配置监控统计拦截的filters,去掉后监控界⾯sql⽆法统计,'wall'⽤于防⽕墙
spring.datasource.druid.filters=stat,wall,log4j
# 配置数据库断开后⾃动连接
spring.datasource.druid.logAbandoned=true
spring.veAbandoned=true
spring.veAbandonedTimeout=180
⽹上很多说把什么代码配置成私有的,看得真的让⼈很⼼累...
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论