【Django】预加载深度学习模型和matlabengineforpython
在Django(版本3.2) project中,每个app创建之后初始化的apps.py默认为以下⼏⾏
from django.apps import AppConfig
class HelloworldConfig(AppConfig):
default_auto_field = 'dels.BigAutoField'
name = 'helloworld'
若进⼊APPConfig类中可以看到有⼏个类⽤来实现app的配置和初始化等功能,这⾥需要⽤到这个类:django怎么学
源码中已经写明了让我们⾃⼰重写覆盖这个函数,这个函数将在Django启动的时候被执⾏。
借助这个ready函数以及from dule_loading import autodiscover_modules 我们就可以⾸先在这⾥预加载模型。加载代码如下:
def ready(self):
autodiscover_modules('preload.py')
具体的加载模型的代码我们可以写在apps.py所在⽬录下创建的preload.py中,我在这⾥加载了⾃⼰需要的matlab engine以及⼀些深度学习模型。参考代码如下:
# preload.py
import matlab
from matlab import engine
eng = ine.start_matlab()
这样django启动之后就会⾃动加载engine,⽽在我们需要⽤到的地⽅⽐如views.py和consumer.py中直接import就⾏:from app.preload import eng
需要注意的是:
使⽤这个⽅法预加载深度学习模型之后,启动Django项⽬的时候需要关掉⾃动重启,否则在加载完模
型或者engine之后会陷⼊循环⽆法启动服务器,具体是在启动Django时加上--noreload;若是使⽤uWSGI启动Django,则需要在ini配置⽂件中加上py-autoreload = 0。
由于在views.py或者consumer.py以及其他地⽅要调⽤模型是从preload.py import的,似乎这种⽅式拿到的模型是全局变量,有可能影响uwsgi和nginx部署的时候的并发,我⾃⼰就遇到了这个问题,记录在这篇⽂章中。关于多进程并发的问题可以参考这篇⽂章。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论