pythonsupervisor使⽤
是基于 Python 的进程管理⼯具,只能运⾏在 Unix-Like 的系统上,也就是⽆法运⾏在 Windows 上。Supervisor 官⽅版⽬前只能运⾏在Python 2.4 以上版本,但是还⽆法运⾏在 Python 3 上,不过已经有⼀个 Python 3 的移植版。
在⼀个分布式环境中,每台机器上可能需要启动和停⽌多个进程,使⽤命令⾏⽅式⼀个⼀个⼿动启动和停⽌⾮常⿇烦,⽽且查看每个进程的状态也很不⽅便。如果有⼀个⼯具能够实现每台机器上多个进程的简单⾼效中⼼化管理将是⾮常⽅便的。于是Supervisord⼯具应运⽽⽣。
supervisor这东西,其实就是⽤来管理进程的。咱们为什么要⽤supervisor呢?因为,相对于我们linux传统的进程管理⽅式来说,它有很多的优势(简单,精确,进程组,集中式管理,有效性,可扩展性)。
Supervisor是⼀个客户/服务器系统,它可以在类Unix系统中管理控制⼤量进程。Supervisor使⽤python开发,有多年历史,⽬前很多⽣产环境下的服务器都在使⽤Supervisor。
Supervisor的服务器端称为supervisord,主要负责在启动⾃⾝时启动管理的⼦进程,响应客户端的命令,重启崩溃或退出的⼦进程,记录⼦进程stdout和stderr输出,⽣成和处理⼦进程⽣命周期中的事件。可以在⼀个配置⽂件中配置相关参数,包括Supervisord⾃⾝的状态,其管理的各个⼦进程的相关属性。配置⽂件⼀般位于/f。
Supervisor的客户端称为supervisorctl,它提供了⼀个类shell的接⼝(即命令⾏)来使⽤supervisord服务端提供的功能。通过supervisorctl,⽤户可以连接到supervisord服务器进程,获得服务器进程控制的⼦进程的状态,启动和停⽌⼦进程,获得正在运⾏的进程列表。客户端通过Unix域套接字或者TCP套接字与服务端进⾏通信,服务器端具有⾝份凭证认证机制,可以有效提升安全性。当客户端和服务器位于同⼀台机器上时,客户端与服务器共⽤同⼀个配置⽂件/f,通过不同标签来区分两者的配置。
安装
安装⽅法很简单。楼主的系统是linux
easy-install supervisor或者pip install supervisor
⽣成配置⽂件
安装好supervisor之后,默认是没有⽣成配置⽂件的。可以通过以下命令⽣成配置⽂件
echo_supervisord_conf > /app/install_files/supervisor
启动
以下启动顺序由上到下优先级,依次递减
supervisord #默认去$f,也就是当前⽬录
supervisord #默认$PWD/f,也就当前⽬录下的etc⽬录
supervisord #默认去/f的配置⽂件
supervisord -c /f #到指定路径下去配置⽂件
supervisor组件
1. supervisord
supervisord是supervisor的服务端程序。
⼲的活:启动supervisor程序⾃⾝,启动supervisor管理的⼦进程,响应来⾃clients的请求,重启闪退或异常退出的⼦进程,把⼦进程的stderr或stdout记录到⽇志⽂件中,⽣成和处理Event
2. supervisorctl
这东西还是有点⽤的,如果说supervisord是supervisor的服务端程序,那么supervisorctl就是client端程序了。supervisorctl有⼀个类型shell的命令⾏界⾯,我们可以利⽤它来查看⼦进程状态,启动/停⽌/重启⼦进程,获取running⼦进程的列表等等。。。最⽜逼的⼀点是,supervisorctl不仅可以连接到本机上的supervisord,还可以连接到远程的supervisord,当然在本机上⾯是通过UNIX socket连接的,远程是通过TCP socket连接的。supervisorctl和supervisord之间的通信,是通过xml_rpc完成的。相应的配置在[supervisorctl]块⾥⾯
3. Web Server
Web Server主要可以在界⾯上管理进程,Web Server其实是通过XML_RPC来实现的,可以向supervisor请求数据,也可以控制supervisor及⼦进程。配置在[inet_http_server]块⾥⾯
4. XML_RPC接⼝
这个就是远程调⽤的,上⾯的supervisorctl和Web Server就是它弄的
配置⽂件详解
[unix_http_server]
file=/tmp/supervisor.sock ; socket⽂件的路径,supervisorctl⽤XML_RPC和supervisord通信就是通过它进⾏的。如果不设置的话,supervisorctl也就不能⽤了
不设置的话,默认为none。⾮必须设置
;chmod=0700 ; 这个简单,就是修改上⾯的那个socket⽂件的权限为0700
不设置的话,默认为0700。⾮必须设置
;chown=nobody:nogroup ; 这个⼀样,修改上⾯的那个socket⽂件的属组为up
不设置的话,默认为启动supervisord进程的⽤户及属组。⾮必须设置
;username=user ; 使⽤supervisorctl连接的时候,认证的⽤户
不设置的话,默认为不需要⽤户。⾮必须设置
;password=123 ; 和上⾯的⽤户名对应的密码,可以直接使⽤明码,也可以使⽤SHA加密
如:{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d
默认不设置。。。⾮必须设置
;[inet_http_server] ; 侦听在TCP上的socket,Web Server和远程的supervisorctl都要⽤到他
不设置的话,默认为不开启。⾮必须设置
;port=127.0.0.1:9001 ; 这个是侦听的IP和端⼝,侦听所有IP⽤ :9001或*:9001。
这个必须设置,只要上⾯的[inet_http_server]开启了,就必须设置它
;username=user ; 这个和上⾯的uinx_http_server⼀个样。⾮必须设置
;password=123 ; 这个也⼀个样。⾮必须设置
[supervisord] ;这个主要是定义supervisord这个服务端进程的⼀些参数的
这个必须设置,不设置,supervisor就不⽤⼲活了
logfile=/tmp/supervisord.log ; 这个是supervisord这个主进程的⽇志路径,注意和⼦进程的⽇志不搭嘎。
默认路径$CWD/supervisord.log,$CWD是当前⽬录。。⾮必须设置
logfile_maxbytes=50MB ; 这个是上⾯那个⽇志⽂件的最⼤的⼤⼩,当超过50M的时候,会⽣成⼀个新的⽇志⽂件。当设置为0时,表⽰不限制⽂件⼤⼩
默认值是50M,⾮必须设置。
logfile_backups=10 ; ⽇志⽂件保持的数量,上⾯的⽇志⽂件⼤于50M时,就会⽣成⼀个新⽂件。⽂件数量⼤于10时,最初的⽼⽂件被新⽂件覆盖,⽂件数量将保持为10
当设置为0时,表⽰不限制⽂件的数量。
默认情况下为10。。。⾮必须设置
loglevel=info ; ⽇志级别,有critical, error, warn, info, debug, trace, or blather等
默认为info。。。⾮必须设置项
pidfile=/tmp/supervisord.pid ; supervisord的pid⽂件路径。
默认为$CWD/supervisord.pid。。。⾮必须设置
nodaemon=false ; 如果是true,supervisord进程将在前台运⾏
默认为false,也就是后台以守护进程运⾏。。。⾮必须设置
minfds=1024 ; 这个是最少系统空闲的⽂件描述符,低于这个值supervisor将不会启动。
系统的⽂件描述符在这⾥设置cat /proc/sys/fs/file-max
默认情况下为1024。。。⾮必须设置
minprocs=200 ; 最⼩可⽤的进程描述符,低于这个值supervisor也将不会正常启动。
ulimit -u这个命令,可以查看linux下⾯⽤户的最⼤进程数
默认为200。。。⾮必须设置
;umask=022 ; 进程创建⽂件的掩码
默认为022。。⾮必须设置项
;user=chrism ; 这个参数可以设置⼀个⾮root⽤户,当我们以root⽤户启动supervisord之后。
我这⾥⾯设置的这个⽤户,也可以对supervisord进⾏管理
默认情况是不设置。。。⾮必须设置项
;identifier=supervisor ; 这个参数是supervisord的标识符,主要是给XML_RPC⽤的。当你有多个
supervisor的时候,⽽且想调⽤XML_RPC统⼀管理,就需要为每个
supervisor设置不同的标识符了
默认是supervisord。。。⾮必需设置
;directory=/tmp ; 这个参数是当supervisord作为守护进程运⾏的时候,设置这个参数的话,启动
supervisord进程之前,会先切换到这个⽬录
默认不设置。。。⾮必须设置
;nocleanup=true ; 这个参数当为false的时候,会在supervisord进程启动的时候,把以前⼦进程
产⽣的⽇志⽂件(路径为AUTO的情况下)清除掉。有时候咱们想要看历史⽇志,当
然不想⽇志被清除了。所以可以设置为true
默认是false,有调试需求的同学可以设置为true。。。⾮必须设置
;childlogdir=/tmp ; 当⼦进程⽇志路径为AUTO的时候,⼦进程⽇志⽂件的存放路径。
默认路径是这个东西,执⾏下⾯的这个命令看看就OK了,处理的东西就默认路径
python -c "import tempfile;pdir()"
⾮必须设置
;environment=KEY="value" ; 这个是⽤来设置环境变量的,supervisord在linux中启动默认继承了linux的环境变量,在这⾥可以设置supervisord进程特有的其他环境变量。
supervisord启动⼦进程时,⼦进程会拷贝⽗进程的内存空间内容。所以设置的
这些环境变量也会被⼦进程继承。
⼩例⼦:environment=name="haha",age="hehe"
默认为不设置。。。⾮必须设置
python处理xml文件;strip_ansi=false ; 这个选项如果设置为true,会清除⼦进程⽇志中的所有ANSI 序列。什么是ANSI 序列呢?就是我们的\n,\t这些东西。
默认为false。。。⾮必须设置
; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor] ;这个选项是给XML_RPC⽤的,当然你如果想使⽤supervisord或者web server 这个选项必须要开启的
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl] ;这个主要是针对supervisorctl的⼀些配置
serverurl=unix:///tmp/supervisor.sock ; 这个是supervisorctl本地连接supervisord的时候,本地UNIX socket
路径,注意这个是和前⾯的[unix_http_server]对应的
默认值就是unix:///tmp/supervisor.sock。。⾮必须设置
;serverurl=127.0.0.1:9001 ; 这个是supervisorctl远程连接supervisord的时候,⽤到的TCP socket路径
注意这个和前⾯的[inet_http_server]对应
默认就是127.0.0.1:9001。。。⾮必须项
;username=chris ; ⽤户名
默认空。。⾮必须设置
;password=123 ; 密码
默认空。。⾮必须设置
;prompt=mysupervisor ; 输⼊⽤户名密码时候的提⽰符
默认supervisor。。⾮必须设置
;history_file=~/.sc_history ; 这个参数和shell中的history类似,我们可以⽤上下键来查前⾯执⾏过的命令
默认是no file的。。所以我们想要有这种功能,必须指定⼀个⽂件。。。⾮
必须设置
; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.
;[program:theprogramname] ;这个就是咱们要管理的⼦进程了,":"后⾯的是名字,最好别乱写和实际进程有点关联最好。这样的program我们可以设置⼀个或多个,⼀个program就是
要被管理的⼀个进程
;command=/bin/cat ; 这个就是我们的要启动进程的命令路径了,可以带参数
例⼦:/home/test.py -a 'hehe'
有⼀点需要注意的是,我们的command只能是那种在终端运⾏的进程,不能是
守护进程。这个想想也知道了,⽐如说command=service httpd start。
httpd这个进程被linux的service管理了,我们的supervisor再去启动这个命令
这已经不是严格意义的⼦进程了。
这个是个必须设置的项
;process_name=%(program_name)s ; 这个是进程名,如果我们下⾯的numprocs参数为1的话,就不⽤管这个参数了,它默认值%(program_name)s也就是上⾯的那个program冒号后⾯的名字,
但是如果numprocs为多个的话,那就不能这么⼲了。想想也知道,不可能每个
进程都⽤同⼀个进程名吧。
;numprocs=1 ; 启动进程的数⽬。当不为1时,就是进程池的概念,注意process_name的设置
默认为1 。。⾮必须设置
;directory=/tmp ; 进程运⾏前,会前切换到这个⽬录
默认不设置。。。⾮必须设置
;umask=022 ; 进程掩码,默认none,⾮必须
;priority=999 ; ⼦进程启动关闭优先级,优先级低的,最先启动,关闭的时候最后关闭
默认值为999 。。⾮必须设置
;autostart=true ; 如果是true的话,⼦进程将在supervisord启动后被⾃动启动
默认就是true 。。⾮必须设置
;autorestart=unexpected ; 这个是设置⼦进程挂掉后⾃动重启的情况,有三个选项,false,unexpected
和true。如果为false的时候,⽆论什么情况下,都不会被重新启动,
如果为unexpected,只有当进程的退出码不在下⾯的exitcodes⾥⾯定义的退
出码的时候,才会被⾃动重启。当为true的时候,只要⼦进程挂掉,将会被⽆
条件的重启
;startsecs=1 ; 这个选项是⼦进程启动多少秒之后,此时状态如果是running,则我们认为启
动成功了
默认值为1 。。⾮必须设置
;startretries=3 ; 当进程启动失败后,最⼤尝试启动的次数。。当超过3次后,supervisor将把
此进程的状态置为FAIL
默认值为3 。。⾮必须设置
;exitcodes=0,2 ; 注意和上⾯的的autorestart=unexpected对应。。exitcodes⾥⾯的定义的
退出码是expected的。
;stopsignal=QUIT ; 进程停⽌信号,可以为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号
默认为TERM 。。当⽤设定的信号去⼲掉进程,退出码会被认为是expected
⾮必须设置
;stopwaitsecs=10 ; 这个是当我们向⼦进程发送stopsignal信号后,到系统返回信息
给supervisord,所等待的最⼤时间。超过这个时间,supervisord会向该
⼦进程发送⼀个强制kill的信号。
默认为10秒。。⾮必须设置
;stopasgroup=false ; 这个东西主要⽤于,supervisord管理的⼦进程,这个⼦进程本⾝还有
⼦进程。那么我们如果仅仅⼲掉supervisord的⼦进程的话,⼦进程的⼦进程
有可能会变成孤⼉进程。所以咱们可以设置可个选项,把整个该⼦进程的
整个进程组都⼲掉。设置为true的话,⼀般killasgroup也会被设置为true。
需要注意的是,该选项发送的是stop信号
默认为false。。⾮必须设置。。
;
killasgroup=false ; 这个和上⾯的stopasgroup类似,不过发送的是kill信号
;user=chrism ; 如果supervisord是root启动,我们在这⾥设置这个⾮root⽤户,可以⽤来
管理该program
默认不设置。。。⾮必须设置项
;redirect_stderr=true ; 如果为true,则stderr的⽇志会被写⼊stdout⽇志⽂件中
默认为false,⾮必须设置
;stdout_logfile=/a/path ; ⼦进程的stdout的⽇志路径,可以指定路径,AUTO,none等三个选项。
设置为none的话,将没有⽇志产⽣。设置为AUTO的话,将随机⼀个地⽅
⽣成⽇志⽂件,⽽且当supervisord重新启动的时候,以前的⽇志⽂件会被
清空。当 redirect_stderr=true的时候,sterr也会写进这个⽇志⽂件
;stdout_logfile_maxbytes=1MB ; ⽇志⽂件最⼤⼤⼩,和[supervisord]中定义的⼀样。默认为50
;
stdout_logfile_backups=10 ; 和[supervisord]定义的⼀样。默认10
;stdout_capture_maxbytes=1MB ; 这个东西是设定capture管道的⼤⼩,当值不为0的时候,⼦进程可以从stdout 发送信息,⽽supervisor可以根据信息,发送相应的event。
默认为0,为0的时候表达关闭管道。。。⾮必须项
;stdout_events_enabled=false ; 当设置为ture的时候,当⼦进程由stdout向⽂件描述符中写⽇志的时候,将
触发supervisord发送PROCESS_LOG_STDOUT类型的event
默认为false。。。⾮必须设置
;stderr_logfile=/a/path ; 这个东西是设置stderr写的⽇志路径,当redirect_stderr=true。这个就不⽤
设置了,设置了也是⽩搭。因为它会被写⼊stdout_logfile的同⼀个⽂件中
默认为AUTO,也就是随便个地存,supervisord重启被清空。。⾮必须设置
;
stderr_logfile_maxbytes=1MB ; 这个出现好⼏次了,就不重复了
;stderr_logfile_backups=10 ; 这个也是
;stderr_capture_maxbytes=1MB ; 这个⼀样,和stdout_capture⼀样。默认为0,关闭状态
;stderr_events_enabled=false ; 这个也是⼀样,默认为false
;environment=A="1",B="2" ; 这个是该⼦进程的环境变量,和别的⼦进程是不共享的
;serverurl=AUTO ;
; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.
;[eventlistener:theeventlistenername] ;这个东西其实和program的地位是⼀样的,也是suopervisor启动的⼦进
程,不过它⼲的活是订阅supervisord发送的event。他的名字就叫
listener了。我们可以在listener⾥⾯做⼀系列处理,⽐如报警等等
楼主这两天⼲的活,就是弄的这玩意
;command=/bin/eventlistener ; 这个和上⾯的program⼀样,表⽰listener的可执⾏⽂件的路径
;process_name=%(program_name)s ; 这个也⼀样,进程名,当下⾯的numprocs为多个的时候,才需要。否则默认就 OK了
;numprocs=1 ; 相同的listener启动的个数
;events=EVENT ; event事件的类型,也就是说,只有写在这个地⽅的事件类型。才会被发送
;buffer_size=10 ; 这个是event队列缓存⼤⼩,单位不太清楚,楼主猜测应该是个吧。当buffer
超过10的时候,最旧的event将会被清除,并把新的event放进去。
默认值为10。。⾮必须选项
;directory=/tmp ; 进程执⾏前,会切换到这个⽬录下执⾏
默认为不切换。。。⾮必须
;umask=022 ; 淹没,默认为none,不说了
;priority=-1 ; 启动优先级,默认-1,也不扯了
;autostart=true ; 是否随supervisord启动⼀起启动,默认true
;autorestart=unexpected ; 是否⾃动重启,和program⼀个样,分true,false,unexpected等,注意
unexpected和exitcodes的关系
;startsecs=1 ; 也是⼀样,进程启动后跑了⼏秒钟,才被认定为成功启动,默认1
;startretries=3 ; 失败最⼤尝试次数,默认3
;exitcodes=0,2 ; 期望或者说预料中的进程退出码,
;
stopsignal=QUIT ; ⼲掉进程的信号,默认为TERM,⽐如设置为QUIT,那么如果QUIT来⼲这个进程
那么会被认为是正常维护,退出码也被认为是expected中的
;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false ; send stop signal to the UNIX process group (default false)
;killasgroup=false ; SIGKILL the UNIX process group (def false)
;user=chrism ;设置普通⽤户,可以⽤来管理该listener进程。
默认为空。。⾮必须设置
;redirect_stderr=true ; 为true的话,stderr的log会并⼊stdout的log⾥⾯
默认为false。。。⾮必须设置
;stdout_logfile=/a/path ; 这个不说了,好⼏遍了
;stdout_logfile_maxbytes=1MB ; 这个也是
;stdout_logfile_backups=10 ; 这个也是
;stdout_events_enabled=false ; 这个其实是错的,listener是不能发送event
;stderr_logfile=/a/path ; 这个也是
;stderr_logfile_maxbytes=1MB ; 这个也是
;stderr_logfile_backups ; 这个不说了
;stderr_events_enabled=false ; 这个也是错的,listener不能发送event
;environment=A="1",B="2" ; 这个是该⼦进程的环境变量
默认为空。。。⾮必须设置
;serverurl=AUTO ; override serverurl computation (childutils)
; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
;
process groups.
;[group:thegroupname] ;这个东西就是给programs分组,划分到组⾥⾯的program。我们就不⽤⼀个⼀个去操作了我们可以对组名进⾏统⼀的操作。注意:program被划分到组⾥⾯之后,就相当于原来
的配置从supervisor的配置⽂件⾥消失了。。。supervisor只会对组进⾏管理,⽽不再
会对组⾥⾯的单个program进⾏管理了
;programs=progname1,progname2 ; 组成员,⽤逗号分开
这个是个必须的设置项
;priority=999 ; 优先级,相对于组和组之间说的
默认999。。⾮必须选项
; The [include] section can just contain the "files" setting. This
; setting can list multiple files (separated by whitespace or
; newlines). It can also contain wildcards. The filenames are
; interpreted as relative to this file. Included files *cannot*
; include files themselves.
;[include] ;这个东西挺有⽤的,当我们要管理的进程很多的时候,写在⼀个⽂件⾥⾯
就有点⼤了。我们可以把配置信息写到多个⽂件中,然后include过来
;files = relative/directory/*.ini
⾯提到的⾮必须设置项,⼀般来说,都是有默认值的,可以根据⾃⼰的需要去设置。。。如果不设置的,supervisor也能⽤起来
supervisorctl 命令介绍
# 停⽌某⼀个进程,program_name 为 [program:x] ⾥的 x
supervisorctl stop program_name
# 启动某个进程
supervisorctl start program_name
# 重启某个进程
supervisorctl restart program_name
# 结束所有属于名为 groupworker 这个分组的进程 (start,restart 同理)
supervisorctl stop groupworker:
# 结束 groupworker:name1 这个进程 (start,restart 同理)
supervisorctl stop groupworker:name1
# 停⽌全部进程,注:start、restart、stop 都不会载⼊最新的配置⽂件
supervisorctl stop all
# 载⼊最新的配置⽂件,停⽌原有进程并按新的配置启动、管理所有进程
supervisorctl reload
# 根据最新的配置⽂件,启动新配置或有改动的进程,配置没有改动的进程不会受影响⽽重启
supervisorctl update
supervisor⼿动启动:
$ supervisord -c /f
supervisor⼿动关闭:
$ supervisorctl stop all 先关闭supervisor启动脚本,之后再关闭supervisord服务
注意配置⽂件要改的地⽅
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论