进程间通信效率最高的方式是Python3进程间通信-4种队列⽅式
queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。下⾯我们对 queue 模块进⾏⼀个详细的使⽤介绍。
1 queue 模块定义的类和异常
queue 模块定义了以下四种不同类型的队列,它们之间的区别在于数据⼊队列之后出队列的顺序不同。
1.1 queue.Queue(maxsize=0)
先进先出(First In First Out: FIFO)队列,最早进⼊队列的数据拥有出队列的优先权,就像看电影⼊场时排队⼀样,排在队伍前头的优先进⼊电影院。
⼊参 maxsize 是⼀个整数,⽤于设置队列的最⼤长度。⼀旦队列达到上限,插⼊数据将会被阻塞,直到有数据出队列之后才可以继续插⼊。如果 maxsize 设置为⼩于或等于零,则队列的长度没有限制。
⽰例如下:
import queue
q = queue.Queue() # 创建 Queue 队列
for i in range(3):
q.put(i) # 在队列中依次插⼊0、1、2元素
for i in range(3):
()) # 依次从队列中取出插⼊的元素,数据元素输出顺序为0、1、2
1.2 queue.LifoQueue(maxsize=0)
后进先出(Last In First Out: LIFO)队列,最后进⼊队列的数据拥有出队列的优先权,就像栈⼀样。
⼊参 maxsize 与先进先出队列的定义⼀样。
⽰例如下:
import queue
q = queue.LifoQueue() # 创建 LifoQueue 队列
for i in range(3):
q.put(i) # 在队列中依次插⼊0、1、2元素
for i in range(3):
()) # 依次从队列中取出插⼊的元素,数据元素输出顺序为2、1、0
1.3 PriorityQueue(maxsize=0)
优先级队列,⽐较队列中每个数据的⼤⼩,值最⼩的数据拥有出队列的优先权。数据⼀般以元组的形式插⼊,典型形式为(priority_number, data)。如果队列中的数据没有可⽐性,那么数据将被包装在⼀个类中,忽略数据值,仅仅⽐较优先级数字。
⼊参 maxsize 与先进先出队列的定义⼀样。
⽰例如下:
import queue
q = queue.PriorityQueue() # 创建 PriorityQueue 队列
data1 = (1, 'python')
data2 = (2, '-')
data3 = (3, '100')
style = (data2, data3, data1)
for i in style:
q.put(i) # 在队列中依次插⼊元素 data2、data3、data1
for i in range(3):
()) # 依次从队列中取出插⼊的元素,数据元素输出顺序为 data1、data2、data3
1.4 queue.SimpleQueue
先进先出类型的简单队列,没有⼤⼩限制。由于它是简单队列,相⽐于 Queue 队列会缺少⼀些⾼级功能,下⾯第2-3⼩节将会介绍。
⽰例如下:
import queue
q = queue.SimpleQueue() # 创建 SimpleQueue 队列
for i in range(3):
q.put(i) # 在队列中依次插⼊0、1、2元素
for i in range(3):
()) # 依次从队列中取出插⼊的元素,数据元素输出顺序为0、1、2
1.5 queue.Empty 异常
当队列中没有数据元素时,取出队列中的数据会引发 queue.Empty 异常,主要是不正当使⽤ get() 和 get_nowait() 引起的。
⽰例如下:
import queue
try:
q = queue.Queue(3) # 设置队列上限为3
q.put('python') # 在队列中插⼊字符串 'python'
q.put('-') # 在队列中插⼊字符串 '-'
q.put('100') # 在队列中插⼊字符串 '100'
for i in range(4): # 从队列中取数据,取出次数为4次,引发 queue.Empty 异常
(block=False))
except queue.Empty:
print('queue.Empty')
1.6 queue.Full 异常
当队列数据元素容量达到上限时,继续往队列中放⼊数据会引发 queue.Empty 异常,主要是不正当使⽤ put() 和 put_nowait() 引起的。
⽰例如下:
import queue
try:
q = queue.Queue(3) # 设置队列上限为3
q.put('python') # 在队列中插⼊字符串 'python'
q.put('-') # 在队列中插⼊字符串 '-'
q.put('100') # 在队列中插⼊字符串 '100'
q.put('stay hungry, stay foolish', block=False) # 队列已满,继续往队列中放⼊数据,引发 queue.Full 异常
except queue.Full:
print('queue.Full')
2 Queue、LifoQueue、PriorityQueue 和 SimpleQueue 对象的基本使⽤⽅法
Queue、LifoQueue、PriorityQueue 和 SimpleQueue 四种队列定义的对象均提供了以下函数使⽤⽅法,下⾯以 Queue 队列为例进⾏介绍。
2.1 Queue.qsize()
返回队列中数据元素的个数。
⽰例如下:
import queue
q = queue.Queue()
q.put('python-100') # 在队列中插⼊元素 'python-100'
print(q.qsize()) # 输出队列中元素个数为1
2.pty()
如果队列为空,返回 True,否则返回 False。
⽰例如下:
import queue
q = queue.Queue()
pty()) # 对列为空,返回 True
q.put('python-100') # 在队列中插⼊元素 'python-100'
pty()) # 对列不为空,返回 False
2.3 Queue.full()
如果队列中元素个数达到上限,返回 True,否则返回 False。
⽰例如下:
import queue
q = queue.Queue(3) # 定义⼀个长度为3的队列
print(q.full()) # 元素个数未达到上限,返回 False
q.put('python') # 在队列中插⼊字符串 'python'
q.put('-') # 在队列中插⼊字符串 '-'
q.put('100') # 在队列中插⼊字符串 '100'
print(q.full()) # 元素个数达到上限,返回 True
2.4 Queue.put(item, block=True, timeout=None)
item,放⼊队列中的数据元素。
block,当队列中元素个数达到上限继续往⾥放数据时:如果 block=False,直接引发 queue.Full 异常;如果 block=True,且
timeout=None,则⼀直等待直到有数据出队列后可以放⼊数据;如果 block=True,且 timeout=N,N 为某⼀正整数时,则等待 N 秒,
如果队列中还没有位置放⼊数据就引发 queue.Full 异常。
timeout,设置超时时间。
⽰例如下:
import queue
try:
q = queue.Queue(2) # 设置队列上限为2
q.put('python') # 在队列中插⼊字符串 'python'
q.put('-') # 在队列中插⼊字符串 '-'
q.put('100', block = True, timeout = 5) # 队列已满,继续在队列中插⼊字符串 '100',等待5秒后会引发 queue.Full 异常
except queue.Full:
print('queue.Full')
2.5 Queue.put_nowait(item)
相当于 Queue.put(item, block=False),当队列中元素个数达到上限继续往⾥放数据时直接引发 queue.Full 异常。
import queue
try:
q = queue.Queue(2) # 设置队列上限为2
q.put_nowait('python') # 在队列中插⼊字符串 'python'
q.put_nowait('-') # 在队列中插⼊字符串 '-'
q.put_nowait('100') # 队列已满,继续在队列中插⼊字符串 '100',直接引发 queue.Full 异常
except queue.Full:
print('queue.Full')
2.(block=True, timeout=None)
从队列中取出数据并返回该数据内容。
block,当队列中没有数据元素继续取数据时:如果 block=False,直接引发 queue.Empty 异常;如果 block=True,且
timeout=None,则⼀直等待直到有数据⼊队列后可以取出数据;如果 block=True,且 timeout=N,N 为某⼀正整数时,则等待 N 秒,如果队列中还没有数据放⼊的话就引发 queue.Empty 异常。
timeout,设置超时时间。
⽰例如下:
import queue
try:
q = queue.Queue()
<(block = True, timeout = 5) # 队列为空,往队列中取数据时,等待5秒后会引发 queue.Empty 异常
except queue.Empty:
print('queue.Empty')
2._nowait()
相当于 (block=False)block,当队列中没有数据元素继续取数据时直接引发 queue.Empty 异常。
⽰例如下:
import queue
try:
q = queue.Queue()
<_nowait() # 队列为空,往队列中取数据时直接引发 queue.Empty 异常
except queue.Empty:
print('queue.Empty')
3 Queue、LifoQueue 和 PriorityQueue 对象的⾼级使⽤⽅法
SimpleQueue 是 Python 3.7 版本中新加⼊的特性,与 Queue、LifoQueue 和 PriorityQueue 三种队列相⽐缺少了 task_done 和 join 的⾼级使⽤⽅法,所以才会取名叫 Simple 了,下⾯介绍⼀下 task_done 和 join 的使⽤⽅法。
task_done,表⽰队列内的数据元素已经被取出,即每个 get ⽤于获取⼀个数据元素,后续调⽤ task_done 告诉队列,该数据的处理已经完成。如果被调⽤的次数多于放⼊队列中的元素个数,将引发 ValueError 异常。
join,⼀直阻塞直到队列中的所有数据元素都被取出和执⾏,只要有元素添加到 queue 中就会增加。当未完成任务的计数等于0,join 就不会阻塞。
⽰例如下:
import queue
q = queue.Queue()
q.put('python')
q.put('-')
q.put('100')
for i in range(3):
())
q.task_done() # 如果不执⾏ task_done,join 会⼀直处于阻塞状态,等待 task_done 告知它数据的处理已经完成
q.join()
下⾯是⼀个经典⽰例,⽣产者和消费者线程分别⽣产数据和消费数据,先⽣产后消费。采⽤ task_done 和 join 确保处理信息在多个线程间安全交换,⽣产者⽣产的数据能够全部被消费者消费掉。
from queue import Queue
import random
import threading
import time
#⽣产者线程
class Producer(threading.Thread):
def __init__(self, t_name, queue):
threading.Thread.__init__(self, name=t_name)
self.data=queue
def run(self):
for i in range(5):
print ("%s: %s is producing %d to the queue!" %(ime(), Name(), i))
self.data.put(i) # 将⽣产的数据放⼊队列
time.sleep(random.randrange(10)/5)
print ("%s: %s finished!" %(ime(), Name()))
#消费者线程
class Consumer(threading.Thread):
def __init__(self, t_name, queue):
threading.Thread.__init__(self, name=t_name)
self.data=queue
def run(self):
for i in range(5):
val = () # 拿出已经⽣产好的数据
print ("%s: %s is consuming. %d in the queue is consumed!" %(ime(), Name(), val))
time.sleep(random.randrange(5))
self.data.task_done() # 告诉队列有关这个数据的任务已经处理完成
print ("%s: %s finished!" %(ime(), Name()))
#主线程
def main():
queue = Queue()
producer = Producer('Pro.', queue)
consumer = Consumer('Con.', queue)
producer.start()
consumer.start()
queue.join() # 阻塞,直到⽣产者⽣产的数据全都被消费掉
producer.join() # 等待⽣产者线程结束
consumer.join() # 等待消费者线程结束
print ('All threads terminate!')
if __name__ == '__main__':
main()
4 总结
本节给⼤家介绍了 Python 的 queue 模块,为 Python ⼯程师对该模块的使⽤提供了⽀撑,让⼤家对 queue 模块的相关概念和使⽤有⼀个初步的了解。
参考资料
⽰例代码:
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论