python多进程多线程⾯试题_pythonIO密集型任务、计算密集
型任务如何选择使⽤多线。。。
IO密集型任务 VS 计算密集型任务所谓IO密集型任务，是指磁盘IO、⽹络IO占主要的任务，计算量很⼩。⽐如请求⽹页、读写⽂件等。当然我们在Python中可以利⽤sleep达到IO密集型任务的⽬的。
所谓计算密集型任务，是指CPU计算占主要的任务，CPU⼀直处于满负荷状态。⽐如在⼀个很⼤的列表中查元素(当然这不合理)，复杂的加减乘除等。
多线程 VS 多进程
Python中⽐较常见的并发⽅式主要有两种：多线程和多进程。当然还有协程，这⾥不做介绍。
1、多线程
多线程即在⼀个进程中启动多个线程执⾏任务。⼀般来说使⽤多线程可以达到并⾏的⽬的，但由于Python中使⽤了全局解释锁GIL的概念，导致Python中的多线程并不是并⾏执⾏，⽽是“交替执⾏”。类似于下图：(图⽚转⾃⽹络，侵删)
所以Python中的多线程适合IO密集型任务，⽽不适合计算密集型任务。
Python提供两组多线程接⼝，⼀是thread模块_thread，提供低等级接⼝。⼆是threading模块，提供更容易使⽤的基于对象的接⼝，可以继承Thread对象来实现线程，此外其还提供了其它线程相关的对象，例如Timer，Lock等。
2、多进程
由于Python中GIL的原因，对于计算密集型任务，Python下⽐较好的并⾏⽅式是使⽤多进程，这样可以⾮常有效的使⽤CPU资源。当然同⼀时间执⾏的进程数量取决你电脑的CPU核⼼数。
Python中的进程模块为mutliprocess模块，提供了很多容易使⽤的基于对象的接⼝。另外它提供了封装好的管道和队列，可以⽅便的在进程间传递消息。Python还提供了进程池Pool对象，可以⽅便的管理和控制线程。
代码测试：# _*_ coding:utf-8
from __future__ import unicode_literals
__author__ = 'chenxinming'
__date__ = '2018/6/27 0027 11:52'
import multiprocessing
import threading
import time
queue = multiprocessing.Queue()
def init_queue():
print('初始化queue')
while pty():
<()
for _index in range(10):
queue.put(_index)
print ('初始化queue结束')
# 定义⼀个io密集型任务 利⽤time.sleep()
def task_io(task_id, queue=queue):
print (pty())
print ('io密集型:{} 开始'.format(task_id))
while pty():
time.sleep(1)
try:
data = (block=True, timeout=1)
print ('io密集型任务:{} 得到数据:{}'.format(task_id, data)) except Exception as e:
print ('io密集型任务:{} 错误:{}'.format(task_id, str(e)))
print ('io密集型任务:{} 结束'.format(task_id))
return
g_search_list = list(range(10000))
# 定义⼀个计算密集型任务，利⽤⼀些复杂加减乘除、列表查等def task_cpu(task_id):
print ('CPU计算密集任务：{} 开始'.format(task_id))
while pty():
count = 0
for i in range(10000):
count += pow(3 * 2, 3 * 2) if i in g_search_list else 0
try:
data = (block=True, timeout=1)
print ('CPU计算密集任务: {} 得到数据:{}'.format(task_id, data)) except Exception as e:
print ('CPU计算密集任务:{} 错误：{}'.format(task_id, str(e))) print ('CPU计算密集任务:{} 结束'.format(task_id))
return task_id
if __name__ == '__main__':
print ('cpu 数量', multiprocessing.cpu_count(), '\n')
print("========== 直接执⾏IO密集型任务 ==========") init_queue()
time_0 = time.time()一个线程可以包含多个进程
task_io(0)
print("结束：", time.time() - time_0, "\n")
print("========== 多线程执⾏IO密集型任务 ==========")
init_queue()
time_0 = time.time()
thread_list = [threading.Thread(target=task_io, args=(i,)) for i in range(5)]
for t in thread_list:
t.start()
for t in thread_list:
if t.is_alive():
t.join()
print("结束：", time.time() - time_0, "\n")
print("========== 多进程执⾏IO密集型任务 ==========")
init_queue()
time_0 = time.time()
process_list = [multiprocessing.Process(target=task_io, args=(i,)) for i in range(multiprocessing.cpu_count())] for p in process_list:
p.start()
for p in process_list:
if p.is_alive():
p.join()
print("结束：", time.time() - time_0, "\n")
print("========== 直接执⾏CPU密集型任务 ==========")
init_queue()
time_0 = time.time()
task_cpu(0)
print("结束：", time.time() - time_0, "\n")
print("========== 多线程执⾏CPU密集型任务 ==========")
init_queue()
time_0 = time.time()
thread_list = [threading.Thread(target=task_cpu, args=(i,)) for i in range(5)]
for t in thread_list:
t.start()
for t in thread_list:
if t.is_alive():
t.join()
print("结束：", time.time() - time_0, "\n")
print("========== 多进程执⾏cpu密集型任务 ==========")
init_queue()
time_0 = time.time()
process_list = [multiprocessing.Process(target=task_cpu, args=(i,)) for i in range(multiprocessing.cpu_count())] for p in process_list:
p.start()
for p in process_list:
if p.is_alive():
p.join()
print("结束：", time.time() - time_0, "\n")
对于IO密集型任务：
直接执⾏⽤时：10.0333秒
多线程执⾏⽤时：4.0156秒
多进程执⾏⽤时：5.0182秒
说明多线程适合IO密集型任务。
对于计算密集型任务
直接执⾏⽤时：10.0273秒
多线程执⾏⽤时：13.247秒
多进程执⾏⽤时：6.8377秒
说明多进程适合计算密集型任务

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。