python多进程并发阻塞_python并发编程多进程（⼀）
⼀ 什么是进程
进程：正在进⾏的⼀个过程或者说⼀个任务。⽽负责执⾏任务则是cpu。
举例(单核+多道，实现多个进程的并发执⾏)：
爱根⼉⽼师在⼀个时间段内有很多任务要做：python备课的任务，写书的任务，交⼥朋友的任务，王者荣耀上分的任务，
但他同⼀时刻只能做⼀个任务(cpu同⼀时间只能⼲⼀个活)，如何才能玩出多个任务并发执⾏的效果？
爱根⼉⽼师备⼀会课，再去跟xxx的⼥朋友聊聊天，再去打⼀会王者荣耀....这就保证了每个任务都在进⾏中.
⼆ 进程与程序的区别
程序仅仅只是⼀堆代码⽽已，⽽进程指的是程序的运⾏过程。
举例：
想象⼀位有⼀⼿好厨艺的计算机科学家egoner正在为他的⼥⼉Sun_Day烘制⽣⽇蛋糕。
他有做⽣⽇蛋糕的⾷谱;
厨房⾥有所需的原料:⾯粉、鸡蛋、⾲菜，蒜泥等(蛋糕？？⾲菜盒⼦)。
在这个⽐喻中：
做蛋糕的⾷谱就是程序(即⽤适当形式描述的算法)
计算机科学家就是处理器(cpu)
⽽做蛋糕的各种原料就是输⼊数据。
进程就是厨师阅读⾷谱、取来各种原料以及烘制蛋糕等⼀系列动作的总和。
现在假设计算机科学家egoner的⼉⼦A哭着跑了进来，说：
”Dad I have stinged by 蜜蜂！ very 疼！“。
科学家egoner想了想，处理⼉⼦A蛰伤的任务⽐给⼥⼉Sun_Day做蛋糕的任务更重要，于是
计算机科学家就记录下他照着⾷谱做到哪⼉了(保存进程的当前状态)，然后拿出⼀本急救⼿册，按照其中的指⽰处理蛰伤。
这⾥，我们看到处理机从⼀个进程(做蛋糕)切换到另⼀个⾼优先级的进程(实施医疗救治)，每个进程拥有各⾃的程序(⾷谱和急救⼿册)。当蜜蜂蛰伤处理完之后，这位计算机科学家⼜回来做蛋糕，从他
离开时的那⼀步继续做下去。
需要强调的是：同⼀个程序执⾏两次，那也是两个进程，⽐如打开暴风影⾳，虽然都是同⼀个软件，但是⼀个可以播放苍井空，⼀个可以播放饭岛爱。
三 并发与并⾏
⽆论是并⾏还是并发，在⽤户看来都是'同时'运⾏的，不管是进程还是线程，都只是⼀个任务⽽已，真是⼲活的是cpu，cpu来做这些任务，⽽⼀个cpu同⼀时刻只能执⾏⼀个任务
1)并发：是伪并⾏，即看起来是同时运⾏。单个cpu+多道技术就可以实现并发，(并⾏也属于并发)
你是⼀个cpu，你同时谈了三个⼥朋友，每⼀个都可以是⼀个恋爱任务，你被这三个任务共享
要玩出并发恋爱的效果，
应该是你先跟⼥友1去看电影，看了⼀会说：不好，我要拉肚⼦，然后跑去跟第⼆个⼥友吃饭，吃了⼀会说：那啥，我去趟洗⼿间，然后跑去跟⼥友3开了个房
单cpu，多进程，并发举例
某天下午，egon，yuanhao，wupeiqi，alex约好了⼀起去piao娼，但娼只有⼀个，cpu只有⼀个，但是却要‘同时’⼲
四个任务(piao出并发的效果)，那就必须是⼲⼀会egon，再⼲⼀会yuanhao，再⼲⼀会wupeiqi，再⼲⼀会alex
egon：花了200块钱，因为⼈美活好
yuanhao：500块钱
wupeiqi：100块钱，可能是不太⾏
alex：没要钱，为啥因为⼤家刚刚piao的是他⼥朋友
单cpu，多进程，并发举例(慎点、、)
2)并⾏：同时运⾏，只有具备多个cpu才能实现并⾏
单核下，可以利⽤多道技术，多个核，每个核也都可以利⽤多道技术(多道技术是针对单核⽽⾔的)
有四个核，六个任务，这样同⼀时间有四个任务被执⾏，假设分别被分配给了cpu1，cpu2，cpu3，cpu4，
⼀旦任务1遇到I/O就被迫中断执⾏，此时任务5就拿到cpu1的时间⽚去执⾏，这就是单核下的多道技术
⽽⼀旦任务1的I/O结束了，操作系统会重新调⽤它(需知进程的调度、分配给哪个cpu运⾏，由操作系统说了算)，可能被分配给四个cpu中的任意⼀个去执⾏
所有现代计算机经常会在同⼀时间做很多件事，⼀个⽤户的PC(⽆论是单cpu还是多cpu)，都可以同时运⾏多个任务(⼀个任务可以理解为⼀个进程)。
启动⼀个进程来杀毒(360软件)
启动⼀个进程来看电影(暴风影⾳)
启动⼀个进程来聊天(腾讯QQ)
所有的这些进程都需被管理，于是⼀个⽀持多进程的多道程序系统是⾄关重要的
多道技术概念回顾：
内存中同时存⼊多道(多个)程序，cpu从⼀个进程快速切换到另外⼀个，使每个进程各⾃运⾏⼏⼗或⼏百毫秒；
这样，虽然在某⼀个瞬间，⼀个cpu只能执⾏⼀个任务，但在1秒内，cpu却可以运⾏多个进程，这就给⼈产⽣了并⾏的错觉，即伪并发，以此来区分多处理器操作系统的真正硬件并⾏(多个cpu共享同⼀个物理内存)
四 同步\异步&阻塞\⾮阻塞(重点)
同步：
#所谓同步，就是在发出⼀个功能调⽤时，在没有得到结果之前，该调⽤就不会返回(⼀下⼲到底？)。
# 按照这个定义，其实绝⼤多数函数都是同步调⽤。但是⼀般⽽⾔，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要⼀定时间完成的任务。#举例：#1. multiprocessing.Pool下的apply #发起同步调⽤后，就在原地等着任务结束，根本不考虑任务是在计算还是在IO阻塞，总之就是⼀股脑地等任务结束#2. concurrent.futures.ProcessPoolExecutor().submit(func,).result()#3.
concurrent.futures.ThreadPoolExecutor().submit(func,).result()
异步：
#异步的概念和同步相对。当⼀个异步功能调⽤发出后，调⽤者不能⽴刻得到结果。当该异步功能完成后，通过状态、通知或回调来通知调⽤者。#如果异步功能⽤状态来通知，那么调⽤者就需要每隔⼀定时间检查⼀次，效率就很低(有些初学多线程编程的⼈，总喜欢⽤⼀个循环去检查某个变量的值，这其实是⼀ 种很严重的错误)。#如果是使⽤通知的⽅式，效率则很⾼，因为异步功能⼏乎不需要做额外的操作。⾄于回调函数，其实和通知没太多区别。
#举例：#1. multiprocessing.Pool().apply_async() #发起异步调⽤后，并不会等待任务结束才返回，相反，会⽴即获取⼀个临时结果(并不是最终的结果，可能是封装好的⼀个对象)。#2. concurrent.futures.ProcessPoolExecutor(3).submit(func,)#3.
concurrent.futures.ThreadPoolExecutor(3).submit(func,)python生日蛋糕代码简单
阻塞：
#阻塞调⽤是指调⽤结果返回之前，当前线程会被挂起(如遇到io操作)。函数只有在得到结果之后才会将阻塞的线程激活。#有⼈也许会把阻塞调⽤和同步调⽤等同起来，实际上他是不同的。对于同步调⽤来
说，很多时候当前线程还是激活的，只是从逻辑上当前函数没有返回⽽已。#举例：#1. 同步调⽤：apply⼀个累计1亿次的任务，该调⽤会⼀直等待，直到任务返回结果为⽌，但并未阻塞住(即便是被抢⾛cpu的执⾏权限，那也是处于就绪态);#2. 阻塞调⽤：当socket⼯作在阻塞模式的时候，如果没有数据的情况下调⽤recv函数，则当前线程就会被挂起，直到有数据为⽌。
⾮阻塞：
#⾮阻塞和阻塞的概念相对应，指在不能⽴刻得到结果之前也会⽴刻返回，同时该函数不会阻塞当前线程。
⼩结：
#1. 同步与异步针对的是函数/任务的调⽤⽅式：同步就是当⼀个进程发起⼀个函数(任务)调⽤的时候，⼀直等到函数(任务)完成，⽽进程继续处于激活状态。
#⽽异步情况下是当⼀个进程发起⼀个函数(任务)调⽤的时候，不会等函数返回，⽽是继续往下执⾏当，函数返回的时候通过状态、通知、事件等⽅式通知进程任务完成。
#2. 阻塞与⾮阻塞针对的是进程或线程：阻塞是当请求不能满⾜的时候就将进程挂起，⽽⾮阻塞则不会阻塞当前进程
五 进程的创建(了解)
但凡是硬件，都需要有操作系统去管理，只要有操作系统，就有进程的概念，就需要有创建进程的⽅式，⼀些操作系统只为⼀个应⽤程序设计，⽐如微波炉中的控制器，⼀旦启动微波炉，所有的进程都已经存在。
⽽对于通⽤系统(跑很多应⽤程序)，需要有系统运⾏过程中创建或撤销进程的能⼒，主要分为4中形式创建新的进程
1. 系统初始化(查看进程linux中⽤ps命令，windows中⽤任务管理器，前台进程负责与⽤户交互，后台运⾏的进程与⽤户⽆关，运⾏在后台并且只在需要时才唤醒的进程，称为守护进程，如电⼦邮件、web页⾯、新闻、打印)
2. ⼀个进程在运⾏过程中开启了⼦进程(如nginx开启多进程，os.fork,subprocess.Popen等)
3. ⽤户的交互式请求，⽽创建⼀个新进程(如⽤户双击暴风影⾳)
4. ⼀个批处理作业的初始化(只在⼤型机的批处理系统中应⽤)
⽆论哪⼀种，新进程的创建都是由⼀个已经存在的进程执⾏了⼀个⽤于创建进程的系统调⽤⽽创建的：
1. 在UNIX中该系统调⽤是：fork，fork会创建⼀个与⽗进程⼀模⼀样的副本，⼆者有相同的存储映像、同样的环境字符串和同样的打开⽂件(在shell解释器进程中，执⾏⼀个命令就会创建⼀个⼦进程)
2. 在windows中该系统调⽤是：CreateProcess，CreateProcess既处理进程的创建，也负责把正确的程序装⼊新进程。
关于创建的⼦进程，UNIX和windows
1.相同的是：进程创建后，⽗进程和⼦进程有各⾃不同的地址空间(多道技术要求物理层⾯实现进程之间内存的隔离)，任何⼀个进程的在其地址空间中的修改都不会影响到另外⼀个进程。
2.不同的是：在UNIX中，⼦进程的初始地址空间是⽗进程的⼀个副本；提⽰：⼦进程和⽗进程是可以有只读的共享内存区的。但是对于windows系统来说，从⼀开始⽗进程与⼦进程的地址空间就是不同的。
六 进程的终⽌(了解)
1. 正常退出(⾃愿，如⽤户点击交互式页⾯的叉号，或程序执⾏完毕调⽤发起系统调⽤正常退出，在linux中⽤exit，在windows中⽤ExitProcess)
2. 出错退出(⾃愿，python a.py中a.py不存在)
3. 严重错误(⾮⾃愿，执⾏⾮法指令，如引⽤不存在的内存，1/0等，可以捕捉异常，pt...)
4. 被其他进程杀死(⾮⾃愿，如kill -9)
七 进程的层次结构
⽆论UNIX还是windows，进程只有⼀个⽗进程，不同的是：
1. 在UNIX中所有的进程，都是以init进程为根，组成树形结构。⽗⼦进程共同组成⼀个进程组，这样，当从键盘发出⼀个信号时，该信号被送给当前与键盘相关的进程组中的所有成员。
2. 在windows中，没有进程层次的概念，所有的进程都是地位相同的，唯⼀类似于进程层次的暗⽰，是在创建进程时，⽗进程得到⼀个特别的令牌(称为句柄)，该句柄可以⽤来控制⼦进程，但是⽗进程有权把该句柄传给其他⼦进程，这样就没有层次了。
⼋ 进程的状态
tail -f access.log |grep '404'
执⾏程序tail，开启⼀个⼦进程，执⾏程序grep，开启另外⼀个⼦进程，两个进程之间基于管道'|'通讯，将tail的结果作为grep的输⼊。
进程grep在等待输⼊(即I/O)时的状态称为阻塞，此时grep命令都⽆法运⾏
其实在两种情况下会导致⼀个进程在逻辑上不能运⾏，
1. 进程挂起是⾃⾝原因，遇到I/O阻塞，便要让出CPU让其他进程去执⾏，这样保证CPU⼀直在⼯作
2. 与进程⽆关，是操作系统层⾯，可能会因为⼀个进程占⽤时间过多，或者优先级等原因，⽽调⽤其他的进程去使⽤CPU。
因⽽⼀个进程由三种状态
九 进程并发的实现(了解)
进程并发的实现在于，硬件中断⼀个正在运⾏的进程，把此时进程运⾏的所有状态保存下来，为此，操作系统维护⼀张表格，即进程表(process table)，每个进程占⽤⼀个进程表项(这些表项也称为进程控制块)
该表存放了进程状态的重要信息：程序计数器、堆栈指针、内存分配状况、所有打开⽂件的状态、帐号和调度信息，以及其他在进程由运⾏态转为就绪态或阻塞态时，必须保存的信息，从⽽保证该进程在再次启动时，就像从未被中断过⼀样。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。