OpenCV-Python教程：44.光流
光流是物体或者摄像头的运动导致的两个连续帧之间的图像对象的视觉运动的模式。它是⼀个向量场，每个向量是⼀个位移⽮量，显⽰了从第⼀帧到第⼆帧的点的移动。
它显⽰了⼀个球在5个连续帧⾥的移动。箭头显⽰了它的位移⽮量。光流在很多领域有应⽤：
·从移动构建
·视频压缩
·视频稳定
光流在很多假设下有效：
1.物体像素强度在连续帧之间不变化
1.邻居像素有相似运动
考虑第⼀帧⾥的⼀个像素I(x,y,t)（检查新的维度，时间，）。它在dt时间后的下⼀帧移动了(dx, dy)。所以因为那些像素都⼀样，强度也不变化。我可以认为，
然后对右边做泰勒级数近似。除以dt得到下⾯的等式：
其中：
上⾯的等式被叫做光流等式，我们可以到fx和fy，他们是图像梯度。类似的ft 是沿时间的梯度。但是(u, v)是未知的。我们⽆法解出这个等式。所以有⼀些⽅法来提供解决这个问题，其中⼀个是Lucas-Kanade
Lucas-Kanade ⽅法
我们看到了假设，就是所有邻居像素都有类似的运动，Lucas-Kanade ⽅法咏鹅⼀个3x3的块为在点周围。所以所有的9个点右相同的运动。我们可以到这9个点的(fx, fy, ft)。所以现在我们的问题变成解决两个未知量的9个等式。更好的解决⽅案是最⼩⼆乘拟合法。下⾯是最后的解决⽅案，两个等式-两个未知量。
⽤Harris⾓点检测来检查法逆矩阵的相似性。它表⽰⾓点是⽤来跟踪的更好的点。
所以从⽤户⾓度来看，想法很简单，我们给出⼀些点来跟踪，我们获得这些点的光流向量。但是还是有问题，知道现在，我们都是处理的⼩运动。所以有⼤的运动的时候会失败。再次我们⽤⾦字塔。当我们⽤⾦字塔时，⼩的运动被移除⽽⼤的运动变成⼩的运动。所以使⽤Lucas-Kanade，我们通过缩放得到光流。
OpenCV⾥的Lucas-Kanade光流
OpenCV通过函数cv2.calcOpticalFlowPyrLK()提供了所有这些。这⾥，我们创建⼀个简单的应⽤来跟踪视频⾥的⼀些点。我们⽤
import numpy as np
import cv2
cap = cv2.VideoCapture('slow.flv')
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
qualityLevel = 0.3,
minDistance = 7,
blockSize = 7 )
文山电力2021年最新消息
# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
maxLevel = 2,
criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
# Create some random colors
color = np.random.randint(0,255,(100,3))
# Take first frame and find corners in it
ret, old_frame = ad()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = dFeaturesToTrack(old_gray, mask = None, **feature_params)
# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)
while(1):
ret,frame = ad()
frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# calculate optical flow
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
# Select good points
good_new = p1[st==1]
good_old = p0[st==1]
# draw the tracks
for i,(new,old) in enumerate(zip(good_new,good_old)):
a,b = new.ravel()
c,d = old.ravel()
mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
img = cv2.add(frame,mask)
cv2.imshow('frame',img)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
# Now update the previous frame and previous points
old_gray = py()
p0 = shape(-1,1,2)
函数if多个条件cv2.destroyAllWindows()
这个代码不检查下⼀次的关键点是否正确，所以即使有些特征点在图像⾥消失了，光流仍然有可能到离它近的点作为下⼀次的点。所以实际上对于⼀个健壮的跟踪，⾓点应该在特定的间隔内被检测。
OpenCV⾥的密集光流
Lucas-Kanade⽅法计算稀疏特征集的光流（在我们的例⼦⾥，⾓点检测使⽤Shi-Tomasi算法）。OpenCV提供了另⼀个算法来密集光流。它计算帧⾥的所有点的光流。它基于Gunner Farneback的算法。
下⾯的例⼦展⽰了如何⽤上⾯的算法到密集光流。我们拿光流向量(u, v)的2通道数组。我们到它们的等级和⽅向。我们给结果上⾊，⽅向对应图像的⾊调值。
tcp三次握手的过程import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")
ret, frame1 = ad()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
iframe框架效果hsv[...,1] = 255
while(1):
ret, frame2 = ad()
next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)
flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
hsv[...,0] = ang*180/np.pi/2
hsv[...,2] = alize(mag,None,0,255,cv2.NORM_MINMAX)python入门教程视屏
rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
cv2.imshow('frame2',rgb)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
elif k == ord('s'):
cv2.imwrite('opticalfb.png',frame2)
cv2.imwrite('opticalhsv.png',rgb)
prvs = next
cv2.destroyAllWindows()
html添加动画结果：
END

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。