(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010620421.X
(22)申请日 2020.06.30
(71)申请人 武汉大学
地址 430072 湖北省武汉市武昌区珞珈山
武汉大学
(72)发明人 余磊　付婧祎　杨文　叶琪霖　
(74)专利代理机构 武汉科皓知识产权代理事务
所(特殊普通合伙) 42222
代理人 严彦
(51)Int.Cl.
G06T  7/20(2017.01)
G06T  5/00(2006.01)
G06T  7/269(2017.01)
H04N  5/238(2006.01)
G06F  17/18(2006.01)
G06F  17/16(2006.01)
(54)发明名称一种利用IMU增强的事件相机光流估计方法及系统(57)摘要本发明提供一种利用IMU增强的事件相机光流估计方法及系统，首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流。本发明适于应用的场景分包括单独背景运动或前景物体一致运动的运动一致场景，以及背景与前景
的运动方向和大小不同的混合运动场景。权利要求书2页  说明书8页  附图2页CN 111798485 A 2020.10.20
C N  111798485
A
1.一种利用IMU增强的事件相机光流估计方法，其特征在于：首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流。
2.根据权利要求1所述利用IMU增强的事件相机光流估计方法，其特征在于：建立基础光流模型的实现方式包括以下步骤，
步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I(f)：
其中，E i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分；
步骤1.2，基于亮度恒定假设的光流公式，得到光流计算的表达式如下，
其中，δ是狄拉克函数，v为待求光流，表示求空间梯度，c是相机激发事件点的阈值，p 为相机激发事件点的极性，t e为相机激发事件点的时刻；
简化表示为，
A·v＝b+ε1
其中，变量ε1表示EDI模型估计光流的误差项。
3.根据权利要求2所述利用IMU增强的事件相机光流估计方法，其特征在于：将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计，实现方式包括以下步骤，
步骤2.1，事件相机运动过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；通过线性插值，
得到任意事件点e j的变换矩阵t j表示该事件点的时间戳；
步骤2.2，每个事件点都带有坐标信息，将事件点e j的原始像素坐标表示为x j，运动补偿后的像素坐标表示为x j′，根据相机投影模型π(.)和事件点e j的深度信息Z(x j)，得到运动补偿后的事件点像素坐标：
步骤2.3，已知原始像素坐标x j和时间间隔Δt，则用IMU和事件点估计光流，
v＝m+ε2    (9)
其中，变量ε2表示IMU运动补偿模型估计光流的误差项；
步骤2.4，将IMU作为约束引入EDI模型中来估计光流，利用最小二乘法写出代价函数，
其中，||.||2表示矩阵的l2范数，λ1表示IMU约束的权重系数；
步骤2.5，设光流值v*＝argminf(v)，通过二乘法得到估计结果：
v*＝(A T A+λ1E)-1(A T b+λ1m)
其中，E表示单位矩阵。
4.根据权利要求2所述利用IMU增强的事件相机光流估计方法，其特征在于：当出现混合运动场景时，处理方式包括以下步骤，
步骤3.1，通过鲁棒性主成分分析法(Robust PCA)，可以将图像矩阵表示为背景矩阵L 和前景稀疏矩阵S，得到凸优化问题：
其中，||.||*表示矩阵的核范数，||.||1表示矩阵的l1范数，λ2为正则化参数，用来调节稀疏矩阵的权重；
步骤3.2，将前景光流v f加入稀疏项约束，而背景光流v b加入IMU约束，得到：
v＝v b+v f
参考运动一致场景，得到加入前景光流稀疏项约束的代价函数，
步骤3.3，得到优化问题min v f(v f,v b)，采用交替迭代更新的方法，联合估计背景和前景的光流；
步骤3.4，交替迭代更新至迭代收敛后，将前景光流和背景光流相加，得到混合运动场景下的连续光流。
5.根据权利要求4所述利用IMU增强的事件相机光流估计方法，其特征在于：步骤3.3中联合估计背景和前景的光流的实现方式为，
正则化项鲁棒性
若固定前景光流v f，通过下式求解背景光流v b：
v b＝(A T A+λ1E)-1[A T(b-A·v f)+λ1m]
得到背景光流v b后，固定v b，更新前景光流v f，得到以下优化问题：
其中变量变量b′＝b-A·v b。
应用ISTA方法，迭代求解该优化问题，通过不断的迭代更新直至收敛，最终求解得到前景光流v f。
6.一种利用IMU增强的事件相机光流估计方法，其特征在于：用于执行如权利要求1至5所述利用IMU增强的事件相机光流估计系统。
一种利用IMU增强的事件相机光流估计方法及系统
技术领域
[0001]本发明属于图像处理领域，特别涉及高动态范围和高速运动场景下的连续光流估计技术方案。
背景技术
[0002]在计算机视觉领域中，光流(Optical Flow)估计一直是一个核心技术问题，在导航、运动分割、跟踪以及图像配准等应用中起到重要作用。事件相机是一种新型的仿生传感器，如附图1所示，该相机具有独立的像素，这些像素只在光强变化发生时异步地产生一系列脉冲，称为“事件”，每个事件由亮度变化像素点的时空坐标及其正负极性组成。由于事件相机以场景动态变化的速率采样得到事件，与传统光学相机相比，具有几大优势：高时间分辨率，低时延，高动态范围(High Dynamic Range，HDR)以及低
功耗和低带宽。基于以上这些优点，事件相机能够很好地捕捉运动，因此可以解决光流估计中由于传统相机限制所导致的问题。
[0003]目前较新的事件相机比如DAVIS(Dynamic and Active-pixel Vision Sensor，主动像素视觉传感器)，带有IMU(Inertial Measurement Unit，惯性测量单元)模块，IMU可以测量三轴的线加速度和角速度，常常用来获取相机的三维运动信息，在SLAM(Simultaneous Localization and Mapping，同时定位与地图构建)、导航等应用中用来自身定位，且能做到与事件点和亮度图像的时间同步。由于事件相机输出事件流易受噪声等因素的影响，使事件点点轨迹出现偏差，而IMU数据包含的相机运动信息与事件点的点轨迹有着密切的关系，通过IMU获取相机运动后可以反推事件点的运动轨迹。因此，可以使用IMU对事件点进行运动补偿，也就可以以此得到事件点速度信息，即光流。
[0004]但是通常情况下，少量的IMU携带的信息过少，目前尚未有合适的技术方案出现。
发明内容
[0005]为了充分发挥事件相机在光流估计领域中的优势，利用事件相机的特性设计出更加高效且适用的光流估计方法，本发明提供了一种引入IMU约束和稀疏约束的连续光流估计方案，应用场景分别为单独背景运动或前景物体一致运动的运动一致场景和背景与前景的运动方向和大小不同的混合运动场景。
[0006]本发明所采用的技术方案提供一种利用IMU增强的事件相机光流估计方法，首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流。[0007]而且，建立基础光流模型的实现方式包括以下步骤，
[0008]步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，
用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I (f)：
[0009]
[0010]其中，E i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分；[0011]步骤1.2，基于亮度恒定假设的光流公式，得到光流计算的表达式如下，
[0012]
[0013]其中，δ是狄拉克函数，v为待求光流，表示求空间梯度，c是相机激发事件点的阈值，p为相机激发事件点的极性，t e为相机激发事件点的时刻；
[0014]简化表示为，
[0015]A·v＝b+ε1
[0016]其中，变量ε1表示EDI模型估计光流的误差
项。
[0017]而且，将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计，实现方式包括以下步骤，
[0018]步骤2.1，事件相机运动过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；通过线性
插值，得到任意事件点e j的变换矩阵t j表示该事件点的时间戳；
[0019]步骤2.2，每个事件点都带有坐标信息，将事件点e j的原始像素坐标表示为x j，运动补偿后的像素坐标表示为x j′，根据相机投影模型π(.)和事件点e j的深度信息Z(x j)，得到运动补偿后的事件点像素坐标：
[0020]
[0021]步骤2.3，已知原始像素坐标x j和时间间隔Δt，则用IMU和事件点估计光流，[0022]v＝m+ε2  (9)
[0023]其中，变量ε2表示IMU运动补偿模型估计光流的误差项；
[0024]步骤2.4，将IMU作为约束引入EDI模型中来估计光流，利用最小二乘法写出代价函数，
[0025]
[0026]其中，||.||2表示矩阵的l2范数，λ1表示IMU约束的权重系数；
[0027]步骤2.5，设光流值v*＝argminf(v)，通过二乘法得到估计结果：
[0028]v*＝(A T A+λ1E)-1(A T b+λ1m)
[0029]其中，E表示单位矩阵。
[0030]而且，当出现混合运动场景时，处理方式包括以下步骤，
[0031]步骤3.1，通过鲁棒性主成分分析法(RobustPCA)，可以将图像矩阵表示为背景矩

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。