一、原理
摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标,则连续帧的变化很微弱,如果存在运动目标,则连续的帧和帧之间会有明显地变化。
帧间差分法(Temporal Difference)就是借鉴了上述思想。由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为运动目标,从而实现目标的检测功能。
两帧差分法的运算过程如图2-2所示。记视频序列中第n帧和第n−1帧图像为fn和fn−1,两帧对应像素点的灰度值记为fn(x,y)和fn−1(x , y),按照式2.13将两帧图像对应像素点的灰度值进行相减,并取其绝对值,得到差分图像Dn:
设定阈值T,按照式2.14逐个对像素点进行二值化处理,得到二值化图像Rn’。其中,灰度值为255的点即为前景(运动目标)点,灰度值为0的点即为背景点;对图像Rn’进行连通性分析,最终可得到含有完整运动目标的图像Rn。
二、三帧差分法
两帧差分法适用于目标运动较为缓慢的场景,当运动较快时,由于目标在相邻帧图像上的位置相差较大,两帧图像相减后并不能得到完整的运动目标,因此,人们在两帧差分法的基础上提出了三帧差分法。
三帧差分法的运算过程如图2-3所示。记视频序列中第n +1帧、第n帧和第n−1帧的图像分别为fn+1、fn和fn−1,三帧对应像素点的灰度值记为fn+1(x , y) 、fn(x , y) 和fn−1(x , y) , 按照式2.13分别得到差分图像Dn+1和Dn,对差分图像Dn+1和Dn按照式2.15进行与操作,得到图像Dn’,然后再进行阈值处理、连通性分析,最终提取出运动目标。
在帧间差分法中,阈值 T 的选择非常重要。如果阈值T选取的值太小,则无法抑制差分图像中的噪声;如果阈值T选取的值太大,又有可能掩盖差分图像中目标的部分信息;而且固定的阈值T无法适应场景中光线变化等情况。为此,有人提出了在判决条件中加入对整体光照敏感的添加项的方法,将判决条件修改为:
其中, N A为待检测区域中像素的总数目,λ为光照的抑制系数,A 可设为整帧图像。添加项表达了整帧图像中光照的变化情况。如果场景中的光照变化较小,则该项的值趋向于零;如果场景中的光照变化明显,则该项的值明显增大,导致式2.16右侧判决条件自适应地增大,最终的判决结果为没有运动目标,这样就有效地抑制了光线变化对运动目标检测结果的影响。
三、两帧差分和三帧差分的比较
图 2-5 是采用帧间差分法对自拍序列 lab 序列进行运动目标检测的实验结果,(b)图是采用两帧差分法的检测结果,(c)图是采用三帧差分法的检测结果。lab序列中的目标运动较快,在这种情况下,运动目标在不同图像帧内的位置明显不同,采用两帧差分法检测出的目标会出现“重影”的现象,采用三帧差分法,可以检测出较为完整的运动目标。
综上所述,帧间差分法的原理简单,计算量小,能够快速检测出场景中的运动目标。但由实验结果可以看出,帧间差分法检测的目标不完整,内部含有“空洞”,这是因为运动目标在相邻帧之间的位置变化缓慢,目标内部在不同帧图像中相重叠的部分很难检测出来。帧间差分法通常不单独用在目标检测中,往往与其它的检测算法结合使用。
clear all clc global Bili; A=[]; B=imread('46.jpg'); B=rgb2gray(B); B=medfilt2(B); %中值滤波 fileName = '倾斜跌倒1.avi'; obj = VideoReader(fileName); %读取录制的视频 vidFrames=read(obj); %读取所有帧图像 numFrames=get(obj, 'NumberOfFrames');%总帧数 for k = 63:250 %帧数循环,人为选取33帧作为背景帧 mov(k).cdata=vidFrames(:,:,:,k); mov(k).cdata=rgb2gray(mov(k).cdata); mov(k).cdata=medfilt2(mov(k).cdata); R=imabsdiff(mov(k).cdata,B); z=im2bw(R,graythresh(R)); z=bwmorph(z,'erode',3); % 3次腐蚀处理掉噪点 P = bwmorph(z,'dilate',3); %3次膨胀膨胀 P= bwareaopen(P,50); figure(1),subplot(121);imshow(vidFrames(:,:,:,k)); figure(1);subplot(122);imshow(P); x=sum(P(:)); s=x/(480*640); if s>=0.03 [m1,n1] = find(P == 1); %第一级检测,角度 top1= min(m1);%纵向 bottom1= max(m1); left1= min(n1);%横向 right1= max(n1); height1=bottom1-top1+1;%纵向高; width1 = right1-left1+1;%横向宽 rectangle('Position',[left1,top1,width1,height1],'EdgeColor','r'); line([left1,right1],[top1,bottom1],'color','r','LineWidth',1);%标记对角线 line([left1,right1],[bottom1,top1],'color','r','LineWidth',1); tan=(bottom1-top1)/(right1-left1); tan=atan(tan); J=tan*180/pi; %第二级检测,质心高度比Rz [rectx,recty,area,perimeter] = minboundrect(n1,m1,'p'); line(rectx(:),recty(:),'color','w','LineWidth',1); line([rectx(1),rectx(3)],[recty(1),recty(3)],'color','b','LineWidth',1); line([rectx(2),rectx(4)],[recty(2),recty(4)],'color','b','LineWidth',1); line([0,640],[max(bottom1),max(bottom1)],'color','r','LineWidth',2);%水平线 line([(rectx(1)+rectx(3))/2,(rectx(1)+rectx(3))/2],[(recty(1)+recty(3))/2,max(bottom1)],'color','b','LineWidth',2);%画高 h=max(bottom1)-(recty(1)+recty(3))/2;%高度 Rz=h/360; %第三级检测,判断宽高比 width=sqrt((rectx(2)-rectx(1))^2+(recty(2)-recty(1))^2); length=sqrt((rectx(1)-rectx(4))^2+(recty(1)-recty(4))^2); Bili=width/length; %判断 if J<=45 if(Rz<0.5||Bili>2) % imwrite(vidFrames(:,:,:,k),strcat(num2str(k),'.jpg'),'jpg');% 保存帧 load chirp sound(y,Fs) end end end end