摘要视频放大Video Magnification是一种能够从视频中提取并放大细微变化的技术由MIT CSAIL实验室提出。该技术可以将肉眼难以察觉的细微颜色变化如血流导致的肤色变化和微小运动如呼吸、脉搏引起的振动进行放大在许多领域具有广泛的应用前景。本文将详细介绍一个基于OpenCV和C实现的视频放大项目该项目支持两种主要的放大模式颜色放大和运动放大并提供了基于小波变换的第三种实现方式。一、技术原理1.1 颜色放大Color Magnification颜色放大的核心思想是对每一帧图像构建高斯金字塔空间滤波将时间序列上的每一级金字塔图像进行理想带通滤波时间滤波对滤波后的信号进行放大将放大后的信号重新构建成图像并叠加到原始图像关键步骤原始视频 → 高斯金字塔 → 时间域带通滤波 → 放大 → 重建 → 叠加到原图1.2 运动放大Motion Magnification运动放大使用拉普拉斯金字塔结合IIR滤波器对每一帧构建拉普拉斯金字塔对金字塔的每一级应用IIR带通滤波器时间滤波根据波长和放大系数放大每一级重建运动图像并叠加到原始图像关键技术拉普拉斯金字塔能够分离不同空间频率的信息IIR滤波器高效实现时间域的带通滤波1.3 小波放大Wavelet Magnification小波放大使用离散小波变换DWT对每一帧进行Haar小波变换对小波系数应用IIR滤波器放大小波系数逆小波变换重建图像二、项目结构VideoMagnification/ ├── include/ # 头文件 │ ├── Buffer.h # 线程安全缓冲区模板类 │ ├── Config.h # 配置宏定义 │ ├── Magnificator.h # 核心放大类 │ ├── SpatialFilter.h # 空间滤波器金字塔构建 │ ├── TemporalFilter.h # 时间滤波器带通滤波 │ └── Structures.h # 数据结构定义 ├── src/ # 源文件 │ ├── Magnificator.cpp # 放大算法实现 │ ├── SpatialFilter.cpp # 空间滤波实现 │ └── TemporalFilter.cpp # 时间滤波实现 └── samples/ └── main.cpp # 使用示例三、核心代码解析3.1 数据结构定义// Structures.h// 图像处理设置structImageProcessingSettings{intamplification;// 放大系数intcoWavelength;// 截止波长doublecoLow;// 低截止频率doublecoHigh;// 高截止频率doublechromAttenuation;// 色度衰减intframeWidth;// 帧宽度intframeHeight;// 帧高度floatframerate;// 帧率intlevels;// 金字塔层数};// 图像处理标志structImageProcessingFlags{boolgrayscaleOn;// 灰度模式boolcolorMagnifyOn;// 颜色放大开关boollaplaceMagnifyOn;// 拉普拉斯放大开关boolwaveletMagnifyOn;// 小波放大开关};3.2 颜色放大实现// Magnificator.cpp - colorMagnify()voidMagnificator::colorMagnify(){// 1. 空间滤波构建高斯金字塔buildGaussPyrFromImg(input,levels,inputPyramid);// 2. 将最小的图像最高级金字塔拼接成一个大矩阵// 每一列代表一帧的下采样图像downSampledFrameinputPyramid.at(levels-1);img2tempMat(downSampledFrame,downSampledMat,getOptimalBufferSize(imgProcSettings-framerate));// 3. 时间滤波理想带通滤波idealFilter(downSampledMat,filteredMat,imgProcSettings-coLow,imgProcSettings-coHigh,imgProcSettings-framerate);// 4. 放大amplifyGaussian(filteredMat,filteredMat);// 5-7. 重建并叠加到原始图像for(inticurrentFrame-offset;icurrentFrame;i){tempMat2img(filteredMat,i,downSampledFrame.size(),filteredFrame);buildImgFromGaussPyr(filteredFrame,levels,color,input.size());outputinputFrames.front()color;// 叠加}}3.3 运动放大实现拉普拉斯金字塔// Magnificator.cpp - laplaceMagnify()voidMagnificator::laplaceMagnify(){// 1. 空间滤波构建拉普拉斯金字塔buildLaplacePyrFromImg(input,levels,inputPyramid);if(currentFrame0){// 第一帧初始化低通滤波器状态lowpassHiinputPyramid;lowpassLoinputPyramid;}else{// 2. 时间滤波对每一级金字塔应用IIR滤波器for(intcurLevel0;curLevellevels;curLevel){iirFilter(inputPyramid.at(curLevel),motionPyramid.at(curLevel),lowpassHi.at(curLevel),lowpassLo.at(curLevel),imgProcSettings-coLow,imgProcSettings-coHigh);}// 3. 放大每一级金字塔lambdasqrt(w*wh*h)/3.0;// 计算代表波长for(intcurLevellevels;curLevel0;--curLevel){amplifyLaplacian(motionPyramid.at(curLevel),motionPyramid.at(curLevel),curLevel);lambda/2.0;// 每级波长减半}}// 4. 从金字塔重建运动图像buildImgFromLaplacePyr(motionPyramid,levels,motion);// 5. 色度衰减如果是彩色图像attenuate(motion,motion);// 6. 叠加到原始图像outputinputmotion;}3.4 IIR滤波器实现// TemporalFilter.cpp - iirFilter()voidiirFilter(constMatsrc,Matdst,MatlowpassHi,MatlowpassLo,doublecutoffLo,doublecutoffHi){// 高通IIR滤波器// cutoffHi越大旧图像fade out越快更多关注新图像Mat tmp1(1-cutoffHi)*lowpassHicutoffHi*src;// 低通IIR滤波器// cutoffLo越小越能平滑掉快速运动Mat tmp2(1-cutoffLo)*lowpassLocutoffLo*src;lowpassHitmp1;lowpassLotmp2;// 带通 高通 - 低通dstlowpassHi-lowpassLo;}3.5 高斯金字塔构建// SpatialFilter.cpp - buildGaussPyrFromImg()voidbuildGaussPyrFromImg(constMatimg,constintlevels,vectorMatpyr){pyr.clear();Mat currentLevelimg;for(intlevel0;levellevels;level){Mat down;pyrDown(currentLevel,down);// 下采样pyr.push_back(down);currentLeveldown;}}3.6 拉普拉斯金字塔构建// SpatialFilter.cpp - buildLaplacePyrFromImg()voidbuildLaplacePyrFromImg(constMatimg,constintlevels,vectorMatpyr){pyr.clear();Mat currentLevelimg;for(intlevel0;levellevels;level){Mat down,up;pyrDown(currentLevel,down);// 下采样pyrUp(down,up,currentLevel.size());// 上采样回原尺寸Mat laplacecurrentLevel-up;// 差分 拉普拉斯pyr.push_back(laplace);currentLeveldown;}pyr.push_back(currentLevel);// 最后一级残差图像}3.7 小波变换实现// SpatialFilter.cpp - buildWaveletPyrFromImg()voidbuildWaveletPyrFromImg(constMatimg,constintlevels,vectorvectorMatpyr,intSHRINK_TYPE,floatSHRINK_T){for(intlvl0;lvllevels;lvl){// Haar小波变换for(inty0;yheight;y){for(intx0;xwidth;x){// 计算4个小波系数c(像素和)*0.5;// 近似系数dh(水平细节)*0.5;// 水平细节dv(垂直细节)*0.5;// 垂直细节dd(对角细节)*0.5;// 对角细节// 降噪处理可选switch(SHRINK_TYPE){caseHARD:/* 硬阈值 */break;caseSOFT:/* 软阈值 */break;caseGARROT:/* Garrot阈值 */break;}}}}}四、使用方法4.1 环境配置依赖OpenCV 4.03.x版本需要修改部分代码Visual Studio 2015Qt可选用于GUI配置步骤修改props/OpenCV4.0_x64_Release.props中的OpenCV路径编译项目4.2 代码示例// main.cpp - 实时摄像头运动放大#includeMagnificator.hintmain(){// 打开摄像头VideoCapturecap(0);// 设置处理参数ImageProcessingFlags IPF;ImageProcessingSettings IPS;IPS.amplification1;// 放大系数IPS.levels3;// 金字塔层数IPS.coLow20.0;// 低截止频率IPS.coHigh40.0;// 高截止频率// 创建放大器vectorMatframes;Magnificatormnf(frames,IPF,IPS);// 开始小波放大实时mnf.waveletMagnify(cap);return0;}4.3 参数调节指南参数说明推荐值amplification放大系数10-100颜色5-50运动coLow低截止频率Hz0.4-1.0颜色10-30运动coHigh高截止频率Hz1.0-2.0颜色30-60运动levels金字塔层数3-5chromAttenuation色度衰减0.1-0.5五、应用场景医疗健康心率检测通过放大面部颜色变化呼吸监测放大胸部位移脉搏波分析工业检测微小振动检测结构健康监测设备异常诊断科学研究材料形变分析生物力学研究流体动力学可视化视频监控增强低对比度场景检测异常微小运动六、技术要点总结6.1 空间滤波 vs 时间滤波维度空间滤波时间滤波目的分离不同空间频率分离不同时间频率方法金字塔高斯/拉普拉斯IIR滤波 / 理想带通滤波实现pyrDown(),pyrUp()iirFilter(),idealFilter()6.2 三种放大方法对比方法优点缺点适用场景颜色放大实现简单效果好仅适用于颜色变化血流检测、温度分布运动放大拉普拉斯实时性好容易产生噪声通用运动放大小波放大多分辨率分析去噪效果好计算复杂度高需要去噪的场景七、核心算法流程图┌─────────────────────────────────────────────────────────────┐ │ 视频放大处理流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 输入视频帧序列 │ │ ↓ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 颜色放大 │ │ 运动放大 │ │ 小波放大 │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ ↓ ↓ ↓ │ │ 高斯金字塔 拉普拉斯金字塔 小波变换(DWT) │ │ ↓ ↓ ↓ │ │ 理想带通滤波 IIR带通滤波 IIR带通滤波 │ │ (频域DFT) (时域) (时域) │ │ ↓ ↓ ↓ │ │ 放大系数调整 放大系数调整 放大系数调整 │ │ ↓ ↓ ↓ │ │ 重建图像 重建图像 逆小波变换 │ │ ↓ ↓ ↓ │ │ 叠加到原图 叠加到原图 叠加到原图 │ │ ↓ ↓ ↓ │ │ 输出放大后的视频 │ │ │ └─────────────────────────────────────────────────────────────┘八、参考资源原始论文“Eulerian Video Magnification for Revealing Subtle Changes In the World” (MIT CSAIL)GitHub项目https://github.com/wzpan/QtEVMOpenCV文档https://docs.opencv.org/结语视频放大技术为我们提供了一种全新的视角来观察世界中的微小变化。通过本文介绍的实现方案开发者可以快速搭建自己的视频放大应用。该技术在医疗、工业、科研等多个领域都有广阔的应用前景。随着硬件算力的提升和算法的优化实时视频放大技术将会在更多场景中得到应用为我们的生活带来更多可能性。
【资料整理】视频放大技术详解：基于OpenCV的实现
摘要视频放大Video Magnification是一种能够从视频中提取并放大细微变化的技术由MIT CSAIL实验室提出。该技术可以将肉眼难以察觉的细微颜色变化如血流导致的肤色变化和微小运动如呼吸、脉搏引起的振动进行放大在许多领域具有广泛的应用前景。本文将详细介绍一个基于OpenCV和C实现的视频放大项目该项目支持两种主要的放大模式颜色放大和运动放大并提供了基于小波变换的第三种实现方式。一、技术原理1.1 颜色放大Color Magnification颜色放大的核心思想是对每一帧图像构建高斯金字塔空间滤波将时间序列上的每一级金字塔图像进行理想带通滤波时间滤波对滤波后的信号进行放大将放大后的信号重新构建成图像并叠加到原始图像关键步骤原始视频 → 高斯金字塔 → 时间域带通滤波 → 放大 → 重建 → 叠加到原图1.2 运动放大Motion Magnification运动放大使用拉普拉斯金字塔结合IIR滤波器对每一帧构建拉普拉斯金字塔对金字塔的每一级应用IIR带通滤波器时间滤波根据波长和放大系数放大每一级重建运动图像并叠加到原始图像关键技术拉普拉斯金字塔能够分离不同空间频率的信息IIR滤波器高效实现时间域的带通滤波1.3 小波放大Wavelet Magnification小波放大使用离散小波变换DWT对每一帧进行Haar小波变换对小波系数应用IIR滤波器放大小波系数逆小波变换重建图像二、项目结构VideoMagnification/ ├── include/ # 头文件 │ ├── Buffer.h # 线程安全缓冲区模板类 │ ├── Config.h # 配置宏定义 │ ├── Magnificator.h # 核心放大类 │ ├── SpatialFilter.h # 空间滤波器金字塔构建 │ ├── TemporalFilter.h # 时间滤波器带通滤波 │ └── Structures.h # 数据结构定义 ├── src/ # 源文件 │ ├── Magnificator.cpp # 放大算法实现 │ ├── SpatialFilter.cpp # 空间滤波实现 │ └── TemporalFilter.cpp # 时间滤波实现 └── samples/ └── main.cpp # 使用示例三、核心代码解析3.1 数据结构定义// Structures.h// 图像处理设置structImageProcessingSettings{intamplification;// 放大系数intcoWavelength;// 截止波长doublecoLow;// 低截止频率doublecoHigh;// 高截止频率doublechromAttenuation;// 色度衰减intframeWidth;// 帧宽度intframeHeight;// 帧高度floatframerate;// 帧率intlevels;// 金字塔层数};// 图像处理标志structImageProcessingFlags{boolgrayscaleOn;// 灰度模式boolcolorMagnifyOn;// 颜色放大开关boollaplaceMagnifyOn;// 拉普拉斯放大开关boolwaveletMagnifyOn;// 小波放大开关};3.2 颜色放大实现// Magnificator.cpp - colorMagnify()voidMagnificator::colorMagnify(){// 1. 空间滤波构建高斯金字塔buildGaussPyrFromImg(input,levels,inputPyramid);// 2. 将最小的图像最高级金字塔拼接成一个大矩阵// 每一列代表一帧的下采样图像downSampledFrameinputPyramid.at(levels-1);img2tempMat(downSampledFrame,downSampledMat,getOptimalBufferSize(imgProcSettings-framerate));// 3. 时间滤波理想带通滤波idealFilter(downSampledMat,filteredMat,imgProcSettings-coLow,imgProcSettings-coHigh,imgProcSettings-framerate);// 4. 放大amplifyGaussian(filteredMat,filteredMat);// 5-7. 重建并叠加到原始图像for(inticurrentFrame-offset;icurrentFrame;i){tempMat2img(filteredMat,i,downSampledFrame.size(),filteredFrame);buildImgFromGaussPyr(filteredFrame,levels,color,input.size());outputinputFrames.front()color;// 叠加}}3.3 运动放大实现拉普拉斯金字塔// Magnificator.cpp - laplaceMagnify()voidMagnificator::laplaceMagnify(){// 1. 空间滤波构建拉普拉斯金字塔buildLaplacePyrFromImg(input,levels,inputPyramid);if(currentFrame0){// 第一帧初始化低通滤波器状态lowpassHiinputPyramid;lowpassLoinputPyramid;}else{// 2. 时间滤波对每一级金字塔应用IIR滤波器for(intcurLevel0;curLevellevels;curLevel){iirFilter(inputPyramid.at(curLevel),motionPyramid.at(curLevel),lowpassHi.at(curLevel),lowpassLo.at(curLevel),imgProcSettings-coLow,imgProcSettings-coHigh);}// 3. 放大每一级金字塔lambdasqrt(w*wh*h)/3.0;// 计算代表波长for(intcurLevellevels;curLevel0;--curLevel){amplifyLaplacian(motionPyramid.at(curLevel),motionPyramid.at(curLevel),curLevel);lambda/2.0;// 每级波长减半}}// 4. 从金字塔重建运动图像buildImgFromLaplacePyr(motionPyramid,levels,motion);// 5. 色度衰减如果是彩色图像attenuate(motion,motion);// 6. 叠加到原始图像outputinputmotion;}3.4 IIR滤波器实现// TemporalFilter.cpp - iirFilter()voidiirFilter(constMatsrc,Matdst,MatlowpassHi,MatlowpassLo,doublecutoffLo,doublecutoffHi){// 高通IIR滤波器// cutoffHi越大旧图像fade out越快更多关注新图像Mat tmp1(1-cutoffHi)*lowpassHicutoffHi*src;// 低通IIR滤波器// cutoffLo越小越能平滑掉快速运动Mat tmp2(1-cutoffLo)*lowpassLocutoffLo*src;lowpassHitmp1;lowpassLotmp2;// 带通 高通 - 低通dstlowpassHi-lowpassLo;}3.5 高斯金字塔构建// SpatialFilter.cpp - buildGaussPyrFromImg()voidbuildGaussPyrFromImg(constMatimg,constintlevels,vectorMatpyr){pyr.clear();Mat currentLevelimg;for(intlevel0;levellevels;level){Mat down;pyrDown(currentLevel,down);// 下采样pyr.push_back(down);currentLeveldown;}}3.6 拉普拉斯金字塔构建// SpatialFilter.cpp - buildLaplacePyrFromImg()voidbuildLaplacePyrFromImg(constMatimg,constintlevels,vectorMatpyr){pyr.clear();Mat currentLevelimg;for(intlevel0;levellevels;level){Mat down,up;pyrDown(currentLevel,down);// 下采样pyrUp(down,up,currentLevel.size());// 上采样回原尺寸Mat laplacecurrentLevel-up;// 差分 拉普拉斯pyr.push_back(laplace);currentLeveldown;}pyr.push_back(currentLevel);// 最后一级残差图像}3.7 小波变换实现// SpatialFilter.cpp - buildWaveletPyrFromImg()voidbuildWaveletPyrFromImg(constMatimg,constintlevels,vectorvectorMatpyr,intSHRINK_TYPE,floatSHRINK_T){for(intlvl0;lvllevels;lvl){// Haar小波变换for(inty0;yheight;y){for(intx0;xwidth;x){// 计算4个小波系数c(像素和)*0.5;// 近似系数dh(水平细节)*0.5;// 水平细节dv(垂直细节)*0.5;// 垂直细节dd(对角细节)*0.5;// 对角细节// 降噪处理可选switch(SHRINK_TYPE){caseHARD:/* 硬阈值 */break;caseSOFT:/* 软阈值 */break;caseGARROT:/* Garrot阈值 */break;}}}}}四、使用方法4.1 环境配置依赖OpenCV 4.03.x版本需要修改部分代码Visual Studio 2015Qt可选用于GUI配置步骤修改props/OpenCV4.0_x64_Release.props中的OpenCV路径编译项目4.2 代码示例// main.cpp - 实时摄像头运动放大#includeMagnificator.hintmain(){// 打开摄像头VideoCapturecap(0);// 设置处理参数ImageProcessingFlags IPF;ImageProcessingSettings IPS;IPS.amplification1;// 放大系数IPS.levels3;// 金字塔层数IPS.coLow20.0;// 低截止频率IPS.coHigh40.0;// 高截止频率// 创建放大器vectorMatframes;Magnificatormnf(frames,IPF,IPS);// 开始小波放大实时mnf.waveletMagnify(cap);return0;}4.3 参数调节指南参数说明推荐值amplification放大系数10-100颜色5-50运动coLow低截止频率Hz0.4-1.0颜色10-30运动coHigh高截止频率Hz1.0-2.0颜色30-60运动levels金字塔层数3-5chromAttenuation色度衰减0.1-0.5五、应用场景医疗健康心率检测通过放大面部颜色变化呼吸监测放大胸部位移脉搏波分析工业检测微小振动检测结构健康监测设备异常诊断科学研究材料形变分析生物力学研究流体动力学可视化视频监控增强低对比度场景检测异常微小运动六、技术要点总结6.1 空间滤波 vs 时间滤波维度空间滤波时间滤波目的分离不同空间频率分离不同时间频率方法金字塔高斯/拉普拉斯IIR滤波 / 理想带通滤波实现pyrDown(),pyrUp()iirFilter(),idealFilter()6.2 三种放大方法对比方法优点缺点适用场景颜色放大实现简单效果好仅适用于颜色变化血流检测、温度分布运动放大拉普拉斯实时性好容易产生噪声通用运动放大小波放大多分辨率分析去噪效果好计算复杂度高需要去噪的场景七、核心算法流程图┌─────────────────────────────────────────────────────────────┐ │ 视频放大处理流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 输入视频帧序列 │ │ ↓ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 颜色放大 │ │ 运动放大 │ │ 小波放大 │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ ↓ ↓ ↓ │ │ 高斯金字塔 拉普拉斯金字塔 小波变换(DWT) │ │ ↓ ↓ ↓ │ │ 理想带通滤波 IIR带通滤波 IIR带通滤波 │ │ (频域DFT) (时域) (时域) │ │ ↓ ↓ ↓ │ │ 放大系数调整 放大系数调整 放大系数调整 │ │ ↓ ↓ ↓ │ │ 重建图像 重建图像 逆小波变换 │ │ ↓ ↓ ↓ │ │ 叠加到原图 叠加到原图 叠加到原图 │ │ ↓ ↓ ↓ │ │ 输出放大后的视频 │ │ │ └─────────────────────────────────────────────────────────────┘八、参考资源原始论文“Eulerian Video Magnification for Revealing Subtle Changes In the World” (MIT CSAIL)GitHub项目https://github.com/wzpan/QtEVMOpenCV文档https://docs.opencv.org/结语视频放大技术为我们提供了一种全新的视角来观察世界中的微小变化。通过本文介绍的实现方案开发者可以快速搭建自己的视频放大应用。该技术在医疗、工业、科研等多个领域都有广阔的应用前景。随着硬件算力的提升和算法的优化实时视频放大技术将会在更多场景中得到应用为我们的生活带来更多可能性。
