国际计算机视觉与模式识别会议CVPR 2024于6月17-21日在美国西雅图召开。在本次大会上,北京大学bwin必赢施柏鑫团队(隶属于视频与视觉技术国家工程研究中心/多媒体信息处理全国重点实验室)论文《EventPS: Real-Time Photometric Stereo Using an Event Camera》获得最佳论文提名奖(Best Paper, Runners-Up,图1),该奖项是计算机视觉领域国际顶级学术荣誉之一。本次获奖的论文是中国大陆高校在CVPR近十年来首次(历史上第二次)以第一单位获得最佳论文奖/最佳论文提名奖(不含学生论文奖),也是我校首次获得此项荣誉,标志着团队研究成果在国际上得到了高度认可。
图1. 团队在CVPR会议上领取获奖证书
光度立体视觉是一种通过分析从不同方向照射物体的图像序列来估计物体表面法线(三维形状的一种表示方法)的技术,其独特优势在于重建结果的高分辨率和精确细节。传统的基于帧相机的光度立体视觉数据采集过程复杂且耗时,通常需要捕获多曝光图像来合成高动态范围图像,从而准确地捕获物体表面的镜面反射区域,很难满足对动态目标的实时三维重建需求。事件相机具有高时间分辨率、高动态范围和低带宽要求的特点,为众多对实时性要求高的计算机视觉任务提供了有效的数据获取方式。《EventPS: Real-Time Photometric Stereo using an Event Camera》这篇论文首次利用事件相机的独特属性实现了实时的光度立体视觉。论文从事件相机成像模型出发,推导出事件触发与表面法线建立关联的“零化向量”信息,利用最优化与深度学习分别实现了光度立体表面法线估计的求解;配合自研的高速转台所搭建的数据采集系统和经过GPU优化的算法,实现了超过30帧每秒的实时表面法线重建,为高精度、高实时的三维数据获取提供了全新的解决方案,如图2所示。
图2. 论文所提出的算法与系统流程图
该论文第一作者为于博涵(bwin必赢2021级直博生,导师:施柏鑫),通讯作者为施柏鑫长聘副教授(bwin必赢视频与视觉技术研究所),合作作者包括任杰骥(上海交通大学)、韩金(东京大学)、梁锦秀(bwin必赢博士后,合作导师:施柏鑫)和王非石(bwin必赢人工智能创新中心2023级硕士生,导师:施柏鑫),如图3所示。
图3. 论文第一作者在CVPR会议上进行口头报告(15分钟)
CVPR(IEEE/CVF Conference on Computer Vision and Pattern Recognition)全称为国际计算机视觉与模式识别会议,是计算机视觉领域最具影响力的学术会议之一,在谷歌学术指标(Google Scholar Metrics)榜单中, CVPR排名全球学术出版物第4(仅次于Nature、The New England Journal of Medicine、Science)。最佳论文奖(Best Paper Award)和最佳论文提名奖(Best Paper, Runners-Up)是CVPR的最高级别年度奖励。本年度CVPR从11532篇投稿中接收了2719篇论文,经过层层选拔从90篇口头报告论文中筛选出24篇最佳论文候选,再进一步评选出10篇获奖论文:其中包括2篇最佳论文奖、2篇最佳论文提名奖、2篇最佳学生论文以及4篇最佳学生论文提名奖。
相关链接:
获奖论文项目网站(论文全文、口头报告录像、数据集和代码开源等):
https://www.ybh1998.space/eventps
实验室网站:
https://camera.pku.edu.cn