脉冲连续摄影原理与超高速高动态成像验证OA北大核心CSTPCD

传统相机采用定时曝光方式获得静态图像或图像序列形式的视频,不能有效表达极高速的光子流过程,而且导致高速和高动态相互对立的"两难困境".基于光电传感器像素独立的特点,提出了连续摄影原理:每个像素各自把接收的光子流转换成电子流,连续测量光电流并转换成数字信息流,实现像素级别的连续表达,再按照像素空间排布组成序列阵列,就是对像素平面入射光子流过程的连续表达.截取序列阵列任何一个时刻的状态就可得到该时刻的图像,从而实现连续成像.进而,提出了把光电子流调制为脉冲序列的脉冲连续摄影原理:像素从清空状态开始积累电荷,达到额定阈值时产生一个脉冲作为积满标志并自动复位重新开始累积,如此重复.一个脉冲积满所经历的时间称为它的脉宽,与这个时段的光强成反比,据此可以估计这一时段的光强.脉冲按照自然时序排列而成的脉冲序列就是对光电子流过程的数字化表达.各像素产生的脉冲流按照像素空间分布排列而成的脉冲流阵列称为视象,蕴含了光过程丰富的时空信息,从中可以生成任意时刻的图像,实现超高速、高动态、无模糊连续成像,解决了定时曝光成像的"两难困境".脉冲连续摄影原理的唯一参数是累积阈值Q,对应积满一个脉冲所需光子/电子数,唯一变量是脉冲累积时长τ,是最容易准确测量的物理量,并可以利用自然时序简练表达.任意时刻的光强为Q/τ,由所处脉冲的宽度τ决定,τ的取值范围是(0,∞),因此理论上可以表达任意强度的光,动态范围无穷大.实际物理实现中,强光表达的极限取决于电路最短读出时间,暗光表达极限就是暗电流强度,它累积为一个脉冲的时长(τ),(τ)/(τ)即相机的动态范围,采用常规光电器件和电路就能实现160 dB甚至180 dB超高动态成像.在要求成像时间灵敏度小于(τ)时,可通过对累积电压亚阈值量化,实现超高动态成像.光子流和光电子流是符合泊松分布的离散随机过程,往往是一个"分段线性"过程光强瞬时突变,突变之间光强稳定.提出了实现脉冲流最简无损压缩的首脉冲编码方法:只在光强变化时输出首脉冲发放时刻及其脉宽,之后不输出脉冲就表示重复.采用首脉冲序列编码,可在几乎不增加输出数据量条件下,大幅提高时间计量精度,显著提升系统的动态范围和时间灵敏度.采用成熟CMOS光电器件和标准工艺,研制了两款脉冲连续摄影芯片和脉冲相机,空间分辨率分别为10万像素和100万像素,采用4万赫兹同步脉冲输出,即最短脉宽25μs.实拍试验验证了脉冲连续摄影原理的可实现性和超高速高动态无模糊成像性能.脉冲连续摄影视象蕴含了光子流的时空信息,替代图像和视频,将从根本上重塑计算机视觉和视觉信息处理技术和产业.创立了脉冲视觉开源算法体系SpikeCV,用较低计算复杂度实现了速度比人眼快千倍的超高速目标检测跟踪识别系统.作为脉冲连续摄影的对称过程,脉冲连续显示把超高速脉冲流调制为极高速光子流,能够实现类似自然光的高速变化,解决了传统显示系统因为低帧率带来的运动模糊和视觉疲劳眩晕等问题.连续摄影和连续显示相结合,可实现近似玻璃的单向透明显示和超高速无介质光通信.