官方网站-首页

打(dǎ)造(zào)“千(qiān)里(lǐ)眼”的非结构光场智能成像技术

对于很多摄影圈资深人士来说，Lytro这个名字既如雷贯耳，又显得分外陌生。这曾是一家生产新型光场成像设备的初创企业，从2006年成立伊始，Lytro凭借其惊艳的产品和多项专利，一时间成为资本市场炙手可热的宠儿。但如今，除了部分摄影爱好者手中的珍藏品，我们已经难觅Lytro的踪迹了。

由清华大学、凌云光技术股份有限公司等多家单位共同完成的科研项目“非结构光场智能成像关键技术与装备”荣获2021年度北京市科学技术奖技术发明一等奖。该项科研成果将光场成像技术的发展推向了一个全新的高度。那么光场成像(xiàng)是(shì)否(fǒu)会(huì)在(zài)新(xīn)技(jì)术(shù)的(de)加(jiā)持(chí)下(xià)焕(huàn)发(fā)新(xīn)生(shēng)呢(ne)?

光(guāng)场(chǎng)：既(jì)要(yào)“看(kàn)得(de)清(qīng)”,又(yòu)要(yào)“看(kàn)得(de)全”

说(shuō)起(qǐ)“光(guāng)场(chǎng)成(chéng)像(xiàng)”,就(jiù)要(yào)从(cóng)那(nà)个(gè)生(shēng)僻(pì)的(de)物(wù)理(lǐ)概(gài)念(niàn)——“光(guāng)场(chǎng)”说(shuō)起(qǐ)。在(zài)物(wù)理(lǐ)学(xué)领(lǐng)域里(lǐ)，“场(chǎng)”是(shì)一(yī)个(gè)被(bèi)广(guǎng)泛(fàn)应(yīng)用(yòng)的(de)概(gài)念(niàn)，我(wǒ)们(men)耳(ěr)熟(shú)能(néng)详(xiáng)的(de)有(yǒu)“电(diàn)场(chǎng)”“磁场”“引力场”等。对于这一抽象的物理学术语，我们可以简单地理解为物理量在时间和空间中的分布状态。从物理学的视角看去，光可不只是诗人在黑暗中寻找的圣物，而是可以用严谨的数学模型表达的物理概念。

早在200多年前，电磁学之父法拉第就在他的一篇演讲中提出，光应该像磁场一样，被理解为一个“场”,这算是光场理论的起源。此后，麦克斯韦提出了将电、磁、光统归为电磁场现场的麦克斯韦方程组，为光场理论的发展打下了重要基础。1936年，物理学家亚历山大·格尔顺(AlexanderGershun)在他的论文中正式提出了“光场”这一概念，并首次对光场进行建模。不过一直到20世纪末，人类才在光场理论上取得了实质性突破，1991年麻省理工学院教授爱德华·阿德尔森(E.H.Adelson)

等学者，提出了全光函数，为光场理论建立了一套清晰的数学模型。阿德尔森用一个7维函数，将光线在空间中的分布简洁明了地表达出来。在阿德尔森的理论中，全光函数将物体所发出或反射的光解析成7个维度的信息：光的空间位置(用空间坐标系x,y,z表达),光线入射角度(用球坐标系的角度值θ,Φ表达),波长(用λ表达)和时间(用t表达)。全光函数的提出，将人类看得见却摸不着的光，完整地拆解开来呈现在人类面前。既然光线本身包含了这些(xiē)维(wéi)度(dù)的信息，那么如果我们在空间内遍布数量众多的观察光线(xiàn)的(de)位(wèi)置(zhì)，那(nà)么(me)由(yóu)此(cǐ)记(jì)录(lù)下(xià)这(zhè)个(gè)空(kōng)间(jiān)内(nèi)光(guāng)线(xiàn)的(de)动(dòng)态(tài)分(fēn)布(bù)状(zhuàng)态(tài)，就(jiù)可(kě)以(yǐ)被(bèi)理(lǐ)解(jiě)为(wèi)“光(guāng)场(chǎng)”。

全光(guāng)函(hán)数(shù)的(de)提(tí)出(chū)推(tuī)动(dòng)了(le)“光(guāng)场(chǎng)理(lǐ)论(lùn)”的(de)发(fā)展(zhǎn)与(yǔ)完(wán)善(shàn)，也(yě)为(wèi)科(kē)学(xué)家(jiā)指(zhǐ)明(míng)了(le)研(yán)究(jiū)方(fāng)向(xiàng)——光(guāng)场(chǎng)成(chéng)像(xiàng)技(jì)术(shù)。我(wǒ)们(men)知(zhī)道(dào)，传(chuán)统(tǒng)的(de)数码相机是由光学镜头、影像传感器和影像处理器三大核心部件组成的，自然界三维场景发出、反射或散射的光线，被单镜头捕捉并聚焦，经由影像传感器转换为数字信号，最后交给影像处理器变成二维图像。清华大学方璐教授介绍道：“毕竟光是一个高维的信号，普通成像设备无法将光场内这些高维信号全部、高速并实时地转换成一个电子信号。”传统成像设备只能记录光场中的光亮信息，对光的方向等信息束手无策，导致深度信息的丢失，且能获取的总信息量受到影像处理器像素数量的限制。因此，“‘看得清’和‘看得全’这对矛盾一直困扰着人们。举个大家日常拍照上的例子，广角镜头可以把照片拍得很宽很大，分辨率却不甚精确。而长焦镜头可以拍得很远很清晰，却只能覆盖一片很小的区域。”方璐说。

光场成像的前世今生

近年来，光场采集感知重建理论及技术的进步为我们指出了(le)另(lìng)外(wài)一(yī)条(tiáo)思(sī)路：如果我们将全光函数中所有的参数都捕捉到，成像效果不就能做到既看得全也看得清吗?答案是肯定的。不过，全光函数包含了光线多达7个维度的信息，显然还是过于复杂了，而且并不是所有维度的信息在拍摄时都用得着。于是安德尔森的后继者们将该函数做了简化，波长λ被简化为记录红、绿、蓝三原色，时间t被简化为记录不同帧，这样函数就被简化为只包含位置(x,y,z)与光线入射角度(0,Φ)5个维度信息。此后又被进一步降到了4维：即通过记录一条光线穿过两个平行平面的坐标(分别用u,v和x,y两个坐标系表示),就能得到光线的位置与方向信息。如果将这个双平面模型套用在普通成像系统的结构上，那么其中u-v平面就是主镜头中心所在平面，x-y平面是影像传感器所在平面，这样通过采集光线穿过两个平面时所产生的4个维度信息，理论上就能兼顾到“看得全、看得清”的效果。问题在于，要借助什么样高科技的神器才完成这样的采集工作呢?“要兼顾既看得全又看得清，就意味着依靠单个镜头和单个影像传感器的系统根本无能为力。这时人们就想到：能否把多个相机放在一起形成阵列，通过‘量变引起质变’的思路来实现?”方璐介绍道。初代光场成像技术的解决方案是在影像传感器前，用数量众多的单镜头组成阵列，形成类似于昆虫复眼的结构，对u-v和x-y平面的信息进行采集，然后通过数字调焦的形式进行图像还原。这样就形成了“先拍照，后对焦”的特点，省去了传统成像设备同时对焦和拍照导致拍摄不清晰的麻烦。

2006年，美(měi)国(guó)斯(sī)坦(tǎn)福(fú)大(dà)学(xué)的(de)马(mǎ)克(kè)·勒(lēi)沃(wò)伊(MarcLevoy)团队根据这一(yī)思(sī)路研(yán)制(zhì)出(chū)了(le)阵(zhèn)列(liè)式(shì)光(guāng)场(chǎng)成(chéng)像(xiàng)系(xì)统(tǒng)，这(zhè)个(gè)身(shēn)形(xíng)巨(jù)大(dà)的(de)装(zhuāng)置(zhì)通(tōng)过(guò)不(bù)同(tóng)位(wèi)置(zhì)的(de)相机同时曝光进行光场信息采集，从而迈出了光场成像技术落地的第一(yī)步(bù)。2012年(nián)，美(měi)国(guó)杜(dù)克(kè)大(dà)学(xué)的(de)戴(dài)维(wéi)·布(bù)雷(léi)迪(dí)(DavidBrady)团(tuán)队(duì)在(zài)顶(dǐng)级(jí)学(xué)术(shù)期(qī)刊(kān)《自(zì)然(rán)》上(shàng)发(fā)表(biǎo)了(le)世(shì)界(jiè)上(shàng)首(shǒu)款(kuǎn)亿(yì)像(xiàng)素(sù)级(jí)阵(zhèn)列(liè)式(shì)光(guāng)场(chǎng)成(chéng)像(xiàng)系(xì)统(tǒng)，像(xiàng)素(sù)分(fēn)辨(biàn)率(lǜ)达(dá)到(dào)当(dāng)年(nián)数(shù)码(mǎ)相(xiāng)机(jī)的(de)30多(duō)倍(bèi)，能(néng)捕(bǔ)捉(zhuō)到(dào)几(jǐ)倍(bèi)于(yú)人(rén)眼(yǎn)感知能力的细节。但体积和重量的限制导致这些阵列成像设备只能止步于实验室。此外，在这种技术里，“每个相机采用同样的尺度，并且位置和姿态固定，只有一种拍摄模式，依赖事先标定的参数进行重建，系统的鲁棒性和扩展性都受限。”方璐介绍道，“如果有相机在成像过程中受到扰动，整个阵列系统的工作都会受到影响，需要进行重新标定。”

欲穷千里目，智能技术来相助

方璐带领团队另辟蹊径，提出了非结构光场阵列感知技术。不同于之前，非结构光场阵列感知技术的特征是“层内非结构”和“层间异构”:层内非结构突破了结构固化的制约，使得阵列系统具有场景自适应成像的能力；层间异构克服了尺度单一的瓶颈，使得阵列系统的感知尺度和维度可扩展。非结构光场阵列感知技术不再依赖复杂的硬件设计和烦琐的系统标(biāo)定(dìng)，而(ér)是(shì)借(jiè)助(zhù)人(rén)工(gōng)智(zhì)能(néng)，通(tōng)过阵列结构自适应感知、跨尺度映射融合等技术，直接利用多尺度图像内容进行计算重建，同样的硬件资源条件下，大幅提升了系统的成像效率与鲁棒性。这一系列环环相扣的技术创新，大大降低了光场阵列系统(tǒng)的(de)复(fù)杂(zá)程(chéng)度(dù)，节(jié)约(yuē)了(le)硬(yìng)件(jiàn)带(dài)来(lái)的(de)高(gāo)昂成本，让计算摄像和人工智能技术有了更多施展空间，突破了传统光学成像的瓶颈。

当然，这种全新的技术，是让几十个不一样的成像设备整合在一起工作，这背后算法部分的技术难度是可想而知的。“毕竟软件和算法的成本与迭代周期是远小于硬件系统的，我们把硬件制作的难度降低，让更多的工作留给算法去做，让智能成像成为可能，这种‘非结构光场感知’新范式使得光场成像真正实现了‘鲁棒性’。”方璐介绍道。

在人工智能技术的加持下，除了鲁棒性，非结构光场智能感知技术同时实现了另一大优势，即可扩展性：这种非结构光场阵列系统可以灵活地调整阵列的数量和组合方式，以适应不同的应用场景需求。对此，方璐指出：“要知道，鲁棒性和可扩展性这两大优势，对于技术的应用意义重大。在这两项优势加持下，这一新技术才有可能应用到未来多个不同领域中。”从工业检测到公共安全，再到智慧城市，光场成像在B端的应用前景十分广阔。方璐认为，目前的非结构光场成像技术，并不是给摄影爱好者去品鉴的，而是供智能无人系统进行识别分析之用的。那么在这种应用场景下，追求高分辨率就并不是唯一的目标。她进一步指出：“对此，我们也在研究‘感算一体’的成像技术，将计算移到前端，在成像的同时就计算出目标物体的特征和位置，这就省去了传统光场成像对图片压缩和解压，以及后续的目标特征提取与识别等烦琐步骤，这节约的资源与功耗是巨大的。”

非结构光场智能成像技术所面临的另外一个问题就是数据。因为现阶段人工智能算法开发迭代对于数据集的依赖是非常大的。方璐对此说道：“但目前国际上常用的视觉数据集大多是少场景、少对象、关系简单，可能就只有一只猫、一条狗、一辆车这样的信息。这就难以呈现复杂真实的场景，难以支撑面向大场景多对象复杂对象的新一代人工智能理论和算法的研究。”在这样的数据集里进行训练的人工智能算法，一旦放在类似“万人跑马拉松”这样的壮观场景中，可能就力不从心了。因此，方璐带领团队构建了PANDA数据平台(全称GigaPixel-levelHuman-centricVideoDataset),具有大场景(平方千米级别范围)、高分辨(十亿像素级，支持百米对象识别)、多对象复杂关系(万级对象，尺度变化超百倍，遮挡�109