打造“千里眼”的非结构光场智能成像技术
打(dǎ)造(zào)“千(qiān)里(lǐ)眼(yǎn)”的(de)非(fēi)结(jié)构(gòu)光(guāng)场(chǎng)智(zhì)能(néng)成(chéng)像(xiàng)技(jì)术(shù)
对(duì)于(yú)很(hěn)多(duō)摄(shè)影(yǐng)圈(quān)资(zī)深(shēn)人(rén)士(shì)来(lái)说(shuō)，Lytro这(zhè)个(gè)名字(zì)既(jì)如(rú)雷(léi)贯(guàn)耳(ěr)，又(yòu)显(xiǎn)得(de)分(fēn)外(wài)陌(mò)生(shēng)。这(zhè)曾(céng)是(shì)一(yī)家(jiā)生(shēng)产(chǎn)新(xīn)型(xíng)光(guāng)场(chǎng)成(chéng)像(xiàng)设(shè)备(bèi)的(de)初(chū)创(chuàng)企(qǐ)业(yè)，从(cóng)2006年(nián)成(chéng)立(lì)伊(yī)始(shǐ)，Lytro凭(píng)借(jiè)其(qí)惊(jīng)艳(yàn)的(de)产(chǎn)品(pǐn)和(hé)多(duō)项(xiàng)专(zhuān)利(lì)，一(yī)时(shí)间(jiān)成(chéng)为(wèi)资(zī)本(běn)市(shì)场(chǎng)炙(zhì)手(shǒu)可(kě)热(rè)的(de)宠(chǒng)儿(ér)。但(dàn)如(rú)今(jīn)，除(chú)了(le)部(bù)分(fēn)摄(shè)影(yǐng)爱(ài)好(hǎo)者(zhě)手(shǒu)中(zhōng)的(de)珍(zhēn)藏(cáng)品，我们已经难觅Lytro的踪迹了。
由清华大学、凌云光技术股份有限公司等多家单位共同完成的科研项目“非结构光场智能成像关键技术与装备”荣获2021年度北京市科学技术奖技术发明一等奖。该项科研成果将光场成像技术的发展推向了一(yī)个(gè)全新(xīn)的(de)高(gāo)度(dù)。那(nà)么(me)光(guāng)场(chǎng)成(chéng)像(xiàng)是(shì)否(fǒu)会(huì)在(zài)新(xīn)技(jì)术(shù)的(de)加(jiā)持(chí)下(xià)焕(huàn)发(fā)新(xīn)生(shēng)呢(ne)?
光(guāng)场(chǎng)：既(jì)要(yào)“看(kàn)得(de)清(qīng)”,又(yòu)要(yào)“看(kàn)得(de)全”
说(shuō)起(qǐ)“光(guāng)场(chǎng)成(chéng)像(xiàng)”,就(jiù)要(yào)从(cóng)那(nà)个(gè)生(shēng)僻的物理概念——“光场”说起。在物理学领域里，“场”是一个被广泛应用的概念，我们耳熟能详的有“电场”“磁场”“引力场”等。对于这一抽象的物理学术语，我们可以简单地理解为物理量在时间和空间中的分布状态。从物理学的视角看去，光可不只是诗人在黑暗中寻找的圣物，而是可以用严谨的数学模型表达的物理概念。
早在200多年前，电磁学之父法拉第就在他的一(yī)篇(piān)演(yǎn)讲(jiǎng)中(zhōng)提(tí)出，光应该像磁场一样，被理解为一个“场”,这算是光场理论的起源。此后，麦克斯韦提出了将电、磁、光统归为电磁场现场的麦克斯韦方程组，为光场理论的发展打下了重要基础。1936年，物理学家亚历山大·格尔顺(AlexanderGershun)在他的论文中正式提出了“光场”这一概念，并首次对光场进行建模。不过一直到20世纪末，人类才在光场理论上取得了实质性突破，1991年麻省理工学院教授爱德华·阿德尔森(E.H.Adelson)
等学者，提出了全光函数，为光场理论建立了一套清晰的数学模型。阿德尔森用一个7维函数，将光线在空间中的分布简洁明了地表达出来。在阿德尔森的理论中，全光函数将物体所发出或反射的(de)光(guāng)解(jiě)析(xī)成(chéng)7个(gè)维(wéi)度(dù)的信息：光的空间位置(用空间坐标系x,y,z表达),光线入射角度(用球坐标系的角度值θ,Φ表达),波长(用λ表达)和时间(用t表达)。全光函数的提出，将人类看得见却摸不着的光，完整地拆解开来呈现在人类面前。既然光线本身包含了这些维度的信息，那么如果我们在空间内遍布数量众多的观察光线的位置，那么由此记录下这个空(kōng)间(jiān)内(nèi)光(guāng)线(xiàn)的(de)动(dòng)态(tài)分(fēn)布(bù)状(zhuàng)态(tài)，就(jiù)可(kě)以(yǐ)被(bèi)理(lǐ)解为“光场”。
全光函数的提出推动了“光场理论”的发展与完善，也为科学家指明了研究方向——光场成像技术。我们知道，传统的数码相机是由光学镜头、影像传感器和影像处理器三大核心部件组成的，自然界三维场景发出、反射或散射的光线，被单镜头捕捉并聚焦，经由影像传感器转换为数字信号，最后交给影像处理器变成二维图像。清华大学方璐教授介绍道：“毕竟光是一个高维的信号，普通成像设备无法将光场内这些高维信号全部、高速并实时地转换成一个电子信号。”传统成像设备只能记录光场中的光亮信息，对光的方向等信息束手无策，导致深度信息的丢失，且能获取的总信息量受到影像处理器像素数量的限制。因(yīn)此(cǐ)，“‘看(kàn)得(de)清(qīng)’和(hé)‘看(kàn)得(de)全’这对矛盾一直困扰着人们。举个大家日常拍照上的例子，广角镜头可以把照片拍得很宽很大，分辨率却不甚精确。而长焦镜头可以拍得很远很清晰，却只能覆盖一片很小的区域。”方璐说。
光场成像的前世今生
近年来，光场采集感知重建理论及技术的进步为我们指出了另外一条思路：如果我们将全光函数中所有(yǒu)的(de)参(cān)数(shù)都(dōu)捕(bǔ)捉(zhuō)到(dào)，成(chéng)像(xiàng)效(xiào)果(guǒ)不(bù)就(jiù)能(néng)做(zuò)到既看得全也看得清吗?答案是肯定的。不过，全光函数包含了光线多达7个维度的信息，显然还是过于复杂了，而且并不是所有维度的信息在拍摄时都用得着。于是安德尔森的后继者们将该函数做了简化，波长λ被(bèi)简(jiǎn)化(huà)为(wèi)记(jì)录(lù)红(hóng)、绿(lǜ)、蓝(lán)三(sān)原(yuán)色(sè)，时(shí)间(jiān)t被(bèi)简(jiǎn)化(huà)为(wèi)记(jì)录(lù)不(bù)同(tóng)帧(zhèng)，这(zhè)样(yàng)函(hán)数(shù)就(jiù)被(bèi)简(jiǎn)化(huà)为(wèi)只(zhǐ)包(bāo)含(hán)位(wèi)置(zhì)(x,y,z)与(yǔ)光(guāng)线(xiàn)入(rù)射(shè)角(jiǎo)度(dù)(0,Φ)5个(gè)维(wéi)度(dù)信(xìn)息(xi)。此(cǐ)后(hòu)又(yòu)被(bèi)进(jìn)一(yī)步(bù)降(jiàng)到(dào)了(le)4维(wéi)：即(jí)通(tōng)过记录一条光线穿过两个平行平面的坐标(分别用u,v和x,y两个坐标系表示),就能得到光线的位置与方向信息。如果将这个双平面模型套用在普通成像系统的结构上，那么其中u-v平面就是主镜头中心所在平面，x-y平面是影像传感器所在平面，这样通过采集光线穿过两个平面时所产生的4个维度信息，理论上就能兼(jiān)顾(gù)到(dào)“看(kàn)得(de)全、看(kàn)得(de)清(qīng)”的(de)效(xiào)果(guǒ)。问(wèn)题(tí)在于，要借助什么样高科技的神器才完成这样的采集工作呢?“要兼顾既看得全又看得清，就意味着依靠单个镜头和单个影像传感器的系统根本无能为力。这时人们就想到：能否把多个相机放在一起形成阵(zhèn)列(liè)，通(tōng)过(guò)‘量(liàng)变(biàn)引(yǐn)起(qǐ)质(zhì)变(biàn)’的(de)思(sī)路来(lái)实(shí)现(xiàn)?”方(fāng)璐(lù)介(jiè)绍(shào)道(dào)。初(chū)代(dài)光(guāng)场(chǎng)成(chéng)像(xiàng)技(jì)术(shù)的(de)解(jiě)决(jué)方(fāng)案(àn)是(shì)在(zài)影(yǐng)像(xiàng)传(chuán)感(gǎn)器(qì)前(qián)，用(yòng)数(shù)量(liàng)众(zhòng)多(duō)的(de)单(dān)镜(jìng)头(tóu)组(zǔ)成(chéng)阵(zhèn)列(liè)，形(xíng)成(chéng)类(lèi)似(shì)于(yú)昆(kūn)虫(chóng)复(fù)眼(yǎn)的(de)结(jié)构(gòu)，对(duì)u-v和(hé)x-y平(píng)面的信息进行采集，然后通过数字调焦的形式进行图像还原。这样(yàng)就形成了“先拍照，后对焦”的特点，省去了传统成像设备同时对焦和拍照导致拍摄不清晰的麻烦。
2006年，美国斯坦福大学的马克·勒沃伊(MarcLevoy)团队根据这一思路研制出了阵列式光场成像系统，这个身形巨大的装置通过不同位置的相机同时曝光进行光场信息采集，从而迈出了光场成像技术落地的第一步。2012年，美国杜克大学的戴维·布雷迪(DavidBrady)团队在顶级学术期刊《自然》上发表了世界上首款亿像素级阵列式光场成像系统，像素分辨率达到当年数码相机的30多倍，能捕捉到几倍于人眼感知能力的细节。但体积和重量的限制导致这些阵列成像设备只能止步于实验室。此外，在这种技术里，“每个相机采用同样的尺度，并且位置和姿态固定，只有一种拍摄模式，依赖事先标定的参数进行重建，系统的鲁棒性和扩展性都受限。”方璐介绍道，“如果有相机在成像过(guò)程(chéng)中受到扰动，整个阵列系统的工作都会受到影响，需要进行重新标定。”
欲穷千里目，智能技术来相助
方璐带领团队另辟蹊径，提出了非结构光场阵列感知技术。不同于之前，非结构光场阵列感知技术的特征是“层内非结构”和“层间异构”:层内非结构突破了结构固化的制约，使得阵列系统具有场景自适应成像的能力；层间异构克服了尺度单一的瓶颈，使得阵列系统的感知尺度和维度可扩展。非结构光场阵列感知技术不再依赖复杂的硬件设计和烦琐的系统标定，而是借助人工智能，通过阵列结构自适应感知、跨尺度映射融合等技术，直接利用多尺(chǐ)度(dù)图(tú)像(xiàng)内(nèi)容(róng)进(jìn)行(xíng)计(jì)算(suàn)重(zhòng)建(jiàn)，同(tóng)样(yàng)的(de)硬件资源条件下，大幅提升了系统的成像效率与鲁棒性。这一系列环环相扣的技术创新，大大降低了光场阵列系统的复杂程度，节约了硬件带来的高昂成本，让计算摄像和人工智能技术有了更多施展空间，突破了传统光学成像的瓶颈。
当然，这种全新的技术，是让几十个不一样的成像设备整合在一起工作，这背后算法部分的技术难度是可想而知的。“毕竟软件和算法的成本与迭代周期是远小于硬件系统的，我们把硬件制作的难度降低，让更多的工作留给算法去做，让智能成像成为可能，这种‘非结构光场感知’新范式使得光场成像真正实现了‘鲁棒性’。”方璐介绍道。
在人工智能技术的加持下，除了鲁棒性，非结构光场智能感知技术同时实现了另一大优势，即可扩展性：这种非结构光场阵列系统可以灵活地调整阵列的数量和组合方式，以适应不同的应用场景需求。对此，方璐指出：“要知道，鲁棒性和可扩展性这两大优势，对于技术的应用意义重大。在这两项优势(shì)加持下，这一新技术才有可能应用到未来多个不同领域中。”从工业检测到公共安全，再到智慧城市，光场成像在B端的应用前景十分广阔。方璐认为，目前的非结构光场成像技术，并不是给摄影爱好者去品鉴的，而是供智能无人系统进行识别分析之用的。那么在这种应用场景下，追求高分辨率就并不是唯一的目标。她进一步指出：“对此，我们也在研究‘感算一体(tǐ)’的(de)成(chéng)像(xiàng)技(jì)术(shù)，将(jiāng)计(jì)算(suàn)移(yí)到(dào)前(qián)端(duān)，在成像的同时就计算出目标物体的特征和位置，这就省去了传统光场成像对图片压缩和(hé)解(jiě)压(yā)，以(yǐ)及(jí)后(hòu)续(xù)的(de)目(mù)标(biāo)特(tè)征(zhēng)提(tí)取(qǔ)与(yǔ)识(shi)别(bié)等(děng)烦(fán)琐(suǒ)步(bù)骤(zhòu)，这(zhè)节(jié)约(yuē)的(de)资(zī)源(yuán)与(yǔ)功(gōng)耗(hào)是(shì)巨(jù)大(dà)的(de)。”
非结构光场智能成像技术所面临的另外一个问题就是数据。因为现阶段人工智能算法开发迭代对于数据集的依赖是非常大的。方璐对此说道：“但目前国际上常用的视觉数据集大多是少场景、少对象、关系简单，可能就只有一只猫、一条狗、一辆车这样的信息。这就难以呈现复杂真实的场景，难以支撑面向大场景多对象复杂对象的新一代人工智能理论和算法的研究。”在这样的数据集里进行训练的人工智能算法，一旦放在类似“万人跑马拉松”这样的壮观场景中，可能就力不从心了。因此，方璐带领团队构建了PANDA数据平台(全称GigaPixel-levelHuman-centricVideoDataset),具有大场景(平方千米级别范围)、高分辨(十亿像素级，支持百米对象识别)、多对象复杂关系(万级对象，尺度变化超百倍，遮挡关系复杂，交互行为丰富)的特点，填补了大场景下高密度群体对象数据平台的空白，为探索人工智能新理论和新方法提供了不可或缺的数据基础。
立足于人工智能技术，非结构光场智能成像技术为未来的光场成像技术指明了一条全新的赛道。谈到该技术的应用前景，方璐充满信心：“首先，我们会将技术从现在的宏观场景向微观场景普及，在未来会进一步向天文远观场景扩展，这背后的研发思路是一脉相承的。其次，人工智能算法还有待于进一步突破和推进：未来的成像目标是将性能做到极致，实现光速感知计算，这对于人工智能算法的要求是越来越高的。”