1.本发明涉及高光谱荧光寿命成像领域，具体涉及一种基于条纹相机的高光谱荧光寿命成像系统及成像方法。
背景技术：2.荧光成像技术在生命科学、物理化学和生物医学临床诊断等领域应用广泛，是生物组织、细胞甚至单分子特性、形态学和动力学研究不可或缺的手段。荧光具有强度、光谱、寿命和偏振等多维参数，携带着目标的指纹信息和生理环境信息，如何更全面的获取多维荧光数据是提升系统定量化、精细化诊断能力的关键。高光谱荧光寿命成像技术具备多维荧光信息(二/三维空间、光谱、寿命)获取能力，是生命科学等领域的研究热点。同时解析荧光信号的发射光谱和寿命信息对目标的定量化分析以及无标记、无侵入诊断来说很重要。
3.传统光谱荧光寿命成像技术通过更换滤波片结合时间相关单光子计数扫描荧光寿命成像的方式而实现，面临着数据获取速度慢、光谱分辨率低等问题。如何提升高光谱荧光寿命成像技术的成像速度及光谱分辨率是研究难点。近年来，基于单像素成像技术，vincent studer等人首次使用一维单光子雪崩二极管(spad)阵列实现了128光谱通道的荧光寿命成像(v.studeraet al.,“compressive fluorescence microscopy for biological and hyperspectral imaging,”proc.natl.acad.sci.,vol.109,no.26,pp.e1679
–
e1687,jun.2012.)，相比于传统方法，极大地提升了成像速度。然而，其仍采用时间相关单光子计数的方式获取荧光时间维度衰减信息，数据获取时间仍在分钟甚至小时量级，另外，spad阵列有限的像素数限制了光谱分辨通道数。因此，亟需发展一种数据获取时间在秒到分钟量级，光谱分辨通道数在100～1000量级的高光谱荧光寿命成像技术。
技术实现要素：4.为了解决现有光谱荧光寿命成像技术存在获取速度慢、光谱分辨率低，或数据获取时间在分钟甚至小时量级、光谱分辨通道数受限的技术问题，本发明提供了一种基于条纹相机的高光谱荧光寿命成像系统及方法。
5.为实现上述目的，本发明提供的技术方案是：
6.一种基于条纹相机的高光谱荧光寿命成像系统，其特殊之处在于：包括照明光编码单元、分束器、显微镜、信号处理单元和同步控制模块；
7.所述照明光编码单元包括脉冲光源模块以及沿脉冲光源模块出射光路依次设置的脉冲光耦合模块、脉冲光编码模块、编码图样耦合模块；
8.所述脉冲光源模块用于产生脉冲光，激发样品中的外源标记荧光分子或内源荧光分子，脉冲光的波长在荧光分子的激发光谱范围内，单脉冲宽度在飞秒到皮秒量级；
9.所述脉冲光耦合模块用于将脉冲光源模块产生的脉冲光进行匀滑、扩束和准直，并耦合照明至脉冲光编码模块；
10.所述脉冲光编码模块用于将脉冲光耦合模块处理后的脉冲光进行编码；
11.所述编码图样耦合模块用于将编码后的脉冲光进行耦合，产生照明光；
12.所述分束器位于编码图样耦合模块的出射光路上；
13.所述显微镜和信号处理单元分别位于分束器的两个出射光路；显微镜用于将分束器出射的照明光成像于样品表面，以及用于收集样品经照明光激发后产生的荧光信号，分束器用于将显微镜收集的荧光信号出射至信号处理单元；
14.所述信号处理单元包括依次设在分束器出射光路上的信号聚焦模块、光谱分光模块、条纹相机和数据处理模块；
15.所述信号聚焦模块用于将荧光信号聚焦在光谱分光模块的入口处，形成点荧光信号；
16.所述光谱分光模块用于将点荧光信号展开为一维荧光光谱信号；
17.所述条纹相机用于对一维荧光光谱信号进行高时间分辨成像，并输出n张条纹相机图像；
18.所述数据处理模块用于处理条纹相机输出的n张条纹相机图像，输出高光谱荧光寿命图像；
19.所述同步控制模块同步控制脉冲光源模块的脉冲光产生、脉冲光编码模块图样的更新以及条纹相机的曝光。
20.进一步地，所述脉冲光编码模块的编码图案为高斯随机编码图案或哈达玛编码图案或傅里叶编码图案。
21.进一步地，所述激光编码模块为数字微镜阵列；
22.所述分束器为二向色镜分束器。
23.进一步地，所述显微镜位于分束器的反射光路上，信号处理单元位于分束器的透射光路；
24.所述信号处理单元还包括位于分束器和信号聚焦模块之间的反射镜。
25.同时，本发明还提供了一种基于条纹相机的高光谱荧光寿命成像方法，其特殊之处在于，包括以下步骤：
26.1)脉冲光源模块产生的脉冲光经脉冲光耦合模块匀滑、扩束和准直后，照明至脉冲光编码模块；
27.2)脉冲光编码模块将脉冲光耦合模块处理后的脉冲光进行编码，然后编码图样耦合模块将编码后的脉冲光进行耦合，产生照明光,并与显微镜配合，将编码的照明光图样耦合成像到样品表面；
28.其中，编码图样耦合模块与显微镜之间设有分束器；
29.3)样品经照明光激发后产生荧光信号，荧光信号经显微镜收集、分束器及信号聚焦模块聚焦后，聚焦于光谱分光模块的入口处，形成点荧光信号；
30.4)光谱分光模块将点荧光信号展开为一维荧光光谱信号；
31.5)条纹相机对一维荧光光谱信号进行高时间分辨成像，并输出n张条纹相机图像；
32.6)同步控制模块控制所述脉冲光源模块的脉冲光产生、脉冲光编码模块图样的更新以及条纹相机的曝光，使得条纹相机输出n张条纹图像，每张条纹图像对应的编码图像不同；
33.7)数据处理模块处理条纹相机输出的n张条纹相机图像，输出高光谱荧光寿命图
像。
34.进一步地，步骤1)中，脉冲光的单脉冲宽度在飞秒到皮秒量级。
35.进一步地，步骤7)具体为：
36.数据处理模块首先采用单像素重建算法处理条纹相机图像每个像素对应的n个采样数据，重构出四维数据(x，y，λ，t)m
x
×my
×ms
×mt
，再使用荧光寿命算法处理时间维度信息，重建出高光谱荧光寿命图像集m
x
×my
×ms
，即获得ms张尺寸为m
x
×my
的寿命图像，每张寿命图像对应于不同的光谱分辨通道；
37.其中，m
x
×my
为编码图案尺寸，m
x
和my分别为投影在样品上的编码图案在空间横轴和纵轴方向上的像素数，单像素尺寸由脉冲光编码模块中的数字微镜阵列的像素尺寸决定，ms×mt
为条纹相机图像尺寸，ms和m
t
分别为条纹图像中光谱和时间轴上的像素数。
38.进一步地，步骤2)中，所述脉冲光编码模块的编码图案为高斯随机编码图案或哈达玛编码图案或傅里叶编码图案；
39.步骤7)中，所述单像素重建算法为压缩所感知算法或逆哈达玛算法或逆傅里叶算法。
40.进一步地，步骤7)中，所述荧光寿命算法为指数拟合算法或快速荧光寿命算法。
41.与现有技术相比，本发明的优点是：
42.1、本发明成像系统及方法采用条纹相机结合单像素成像模式，具有四维数据获取能力(x,y,λ,t)，可实现高光谱荧光寿命成像。与现有技术相比，本发明使用多编码图案照明采样的单像素成像模式，省去了点扫描成像过程，减少了系统的复杂性，提升了数据获取速度；另外本发明中条纹相机通过将时间维度信息映射为空间维度信息的方式进行超快成像，相比于现有时间相关单光子计数技术的时间维度信息获取方式，具有更快的时变荧光信号时间维度信息采样能力，可进一步提升数据获取速度，将数据获取时间从分钟到小时量级缩短到了秒到分钟量级。
43.2、本发明成像系统及方法采用具有高时间和空间分辨能力的条纹相机作为信号采集装置，相比于现有采用单光子雪崩二极管的高光谱荧光寿命成像系统，具有荧光信号采样时间分辨高、光谱分辨通道数多的优点，可将荧光信号采样时间分辨从百皮秒量级提升到皮秒甚至亚皮秒量级，将光谱分辨通道数从10～100量级提升到100～1000量级，为生命科学等领域提供高精度快速高性能定量化诊断工具。
附图说明
44.图1是本发明基于条纹相机的高光谱荧光寿命成像系统实施例的原理结构示意图；
45.图2是本发明实施例的工作时序示意图；
46.图3是本发明基于条纹相机的高光谱荧光寿命成像方法实施例的步骤7)中数据处理流程图；
47.其中，附图标记如下：
48.01-照明光编码单元，02-信号处理单元；
49.1-脉冲光源模块，2-脉冲光耦合模块，3-脉冲光编码模块，4-编码图样耦合模块，5-分束器，6-显微镜，7-样品，8-反射镜，9-信号聚焦模块，10-光谱分光模块，11-条纹相机，
12-数据处理模块，13-同步控制模块。
具体实施方式
50.以下结合附图和具体实施例对本发明的内容作进一步详细描述。
51.如图1所示，本发明一种基于条纹相机的高光谱荧光寿命成像系统实施例，包括照明光编码单元01、分束器5、显微镜6、信号处理单元02和同步控制模块13。
52.照明光编码单元01包括脉冲光源模块1以及沿脉冲光源模块1出射光路依次设置的脉冲光耦合模块2、脉冲光编码模块3、编码图样耦合模块4；
53.脉冲光源模块1用于产生脉冲光，激发样品7中的外源标记荧光分子或内源荧光分子，脉冲光波长在待测荧光分子的激发光谱范围内，单脉冲宽度在飞秒到皮秒量级，脉冲重复频率为f
laser
；
54.脉冲光耦合模块2用于将脉冲光源模块1产生的脉冲光进行匀滑、扩束和准直，并耦合照明脉冲光编码模块3；
55.脉冲光编码模块3为数字微镜阵列(digital mirror device,dmd)，用于将脉冲光耦合模块2处理后的脉冲光进行编码；脉冲光编码模块3的编码图案可为高斯随机编码图案或哈达玛编码图案(hadamard编码图案)或傅里叶编码图案等，编码图案尺寸为m
x
×my
，编码图像更新频率为f
pattern
；
56.编码图样耦合模块4用于将编码后的脉冲光进行耦合，产生照明光。
57.分束器5和显微镜6依次设在编码图样耦合模块4的出射光路上，本实施例分束器5采用二向色镜分束器，分束器5用于对经编码图样耦合模块4耦合后的照明光反射，然后显微镜6用于将分束器5反射的照明光成像于样品7表面，因此，编码图样耦合模块4与显微镜6配合，能够将编码图样耦合成像到样品7表面；
58.显微镜6还用于收集样品7经照明光激发后产生的荧光信号，分束器5还用于对显微镜6收集的荧光信号进行透射，本实施例的分束器5用于反射照明光和透过荧光信号光。在其他实施例中，也可采用分束器5透过照明光和反射荧光信号光的模式。
59.信号处理单元02包括依次设在分束器5透射光路上的信号聚焦模块9、光谱分光模块10、条纹相机11和数据处理模块12；
60.信号聚焦模块9用于将荧光信号聚焦在光谱分光模块10的入口处，形成点荧光信号；
61.光谱分光模块10用于将点荧光信号展开为一维荧光光谱信号，不同的位置对应于不同的荧光光谱；
62.条纹相机11用于对一维荧光光谱信号进行高时间分辨成像，并输出n张条纹相机11图像，每张条纹图像尺寸为ms×mt
，条纹相机11图像输出频率为f
sc
；
63.同步控制模块13用于同步控制所述脉冲光源模块1的脉冲光产生、所述脉冲光编码模块3图样的更新以及所述条纹相机11的曝光，使得f
laser
＝f
pattern
＝f
sc
；
64.数据处理模块12用于处理条纹相机11输出的n张条纹相机11图像，输出高光谱荧光寿命图像。
65.为了减小成像系统的体积，本实施例在分束器5和信号聚焦模块9之间设置一个反射镜8，实现光路的折转，减小整个成像系统的体积。
66.本实施例基于条纹相机的高光谱荧光寿命成像系统的成像过程具体如下：
67.1)脉冲光源模块1产生的脉冲光经脉冲光耦合模块2匀滑、扩束和准直后，照明至脉冲光编码模块3，脉冲光的单脉冲宽度在飞秒到皮秒量级；
68.2)脉冲光编码模块3将脉冲光耦合模块2处理后的脉冲光进行编码，然后编码图样耦合模块4将编码后的脉冲光进行耦合，产生照明光,并与显微镜6配合，将编码的照明光图样耦合成像到样品7表面，编码图案尺寸为m
x
×my
，编码图像更新频率为f
pattern
；
69.其中，编码图样耦合模块4与显微镜6之间设有分束器5，用于对照明光反射；
70.3)样品7经照明光激发后产生荧光信号，荧光信号经显微镜6收集、分束器5透射及信号聚焦模块9聚焦后，聚焦于光谱分光模块10的入口处，形成点荧光信号；
71.4)光谱分光模块10将点荧光信号展开为一维荧光光谱信号；
72.5)条纹相机11对一维荧光光谱信号进行高时间分辨成像，并输出条纹相机11图像，条纹图像尺寸为ms×mt
；
73.6)同步控制模块13同步控制脉冲光源模块1的脉冲光产生、脉冲光编码模块3图样的更新以及条纹相机11的曝光(曝光门)，使得条纹相机11输出n张条纹图像，每张条纹图像对应的编码图像不同，见图2所示；
74.7)数据处理模块12处理条纹相机11输出的n张条纹相机11图像，输出高光谱荧光寿命图像；具体地，如图3所示，数据处理模块12首先采用单像素重建算法处理条纹相机11图像的每个像素对应的n个采样数据，重构出四维数据(二维空间+一维光谱+一维时间)m
x
×my
×ms
×mt
，再使用荧光寿命算法处理时间维度信息，重建出高光谱荧光寿命图像集m
x
×my
×ms
，即获得ms张尺寸为m
x
×my
的寿命图像，每张寿命图像对应于不同的光谱分辨通道；m
x
×my
为编码图案尺寸，m
x
和my分别为投影在样品7上的编码图案在空间横轴和纵轴方向上的像素数，单像素尺寸由脉冲光编码模块3中的数字微镜阵列的像素尺寸决定；ms×mt
为条纹相机11图像尺寸，ms和m
t
分别为条纹图像中光谱和时间轴上的像素数。
75.其中，单像素重建算法根据编码图案类型的不同而不同，如脉冲光编码模块3的编码图案为高斯随机编码图案，则单像素重建算法使用压缩所感知算法；如脉冲光编码模块3的编码图案为哈达玛编码图案(hadamard编码图案)，则单像素重建算法使用逆哈达玛算法；如脉冲光编码模块3的编码图案为傅里叶编码图案，则单像素重建算法使用逆傅里叶算法。以及荧光寿命算法为指数拟合算法或快速荧光寿命算法等。
76.以上仅是对本发明的优选实施方式进行了描述，并不将本发明的技术方案限制于此，本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。
技术特征：1.一种基于条纹相机的高光谱荧光寿命成像系统，其特征在于：包括照明光编码单元(01)、分束器(5)、显微镜(6)、信号处理单元(02)和同步控制模块(13)；所述照明光编码单元(01)包括脉冲光源模块(1)以及沿脉冲光源模块(1)出射光路依次设置的脉冲光耦合模块(2)、脉冲光编码模块(3)、编码图样耦合模块(4)；所述脉冲光源模块(1)用于产生脉冲光，激发样品(7)中的外源标记荧光分子或内源荧光分子，脉冲光波长在荧光分子的激发光谱范围内，单脉冲宽度在飞秒到皮秒量级；所述脉冲光耦合模块(2)用于将脉冲光源模块(1)产生的脉冲光进行匀滑、扩束和准直，并耦合照明至脉冲光编码模块(3)；所述脉冲光编码模块(3)用于将脉冲光耦合模块(2)处理后的脉冲光进行编码；所述编码图样耦合模块(4)用于将编码后的脉冲光进行耦合，产生照明光；所述分束器(5)位于编码图样耦合模块(4)的出射光路上；所述显微镜(6)和信号处理单元(02)分别位于分束器(5)的两个出射光路；显微镜(6)用于将分束器(5)出射的照明光成像于样品(7)表面，以及用于收集样品(7)经照明光激发后产生的荧光信号，分束器(5)用于将显微镜(6)收集的荧光信号出射至信号处理单元(02)；所述信号处理单元(02)包括依次设在分束器(5)出射光路上的信号聚焦模块(9)、光谱分光模块(10)、条纹相机(11)和数据处理模块(12)；所述信号聚焦模块(9)用于将荧光信号聚焦在光谱分光模块(10)的入口处，形成点荧光信号；所述光谱分光模块(10)用于将点荧光信号展开为一维荧光光谱信号；所述条纹相机(11)用于对一维荧光光谱信号进行高时间分辨成像，并输出n张条纹相机(11)图像；所述数据处理模块(12)用于处理条纹相机(11)输出的n张条纹相机(11)图像，输出高光谱荧光寿命图像；所述同步控制模块(13)同步控制脉冲光源模块(1)的脉冲光产生、脉冲光编码模块(3)图样的更新以及条纹相机(11)的曝光。2.根据权利要求1所述基于条纹相机的高光谱荧光寿命成像系统，其特征在于：所述脉冲光编码模块(3)的编码图案为高斯随机编码图案或哈达玛编码图案或傅里叶编码图案。3.根据权利要求1所述基于条纹相机的高光谱荧光寿命成像系统，其特征在于：所述脉冲光编码模块(3)为数字微镜阵列；所述分束器(5)为二向色镜分束器。4.根据权利要求1至3任一所述基于条纹相机的高光谱荧光寿命成像系统，其特征在于：所述显微镜(6)位于分束器(5)的反射光路上，信号处理单元(02)位于分束器(5)的透射光路；所述信号处理单元(02)还包括位于分束器(5)和信号聚焦模块(9)之间的反射镜(8)。5.一种基于条纹相机的高光谱荧光寿命成像方法，其特征在于，包括以下步骤：1)脉冲光源模块(1)产生的脉冲光经脉冲光耦合模块(2)匀滑、扩束和准直后，照明至脉冲光编码模块(3)；2)脉冲光编码模块(3)将脉冲光耦合模块(2)处理后的脉冲光进行编码，然后编码图样
耦合模块(4)将编码后的脉冲光进行耦合，产生照明光,并与显微镜(6)配合，将编码的照明光图样耦合成像到样品(7)表面；其中，编码图样耦合模块(4)与显微镜(6)之间设有分束器(5)；3)样品(7)经照明光激发后产生荧光信号，荧光信号经显微镜(6)收集、分束器(5)及信号聚焦模块(9)聚焦后，聚焦于光谱分光模块(10)的入口处，形成点荧光信号；4)光谱分光模块(10)将点荧光信号展开为一维荧光光谱信号；5)条纹相机(11)对一维荧光光谱信号进行高时间分辨成像，并输出n张条纹相机(11)图像；6)同步控制模块(13)控制所述脉冲光源模块(1)的脉冲光产生、脉冲光编码模块(3)图样的更新以及条纹相机(11)的曝光，使得条纹相机(11)输出n张条纹图像，每张条纹图像对应的编码图像不同；7)数据处理模块(12)处理条纹相机(11)输出的n张条纹相机(11)图像，输出高光谱荧光寿命图像。6.根据权利要求5所述基于条纹相机的高光谱荧光寿命成像方法，其特征在于：步骤1)中，脉冲光的单脉冲宽度在飞秒到皮秒量级。7.根据权利要求6所述基于条纹相机的高光谱荧光寿命成像方法，其特征在于，步骤7)具体为：数据处理模块(12)首先采用单像素重建算法处理条纹相机(11)图像每个像素对应的n个采样数据，重构出四维数据(x，y，λ，t)m
x
×
m
y
×
m
s
×
m
t
，再使用荧光寿命算法处理时间维度信息，重建出高光谱荧光寿命图像集m
x
×
m
y
×
m
s
，即获得m
s
张尺寸为m
x
×
m
y
的寿命图像，每张寿命图像对应于不同的光谱分辨通道；其中，m
x
×
m
y
为编码图案尺寸，m
x
和m
y
分别为投影在样品(7)上的编码图案在空间横轴和纵轴方向上的像素数，单像素尺寸由脉冲光编码模块(3)中的数字微镜阵列的像素尺寸决定；m
s
×
m
t
为条纹相机(11)图像尺寸，m
s
和m
t
分别为条纹图像中光谱和时间轴上的像素数。8.根据权利要求7所述基于条纹相机的高光谱荧光寿命成像方法，其特征在于：步骤2)中，所述脉冲光编码模块(3)的编码图案为高斯随机编码图案或哈达玛编码图案或傅里叶编码图案；步骤7)中，所述单像素重建算法为压缩所感知算法或逆哈达玛算法或逆傅里叶算法。9.根据权利要求8所述基于条纹相机的高光谱荧光寿命成像方法，其特征在于：步骤7)中，所述荧光寿命算法为指数拟合算法或快速荧光寿命算法。
技术总结本发明提供一种基于条纹相机的高光谱荧光寿命成像系统及方法，解决现有光谱荧光寿命成像技术存在获取速度慢、光谱分辨率低，或数据获取时间在分钟甚至小时量级、光谱分辨通道数受限的问题。该系统包括脉冲光源模块、脉冲光耦合模块、脉冲光编码模块、编码图样耦合模块、分束器、设在分束器两个出射光路的显微镜和信号处理单元及同步控制模块；脉冲光源模块产生的脉冲光经脉冲光耦合模块、脉冲光编码模块、编码图样耦合模块、分束器、显微镜成像于样品表面，样品经激发后产生的荧光信号经显微镜、分束器进入信号处理单元；信号处理单元包括依次设在分束器出射光路上的信号聚焦模块、光谱分光模块、条纹相机和数据处理模块。条纹相机和数据处理模块。条纹相机和数据处理模块。
技术研发人员：李亚晖 李杭 田进寿 何凯 高贵龙 张敏睿 薛彦华
受保护的技术使用者：中国科学院西安光学精密机械研究所
技术研发日：2022.02.17
技术公布日：2022/7/5
