1.本发明涉及数据分析技术领域，尤其涉及一种基于国产超光谱卫星量化大气臭氧污染来源的方法与系统。
背景技术：2.准确量化影响大气污染物影响因素是制定污染控制措施的基础。现有研究中，虽提出温度、湿度等气象因素和人为排放均对污染物浓度的变化产生影响，但是这些研究没有准确地将其量化进行分析。
3.广义可加模型(gam模型)可以很好地处理因变量与多个自变量之间的非线性关系，具有自动化、正则化、可解释性等优点。有研究证明，广义可加模型可以避免一些复杂算法，找到最合理的方式解释实际科学研究中所遇到的问题。但是，目前并没有将广义可加模型应用与大气污染物影响因素分析的相关方案。
技术实现要素：4.本发明的目的是提供一种基于国产超光谱卫星量化大气臭氧污染来源的方法与系统，针对大气臭氧污染来源进行量化，有助于制定污染控制措施。
5.本发明的目的是通过以下技术方案实现的：
6.一种基于国产超光谱卫星量化大气臭氧污染来源的方法，包括：
7.获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据；
8.将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量；
9.将所有筛选出的自变量整合为综合的自变量，并构建多因素模型；
10.将所有筛选出的自变量分为气象因子与人为因子，利用多因素模型的输出，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。
11.一种基于国产超光谱卫星量化大气臭氧污染来源的系统，包括：
12.数据获取单元，用于获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据；
13.单因素模型构建与自变量筛选单元，用于将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量；
14.多因素模型构建单元，用于利用主成分分析法将所有筛选出的自变量整合为综合的自变量，并构建多因素模型；
15.量化单元，用于将所有筛选出的自变量分为气象因子与人为因子，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。
16.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
17.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
18.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
19.由上述本发明提供的技术方案可以看出，基于广义可加模型对大气臭氧污染的影响因素进行了分析，能够了解不同因素对于臭氧浓度变化的影响过程，量化气象条件和控制措施的相对贡献。
附图说明
20.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
21.图1为本发明实施例提供的一种基于国产超光谱卫星量化大气臭氧污染来源的方法的流程图；
22.图2为本发明实施例提供的残差检验图；
23.图3为本发明实施例提供的各因子对大气臭氧浓度的边际效应的示意图；
24.图4为本发明实施例提供的气象因子和人为因子对大气臭氧浓度的相对贡献的示意图；
25.图5为本发明实施例提供的基于国产超光谱卫星量化大气臭氧污染来源的系统的示意图；
26.图6为本发明实施例提供的一种处理设备的示意图。
具体实施方式
27.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
28.首先对本文中可能使用的术语进行如下说明：
29.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
30.下面对本发明所提供的一种基于国产超光谱卫星量化大气臭氧污染来源的方法与系统进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用仪器未注明生产厂商者，均为可以通过市售购买获得的常规
产品。
31.如图1所示，基于国产超光谱卫星量化大气臭氧污染来源的方法，主要包括如下步骤：
32.1、获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据。
33.本发明实施例中，所述卫星观测数据包括：臭氧(o3)浓度、二氧化氮(no2)浓度、一氧化碳(co)浓度及pm
2.5
浓度；此处的二氧化氮浓度、一氧化碳浓度及pm
2.5
浓度均为所述其他痕量气体浓度。由于臭氧检测仪(omi)具有光谱性能稳定、信噪比高、时间覆盖率较长等优点，因此，可以从omi一级数据中获取对流层o3、no2、co和pm
2.5
的卫星观测数据。此处各类卫星观测数据可通过国产超光谱卫星采集。
34.本发明实施例中，所述气象数据中的气象因子主要包括：纬向风(u)、经向风(v)、温度(temp)、压强(pres)、相对湿度(rh)、边界层高度(blh)、下行短波太阳辐射量(dsr)和降雨量(precip)。示例性的，可从欧洲中期天气预报中心的第五代大气再分析数据集(era-5)中获取。
35.2、将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量。
36.本发明实施例中，所述广义可加模型通过一个链接函数建立因变量的均值和自变量的平滑函数之间的关系。此处将大气臭氧柱浓度作为因变量，选择log函数作为链接函数构建广义可加模型，表示为：
[0037][0038]
其中，c表示臭氧浓度，使用每日臭氧浓度值；ε为拟合残差，s(x)表示第i个自变量的平滑函数项，n为自变量数目。
[0039]
考虑到短期时间持久性和控制时序残差的自相关，自变量不仅包括了纬向风、经向风、水汽混合比、下行短波太阳辐射、降水和温度等气象因子(属于气象数据)和no2、co、pm
2.5
柱浓度(属于痕量气体浓度)，还包括了一个时间变量天数(daynum)，用于解释空气质量的季节、日变化。
[0040]
本发明实施例中，将各自变量(响应变量)分别单独输入至广义可加模型，构建多个单因素模型。之后，通过summary()函数查看各个自变量对大气臭氧浓度变化的影响程度，获得显著性概率p’(为后面筛选用于构建多因素模型的自变量提供参考依据)，当p’大于设定阈值(例如，p’》0.05)时将该响应变量舍弃。此处的summary()函数主要用来获取由模型生成的拟合对象并从中生成各种有用的信息，最终筛选出用于构建多因素模型的自变量。
[0041]
3、利用主成分分析法将所有筛选出的自变量整合为综合的自变量，并构建多因素模型。
[0042]
本发明实施例中，为消除各响应变量之间可能存在的多重共线性，影响广义可加模型的性能；因此，基于降维的思想，利用主成分分析法(pca)将筛选出的自变量(即筛选出的气象因子和其他痕量气体浓度)整合为多个综合的自变量。新的综合自变量由几个变量的线性组合表示，且它们之间相互独立，互不相关。
[0043]
本发明实施例中，构建多因素模型时，可以参照前述步骤2提供的模型公式，将所述臭氧浓度作为因变量，结合综合的自变量，选择log函数作为链接函数，基于r语言mgcv包中的gam()函数构建多因素模型。
[0044]
4、利用数据集对广义可加模型的残差进行自相关检测并评估模型性能。
[0045]
本发明实施例中，利用数据集对广义可加模型的残差进行自相关检测，检查是否存在拖尾现象。并且将观测数据划分为训练集和测试集，基于综合评价指标对广义可加模型预测值和实际观测值进行比较，评估广义可加模型的重现性和预报性能；综合评价指标表示为：
[0046][0047]
其中，y代表综合评价指标，p为皮尔逊相关系数(pearson’s r)，b为平均偏差(mean bias)，r为均方根误差(root mean square error)；y值越接近于1，说明广义可加模型的重现性和预报性能越好。
[0048]
本步骤主要是针对模型进行验证，从后续量化过程没有直接顺序关系。本领域技术人员可以理解，模型的训练为选择部分数据集作为已构建多因素模型的输入，对测试集对应时间段进行预测，并将结果与实际数据进行对比，该过程目的是为了检测模型性能。
[0049]
5、利用多因素模型的输出的自由度的值来判断筛选出的单个自变量与臭氧浓度之间是否存在非线性关系。
[0050]
多因素模型的输入是研究时间范围内该区域臭氧的浓度以及筛选出的各个自变量的值，可以通过summary()函数获取多因素模型的输出，包括f值、edf等，并且利用模型计算出的拟合值等绘图，进行更直观的分析。
[0051]
本发明实施例中，使用100％
×
(exp(s(x)-1))来解释gam模型中的各因子对大气臭氧浓度的边际效应，量化单个自变量对臭氧浓度的相对百分比贡献，分析臭氧浓度随单个因子的变化趋势。
[0052]
同时，还可以基于自由度的值来判断每一自变量与臭氧浓度之间是否存在复杂的非线性关系(当edf》1时表示非线性关系)，该判断结果为独立的一部分结果；其中，edf表示多因素模型的输出的自由度的值，edf可以通过summary()函数直接获得。
[0053]
6、将所有筛选出的自变量分为气象因子(s(metos))与人为因子(s(non_meteos))，利用多因素模型的输出，计算两类因子对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。
[0054]
本发明实施例中，人为因子对应前文提到的各个类别的痕量气体浓度，当然此处只考虑前述步骤2筛选出的类别，也就是说，人为因子仅为筛选出的其他痕量气体浓度；同样的，气象因子也仅包含筛选后的类别。
[0055]
此处的相关表达式为：
[0056]
[0057][0058]
其中，rm、rn分别代表筛选出的所有气象因子和人为因子对大气臭氧浓度的影响因子，cm、cn分别表示筛选出的所有气象因子和人为因子对臭氧浓度的相对贡献的量化结果，s
mi
、s
ni
分别表示第i年气象因子、人为因子解释的臭氧变化的年均值，各自表示所有s
mi
、s
ni
的均值，mi代表第i年气象因子的年均值，表示所有mi的均值，n表示研究时间范围的年份总数，s
mi
、s
ni
与mi均为多因素模型的输出；s
m0
代表初始年份气象因素的年均值，m0代表初始年份臭氧浓度的年均值。
[0059]
此外，还可以基于上述计算结果计算多因素模型的残差，以验证多因素模型的性能。
[0060][0061][0062]
其中，m表示研究时间范围内的臭氧浓度的均值，表示大气臭氧浓度的相对变化，r为残差。
[0063]
图2、图3与图4提供了上述方案的相关示意图；其中，图2为残差检验图，上下分别是acf图和pacf图。图3为各因子对大气臭氧浓度的边际效应的示意图，图3各部分线图代表各影响变量的边际效应，即假设其他变量不产生影响时该影响变量与臭氧浓度变化之间的非线性关系，实线为边际效应，两条虚线为95％置信区间；图4为气象因素和人为因子对大气臭氧浓度的相对贡献的示意图，a部分为臭氧实际观测值与gam模型拟合值的对比，黑点为臭氧的每日实际观测值，线条为gam模型拟合值构成；b部分为气象因素对臭氧浓度相对贡献和实际观测值的对比，c部分为人为因子对臭氧浓度相对贡献和实际观测值的对比，bc两部分上下部分分别对应正、负示例，黑线代表窗口为15天的移动平均线，r代表两者的相关性。
[0064]
本发明另一实施例还提供一种基于国产超光谱卫星量化大气臭氧污染来源的系统，其主要用于实现前述实施例提供的方法，如图5所示，该系统主要包括：
[0065]
数据获取单元，用于获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据；
[0066]
单因素模型构建与自变量筛选单元，用于将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量；
[0067]
多因素模型构建单元，用于利用主成分分析法将所有筛选出的自变量整合为综合的自变量，并构建多因素模型；
[0068]
检测单元，用于利用数据集对广义可加模型的残差进行自相关检测；
[0069]
判断单元，用于利用多因素模型的输出的自由度的值来判断筛选出的单个自变量与臭氧浓度之间是否存在非线性关系；
[0070]
量化单元，用于将所有筛选出的自变量分为气象因子与人为因子，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。
[0071]
本发明另一实施例还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0072]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0073]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
[0074]
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
[0075]
输出设备可以为显示终端；
[0076]
存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
[0077]
本发明另一实施例还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0078]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0079]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
技术特征：1.一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，包括：获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据；将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量；将所有筛选出的自变量整合为综合的自变量，并构建多因素模型；将所有筛选出的自变量分为气象因子与人为因子，利用多因素模型的输出，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。2.根据权利要求1所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，所述气象数据中的气象因子包括：纬向风、经向风、温度、压强、相对湿度、边界层高度、下行短波太阳辐射量和降雨量；所述卫星观测数据包括：臭氧浓度、二氧化氮浓度、一氧化碳浓度及pm
2.5
浓度；其中，二氧化氮浓度、一氧化碳浓度及pm
2.5
浓度均为所述其他痕量气体浓度。3.根据权利要求1所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，所述将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量包括：将大气臭氧柱浓度作为因变量，选择log函数作为链接函数构建广义可加模型，表示为：其中，c表示臭氧浓度，使用每日臭氧浓度值；ε为拟合残差，s(x)表示第i个自变量的平滑函数项，n为自变量数目；通过summary()函数查看各个自变量对大气臭氧浓度变化的影响程度，获得显著性概率p’，当显著性概率p’大于设定阈值时，将相应自变量法舍弃，最终筛选出用于构建多因素模型的自变量。4.根据权利要求1所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，所述利用主成分分析法将所有筛选出的自变量整合为多个综合的自变量，并构建多因素模型包括：利用主成分分析法将筛选出的自变量整合为综合的自变量；构建多因素模型时，将所述臭氧浓度作为因变量，结合综合的自变量，选择log函数作为链接函数，基于r语言mgcv包中的gam()函数构建多因素模型。5.根据权利要求1所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，所述将所有筛选出的自变量分为气象因子与人为因子，利用多因素模型的输出，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化包括：所述人为因子为筛选出的其他痕量气体浓度，气象因子为筛选后的各类气象因子；计算两类因子对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量
化，表示为：化，表示为：其中，r
m
、r
n
分别代表筛选出的所有气象因子和人为因子对大气臭氧浓度的影响因子，c
m
、c
n
分别表示筛选出的所有气象因子和人为因子对臭氧浓度的相对贡献的量化结果，s
mi
、s
ni
分别表示第i年气象因子、人为因子解释的臭氧变化的年均值，各自表示所有s
mi
、s
ni
的均值，m
i
代表第i年气象因子的年均值，表示所有m
i
的均值，n表示研究时间范围的年份总数，s
mi
、s
ni
与m
i
均为多因素模型的输出；s
m0
代表初始年份气象因素的年均值，m0代表初始年份臭氧浓度的年均值。6.根据权利要求5所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，该方法还包括：计算多因素模型的残差，通过残差验证所述多因素模型的性能；计算多因素模型的残差的公式为：计算多因素模型的残差的公式为：其中，m表示研究时间范围内的臭氧浓度的均值，表示大气臭氧浓度的相对变化，r为残差。7.根据权利要求1所述的一种基于国产超光谱卫星量化大气臭氧污染来源的方法，其特征在于，该方法还包括：利用多因素模型的输出的自由度的值edf来判断筛选出的单个自变量与臭氧浓度之间是否存在非线性关系。8.一种基于国产超光谱卫星量化大气臭氧污染来源的系统，其特征在于，用于实现权利要求1～7任一项所述的方法，该系统包括：数据获取单元，用于获取气象数据，以及包含臭氧浓度与其他痕量气体浓度的卫星观测数据；单因素模型构建与自变量筛选单元，用于将所述臭氧浓度作为因变量，单个类别的痕量气体浓度以及气象数据中单个气象因子的数据均作为自变量，分别输入至预先构建的广义可加模型中，获得多个单因素模型，并利用单因素模型筛选出用于构建多因素模型的自变量；多因素模型构建单元，用于利用主成分分析法将所有筛选出的自变量整合为综合的自变量，并构建多因素模型；量化单元，用于将所有筛选出的自变量分为气象因子与人为因子，计算两类因素对臭氧浓度的影响因子，并对气象因子和人为因子的相对贡献进行量化。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
技术总结本发明公开了一种基于国产超光谱卫星量化大气臭氧污染来源的方法与系统，其基于广义可加模型对大气臭氧污染的影响因素进行了分析，能够了解不同因素对于臭氧浓度变化的影响过程，量化气象条件和控制措施的相对贡献。量化气象条件和控制措施的相对贡献。量化气象条件和控制措施的相对贡献。
技术研发人员：刘诚 张成歆 徐天怡
受保护的技术使用者：中国科学技术大学
技术研发日：2022.04.22
技术公布日：2022/7/5
