本发明属于智能交通领域，涉及高速公路车辆信息识别，具体涉及一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法。
背景技术：
1、高速公路作为我国交通运输的重要通道，承担着巨大的交通运输任务。在高速公路智能化发展过程中，多源数据融合技术对于高速公路etc收费数据分析具有重要意义。通过对视频抓拍车辆全息感知数据和rsu车辆信息感知数据的融合，可以更全面、准确地分析交通运输需求，制定合理的收费政策；同时有助于提高收费效率，减轻道路压力，提高道路安全性和公路服务水平。
2、目前高速公路etc收费多采用基于车辆号牌字符相似度计算的车辆收费数据匹配的方法，但该技术在处理多传感器采集的车牌信息不一致性时，将面临匹配准确率降低以及无法有效识别大车小标等问题。
3、所以，需要一个新的技术方案来解决这些问题。
技术实现思路
1、发明目的：为了克服现有技术中存在的不足，提供一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其在大语言模型的基础上，针对具体的高速公路门架场景中多源车辆信息数据进行匹配训练，为高速公路门架etc收费提供一定的技术支持。
2、技术方案：为实现上述目的，本发明提供一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，包括如下步骤：
3、s1：对高速公路门架场景中多源车辆信息感知数据进行挖掘和标注；
4、s2：基于步骤s1中标注的数据，构建高速公路门架场景中多源车辆信息匹配融合数据集；
5、s3：基于多源车辆信息匹配流程，构建用于高速公路门架场景中多源车辆信息匹配融合的大语言单智能体结构模型llmsa-mvimf-egs；
6、s4：根据步骤s2的融合数据集，通过大语言单智能体结构模型llmsa-mvimf-egs(large language model based single-agent for multi-source vehicle informationmatching and fusion in expressway gantry scenes)输出多源车辆信息匹配融合结果。
7、进一步地，所述步骤s1中高速公路门架场景中多源车辆信息感知数据包括视频抓拍车辆全息感知数据和rsu车辆信息感知数据；
8、视频抓拍车辆全息感知数据包括车辆号牌信息、车辆通过时间、车辆类型信息等，并分别对车辆号牌信息、车辆通过时间进行预处理；rsu车辆感知数据主要包括车辆号牌信息、车辆通过时间、车辆交易结果、车辆类型信息等，并分别对车辆通过时间、车辆交易结果、车辆类型信息进行预处理。
9、进一步地，所述步骤s1中结合基于字符比较的文本信息匹配融合方法与基于无监督对比学习的文本信息匹配融合方法构建用于高速公路门架场景中多源车辆信息感知数据标注的流程，具体为：对高速公路门架场景中多源车辆信息感知数据进行标注，在标注过程中，主要依据车牌特征和时间特征进行数据匹配，并假设相同车辆交易数据的车牌信息字符容许存在两个及以下的误差；对于时间特征，鉴于同一车辆号牌的车辆可能在同一天内多次经过门架，为了减少计算成本并提高数据标注的时效性与准确性，可以通过设置一辆车通过时间上下五分钟的时间窗口以缩小数据检索范围；对于视频抓拍车辆全息感知数据中的任意一条数据ai，首先提取其车辆通过时间数据ti，并将其前后五分钟划分为一个时间段，然后在rsu车辆信息感知数据集中寻找时间信息符合该时间段要求的数据(bi1,bi2……bij)，并将检索范围从整个rsu车辆信息感知数据集减少到符合时间条件的j条数据；
10、经过标注之后，共得到一定数量的匹配融合成功、匹配融合失败和无车辆号牌数据，匹配融合成功数据包含车辆号牌完全一致数据和车辆号牌大致一致数据。
11、进一步地，所述步骤s2中构建高速公路门架场景中多源车辆信息匹配融合数据集的具体过程为：
12、s2-1：将同时满足车辆号牌特征与车辆类型特征一致的数据作为正样本，将不同时满足车辆号牌特征与车辆类型特征一致的数据作为负样本；
13、s2-2：将正样本数据对增加标签label“1”，将负样本数据对增加标签label“0”；训练集中包含车牌完全一致与车牌大致一致的数据集正样本和数据集负样本，验证集和测试集中仅包含车牌大致一致的数据集正样本和数据集负样本；数据集正样本与数据集负样本的数据比例为1:1，训练集中车辆号牌完全一致和车辆号牌大致一致的数据比例为1:1，训练集、验证集和测试集中车辆号牌大致一致的数据集正样本和数据集负样本的数据比例为6:2:2。
14、进一步地，所述步骤s3中大语言单智能体结构模型llmsa-mvimf-egs包括single-agent模块、大语言模型和信息输出模块；
15、所述single-agent模块用于生成高速公路门架场景中的提示词与待匹配数据至大语言模型；
16、所述大语言模型用于根据提示词的要求与待匹配数据进行预测，并输出匹配结果；
17、所述信息输出模块用于对匹配结果数据进行分类保存。
18、进一步地，所述single-agent模块中构建的提示词由大语言模型扮演的角色、提问背景、上下文信息、输入数据、期望输出结果和特殊要求六个部分组成；对于大语言模型扮演的角色，提示词将其设定为专业的数据分析师；对于提问背景，提示词将其设定为车辆号牌与车辆类型的分类问题；对于上下文信息，提示词输入车辆号牌与车辆类型的分类准则；对于输入数据，提示词将构建的高速公路门架场景中多源车辆信息匹配融合数据测试集作为输入；对于期望输出结果，提示词要求大语言模型依照识别结果输出是或否；对于特殊要求，提示词要求大语言模型的输出结果长度控制在1个字符内，模型在比较车辆号牌地区代码和字母数字序列时，需要重视序列的包含关系而非相应对应关系，且在比较过程中对存在的不同点的字符不会额外计算。
19、进一步地，所述大语言模型为classify gpt4模块，在classify gpt4模块中的transformer模块采用causal decoder架构，以full language modeling作为预测目标，生成待匹配数据的分类结果(0/1)。
20、进一步地，本发明中构建基于大语言单智能体的多源车辆信息匹配流程：首先，将高速公路门架场景中的多源车辆感知数据输入单智能体结构模型，单智能体结构模型进行问题内容增强任务，并将车辆号牌数据与车辆类型数据相结合，转化为输入大语言模型的数据格式，分别生成高速公路门架场景中的提示词与待匹配数据；其次，单智能体结构模型将提示词输入大语言模型，大语言模型根据提示词中的大语言模型扮演的角色、提问背景、上下文信息、输入数据样例、期望输出结果和特殊要求等信息学习任务内容；然后，单智能体结构模型依次将待匹配数据输入大语言模型，大语言模型根据提示词的要求与待匹配数据进行预测，并输出匹配结果(0/1)；最后，单智能体结构模型根据匹配结果对待匹配数据进行分类保存。如果匹配结果为0，则将该组数据标注为匹配失败数据；如果匹配结果为1，则计算该组数据的车辆通过时间差，将时间差在本发明中所统计匹配成功范围内的数据标注为匹配成功数据，反之则标注为结果存疑数据，用于人工后期二次核查。
21、基于上述匹配流程，所述步骤s4的具体过程为：
22、s4-1：将高速公路门架场景中多源车辆信息测试集输入single-agent模块；其中，视频抓拍车辆全息感知数据集包含车辆号牌数据(pa1,pa2…pan)、车辆类型数据(va1,va2…van)、通过时间数据(ta1,ta2…tan)；rsu车辆信息感知数据集包含车辆号牌数据(pb1,pb2…pbn)、车辆类型数据(vb1,vb2…vbn)、通过时间数据(tb1,tb2…tbn)；
23、s4-2：single-agent模块将模型扮演的角色、提问背景、上下文信息、输入数据样例、期望输出结果和特殊要求这些信息输入大语言模型，帮助分类车辆号牌信息与车辆类型信息的大语言模型classify gpt4了解工作任务要求；single-agent模块将视频抓拍车辆全息感知数据集中的车辆号牌数据pai和车辆类型数据vai与rsu车辆信息感知数据集中的车辆号牌数据pbi和车辆类型数据vbi，转化为输入大语言模型的数据格式(pai+vai,pbi+vbi)，作为待匹配数据输入classify gpt4模块；
24、s4-3：在classify gpt4模块的transformer模块采用causal decoder架构，以full language modeling作为预测目标，生成待匹配数据的分类结果(0/1)，single-agent模块将分类结果保存为待匹配数据(pai+vai,pbi+vbi)的标签label-i，然后重复输入下一条待匹配数据(pai+1+vai+1,pbi+1+vbi+1)，直至所有数据匹配融合完毕，并将所有数据输出至信息输出模块；
25、s4-4：信息输出模块根据待匹配数据(pai+vai,pbi+vbi)的标签label-i将数据分类保存，具体为：如果label-i为0，则将该组数据的原始数据对(pai,vai,tai)、(pbi,vbi,tbi)与标签label-i保存至匹配失败数据集；如果label-i为1，则进行下一步判别；信息输出模块计算视频抓拍车辆全息感知数据集中的通过时间数据tai与rsu车辆信息感知数据集中的通过时间数据tbi进行作差，计算车辆通过时间差ti＝(tai-tbi)；信息输出模块对ti进行判别，如果ti在(-30s,120s)范围内，则将该组数据的原始数据对(pai,vai,tai)、(pbi,vbi,tbi)与标签label-i保存至匹配成功数据集；如果ti超出(-30s,120s)范围，则将原始数据对(pai,vai,tai)、(pbi,vbi,tbi)与标签label-i保存至结果存疑数据集。
26、有益效果：本发明与现有技术相比，其在大语言模型的基础上，针对具体的高速公路门架场景中多源车辆信息数据进行匹配训练和预测，匹配融合准确率超过98％，能够有效匹配视频抓拍车辆全息感知数据和rsu车辆信息感知数据，为高速公路etc智能化收费系统提供一定的技术支持。
1.一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述步骤s1中高速公路门架场景中多源车辆信息感知数据包括视频抓拍车辆全息感知数据和rsu车辆信息感知数据；
3.根据权利要求2所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述步骤s1中结合基于字符比较的文本信息匹配融合方法与基于无监督对比学习的文本信息匹配融合方法构建用于高速公路门架场景中多源车辆信息感知数据标注的流程，具体为：对高速公路门架场景中多源车辆信息感知数据进行标注，在标注过程中，依据车牌特征和时间特征进行数据匹配，并假设相同车辆交易数据的车牌信息字符容许存在两个及以下的误差；对于时间特征，通过设置一辆车通过时间上下五分钟的时间窗口以缩小数据检索范围；对于视频抓拍车辆全息感知数据中的任意一条数据ai，首先提取其车辆通过时间数据ti，并将其前后五分钟划分为一个时间段，然后在rsu车辆信息感知数据集中寻找时间信息符合该时间段要求的数据(bi1,bi2……bij)，并将检索范围从整个rsu车辆信息感知数据集减少到符合时间条件的j条数据；
4.根据权利要求3所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述步骤s2中构建高速公路门架场景中多源车辆信息匹配融合数据集的具体过程为：
5.根据权利要求1所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述步骤s3中大语言单智能体结构模型llmsa-mvimf-egs包括single-agent模块、大语言模型和信息输出模块；
6.根据权利要求5所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述single-agent模块中构建的提示词由大语言模型扮演的角色、提问背景、上下文信息、输入数据、期望输出结果和特殊要求六个部分组成；对于大语言模型扮演的角色，提示词将其设定为专业的数据分析师；对于提问背景，提示词将其设定为车辆号牌与车辆类型的分类问题；对于上下文信息，提示词输入车辆号牌与车辆类型的分类准则；对于输入数据，提示词将构建的高速公路门架场景中多源车辆信息匹配融合数据测试集作为输入；对于期望输出结果，提示词要求大语言模型依照识别结果输出是或否；对于特殊要求，提示词要求大语言模型的输出结果长度控制在1个字符内，模型在比较车辆号牌地区代码和字母数字序列时，需要重视序列的包含关系而非相应对应关系，且在比较过程中对存在的不同点的字符不会额外计算。
7.根据权利要求6所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述大语言模型为classify gpt4模块，在classify gpt4模块中的transformer模块采用causal decoder架构，以full languagemodeling作为预测目标，生成待匹配数据的分类结果。
8.根据权利要求7所述的一种基于单智能体结构大语言模型的高速公路门架场景中多源车辆信息匹配融合方法，其特征在于，所述步骤s4的具体过程为：
