本技术涉及通信,尤其涉及语义通信图像处理方法、系统、设备和存储介质。
背景技术:
1、正交多址接入(orthogonal multiple access,oma)技术是一种无线通信系统中的多用户接入方式,考虑时域、频域、空域、功率域等物理资源的正交分配来实现多用户区分,确保不同用户间的信号正交,有效地避免多用户间干扰。但是目前正交多址技术的每个正交信道的用户容量已经接近香农极限,用户接入数量受限。
2、相关技术中通过在基站设定复杂算法来区分不同用户的信号,这种情况下基站接收机复杂度较高,并且用户数量的增加,会指数级增大用户间的信号干扰,进一步加大接收机的处理难度。
技术实现思路
1、本技术实施例的主要目的在于提出语义通信图像处理方法、系统、设备和存储介质,能够降低基站的处理难度,提升基站的处理效率,提升通信传输效率。
2、为实现上述目的,本技术实施例的第一方面提出了一种语义通信图像处理方法,应用于发射端,所述方法包括:
3、利用特征提取单元提取信源图像的语义特征向量;
4、对所述语义特征向量进行量化得到离散语义特征向量,并利用数字调制单元对所述离散语义特征向量进行调制得到语义特征信号;
5、根据所述发射端对应的发射功率、信道状态信息和所述语义特征信号得到发射信号;
6、将所述发射信号传输至基站,以使得所述基站接收到多个不同的所述发射端的所述发射信号构成的总接收信号,对所述总接收信号进行信道均衡,得到对应于每个发射端的估计信号,并将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理,得到所述信源图像对应的目标图像处理数据。
7、在一些实施例,所述对所述语义特征向量进行量化得到离散语义特征向量,包括:
8、将所述语义特征向量输入线性层,得到量化位数对应的线性向量;
9、将所述线性向量中大于或等于零的值,量化为一,否则量化为零,得到所述离散语义特征向量。
10、在一些实施例,所述根据所述发射端对应的发射功率、信道状态信息和所述语义特征信号得到发射信号,包括:
11、获取所述信道状态信息的共轭转置矩阵;
12、根据所述发射功率和所述共轭转置矩阵得到每个所述发射端对应的发射参数;
13、根据所述发射参数和所述语义特征信号的乘积得到所述发射信号,所述总接收信号为累加所述发射信号和噪声向量得到的。
14、在一些实施例,所述信源图像包括待分类图像或待重构图像;
15、当所述信源图像为待分类图像时,所述语义推理模型为神经网络模型,所述目标图像处理数据为所述待分类图像的分类结果;
16、当所述信源图像为待重构图像时,所述特征提取单元为编码器单元,所述语义推理模型为译码器单元,所述目标图像处理数据为对应于所述待重构图像的重构结果。
17、在一些实施例,当所述特征提取单元为编码器单元,所述利用特征提取单元提取信源图像的语义特征向量,包括:
18、利用第一编码块对所述信源图像进行第一次下采样以及自注意力处理后,得到第一特征图,所述第一特征图的宽度和高度均为所述信源图像的一半;
19、利用第二编码块对所述第一特征图进行第二次下采样以及自注意力处理后,得到第二特征图,所述第二特征图的宽度和高度均为所述第一特征图的一半;
20、利用第三编码块对所述第二特征图进行第三次下采样以及自注意力处理后,进行编码得到所述语义特征向量。
21、为实现上述目的,本技术实施例的第二方面提出了一种语义通信图像处理方法,应用于基站,所述方法包括:
22、获取总接收信号,所述总接收信号根据至少一个所述发射端的发射信号得到,所述发射信号为根据第一方面任一项所述的语义通信图像处理方法得到;
23、对所述总接收信号进行信道均衡,得到对应于每个发射端的估计信号;
24、将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理,得到所述信源图像对应的目标图像处理数据。
25、在一些实施例,所述对所述总接收信号进行信道均衡,得到对应于每个发射端的估计信号,包括:
26、根据所述信道状态信息和所述共轭转置矩阵得到估计系数;
27、根据所述估计系数和所述总接收信号的乘积得到所述估计信号。
28、在一些实施例,当所述语义推理模型为神经网络模型,所述将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理之前,所述方法还包括:
29、获取训练数据集,所述训练数据集包括总样本信号和图像处理标签,所述总样本信号由每个所述发送端的根据样本图像生成的发射样本信号得到;
30、根据所述总样本信号得到每个所述发送端对应的估计样本信号;
31、利用所述估计样本信号对所述语义推理模型进行联合训练,得到图像预测结果;
32、根据所述图像处理标签和所述图像预测结果计算得到第一损失值,根据所述发射样本信号和所述总样本信号计算得到第二损失值,根据所述发射样本信号和所述样本图像计算得到第三损失值;
33、根据所述第一损失值、所述第二损失值和所述第三损失值得到总损失值,基于所述总损失值对所述语义推理模型进行权重调整,得到训练好的、对应于每个所述发射端的所述语义推理模型。
34、在一些实施例,当所述语义推理模型为译码器单元,所述将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理之前,所述方法还包括:
35、获取训练数据集,所述训练数据集包括总样本信号和图像处理标签,所述总样本信号由每个所述发送端的根据样本图像生成的发射样本信号得到;
36、根据所述总样本信号得到每个所述发送端对应的估计样本信号;
37、利用所述估计样本信号对所述语义推理模型进行联合训练,得到图像预测结果;
38、根据所述图像处理标签和所述图像预测结果计算得到总损失值;
39、基于所述总损失值对所述语义推理模型进行权重调整,得到训练好的、对应于每个所述发射端的所述语义推理模型。
40、为实现上述目的,本技术实施例的第三方面提出了一种语义通信图像处理系统,包括:
41、多个发射端,所述发射端用于根据第一方面任一项所述的语义通信图像处理方法得到对应的发射信号;
42、基站,所述基站用于获取根据所述发射信号得到的总接收信号,并根据第二方面任一项所述的语义通信图像处理方法得到每个所述发射端对应的目标图像处理数据。
43、为实现上述目的,本技术实施例的第四方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面或第二方面所述的方法。
44、为实现上述目的,本技术实施例的第五方面提出了一种存储介质,所述存储介质为存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面或第二方面所述的方法。
45、本技术实施例提出的语义通信图像处理方法、系统、设备和存储介质,利用特征提取单元提取信源图像的语义特征向量,对语义特征向量进行量化得到离散语义特征向量,并利用数字调制单元对离散语义特征向量进行调制得到语义特征信号,根据发射端对应的发射功率、信道状态信息和语义特征信号得到发射信号,将发射信号传输至基站,以使得基站接收到多个不同的发射端的发射信号构成的总接收信号,对总接收信号进行信道均衡,得到对应于每个发射端的估计信号,并将估计信号输入至预先训练好的、与发射端对应的语义推理模型进行语义推理,得到信源图像对应的目标图像处理数据。本技术实施例通过不同发射端对应的特征提取单元提取信源图像的语义特征信号,将特征域分离为多个语义特征的子空间,实现多个用户的语义特征信号在分离的语义特征子空间中进行编码传输,不同用户的离散语义特征向量构成总接收信号,但是彼此之间近似正交,进而降低基站对总接收信号的处理难度,提升基站的处理效率,提升通信传输效率。
1.一种语义通信图像处理方法,其特征在于,应用于发射端,所述方法包括:
2.根据权利要求1所述的语义通信图像处理方法,其特征在于,所述对所述语义特征向量进行量化得到离散语义特征向量,包括:
3.根据权利要求1所述的语义通信图像处理方法,其特征在于,所述根据所述发射端对应的发射功率、信道状态信息和所述语义特征信号得到发射信号,包括:
4.根据权利要求1所述的语义通信图像处理方法,其特征在于,所述信源图像包括待分类图像或待重构图像;
5.根据权利要求4所述的语义通信图像处理方法,其特征在于,当所述特征提取单元为编码器单元,所述利用特征提取单元提取信源图像的语义特征向量,包括:
6.一种语义通信图像处理方法,其特征在于,应用于基站,所述方法包括:
7.根据权利要求6所述的语义通信图像处理方法,其特征在于,所述对所述总接收信号进行信道均衡,得到对应于每个发射端的估计信号,包括:
8.根据权利要求6所述的语义通信图像处理方法,其特征在于,当所述语义推理模型为神经网络模型,所述将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理之前,所述方法还包括:
9.根据权利要求8所述的语义通信图像处理方法,其特征在于,当所述语义推理模型为译码器单元,所述将所述估计信号输入至预先训练好的、与所述发射端对应的语义推理模型进行语义推理之前,所述方法还包括:
10.一种语义通信图像处理系统,其特征在于,包括:
11.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的语义通信图像处理方法。
12.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的语义通信图像处理方法。
