音视频数据通信方法、设备及存储介质与流程

allin2024-09-29  93



1.本技术涉及通信技术领域,尤其涉及一种音视频数据通信方法、设备及存储介质。


背景技术:

2.在现有的实时音视频数据通讯方案中,通常分成信令与媒体两部分进行传输,其中,信令部分一般基于可靠传输,而媒体部分则由于实时性额要求,采用不可靠的快速传输方案,也即,信令和媒体采用不同的方式传输,甚至是基于不同的传输层协议,在数据传输上彼此独立,例如,信令采用tcp协议传输,媒体采用udp协议传输,在媒体互通上需要重新探测数据传输链路,而通过多协议多链路的方式建立安全连接的过程复杂重复,浪费网络资源,也导致音视频数据传输的效率较低。


技术实现要素:

3.本技术的主要目的在于提供一种音视频数据通信方法、设备及存储介质,旨在解决现有技术中的音视频数据传输的效率较低的技术问题。
4.为实现上述目的,本技术提供一种音视频数据通信方法,所述音视频数据通信方法应用于第一终端,所述音视频数据通信方法包括:
5.获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
6.基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。
7.为实现上述目的,本技术还提供一种音视频数据通信方法,所述音视频数据通信方法应用于第二终端,所述音视频数据通信方法包括:
8.接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
9.基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据。
10.本技术还提供一种音视频数据通信系统,所述音视频数据通信系统为虚拟系统,所述音视频数据通信系统应用于第一终端,包括:
11.封装模块,获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
12.发送模块,用于基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。
13.本技术还提供一种音视频数据通信系统,所述音视频数据通信系统为虚拟系统,所述音视频数据通信系统应用于第二终端,包括:
14.接收模块,用于接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
15.解码模块,用于基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据。
16.本技术还提供一种音视频数据通信设备,所述音视频数据通信设备为实体设备,所述音视频数据通信设备包括:存储器、处理器以及存储在所述存储器上的音视频数据通信程序,所述音视频数据通信程序被所述处理器执行实现如上述的音视频数据通信方法的步骤。
17.本技术还提供一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储音视频数据通信程序,所述音视频数据通信程序被处理器执行实现如上述的音视频数据通信方法的步骤。
18.本技术提供了一种音视频数据通信方法、设备及存储介质,本技术首先获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接,进而基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据,实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包,从而使得信令数据包和媒体数据包共享单个握手操作和通信密钥,减少终端与服务器之间握手操作所需的等待时间,并且传输不可靠数据(媒体数据包)是在已经建立的预设传输层协议的通信链接上进行传输,可快速的打开关闭不可靠流,减少媒体数据包初次到达的等待时间,从而有效提高数据传输的效率。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
20.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域默认技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
21.图1为本技术音视频数据通信方法第一实施例的流程示意图;
22.图2为本技术音视频数据通信方法第二实施例的流程示意图;
23.图3为本技术音视频数据通信方法第三实施例的流程示意图;
24.图4为本技术实施例方案涉及的硬件运行环境的音视频数据通信设备结构示意图;
25.图5是本技术应用于第一终端的音视频数据通信装置的功能模块示意图;
26.图6是本技术应用于第二终端的音视频数据通信装置的功能模块示意图。
27.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
28.应当理解,此处所描述的具体实施例仅用以解释本技术,并不用于限定本技术。
29.本技术实施例提供一种音视频数据通信方法,在本技术音视频数据通信方法的第一实施例中,参照图1,所述音视频数据通信方法应用于第一终端,所述音视频数据通信方法包括:
30.步骤s10,获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
31.在本实施例中,需要说明的是,由于一般情况下信令数据采用tcp可靠协议传输,媒体数据采用udp不可靠协议传输,由于tcp本身的协议限制,若媒体数据采用信令数据对应的tcp协议进行传输,在网络信号不佳时可能会出现音视频数据延迟大、卡顿、甚至直接断开连接的情况。而在本技术实施例中,在进行音视频数据传输前,将终端与预设服务器建立预设传输层协议的通信链接,其中,所述预设传输层协议为quic(quick udp internet connection)协议,quic协议是一种基于udp(user datagram protocol,用户数据报协议)的可靠传输层网络协议,不需要tcp(transmission control protocol,面向连接的、可靠的、基于字节流的传输层通信协议)的三次握手rtt阶段,只需要1个rtt就可以完成握手,具体地,终端和服务器建立握手连接的过程为:1、终端发送client hello给服务器,请求通信密钥的参数;2、服务器返回对应的参数和公钥给终端;3、终端收到参数以及服务器的公钥,生成通信密钥,然后将自己公钥发给服务器,此时,终端可利用通信密钥加密数据进行传输;4、服务器收到终端的公钥后,得出对应的通信密钥,可解密终端发来的数据。因此,仅仅1个rtt,终端和服务器就可以生成对称密钥,从而实现安全可靠连接。
32.进一步需要说明的是,在音视频数据通信过程中,会存在至少两个终端进行通信(本技术中的第一终端和第二终端),其中,第一终端和第二终端均预先与预设服务器建立quic链接,第一终端可通过所述预设服务器与所述第二终端进行音视频会话连接通道,第一终端和第二终端为相同的终端,所述终端可以为电脑、也可以为智能手机、pad等终端通信装置,所述音视频数据通信方法应用于不同音视频通信场景,例如,在线远程医疗业务场景中的医生用户和患者用户、在线教育业务场景的教师用户和学生用户、视频会议业务场景中的主持人用户、发言人用户和参会用户等,均使用终端通过服务器实现实时在线高清音视频通信。
33.具体地,第一终端获取终端应用中的音视频数据,进而若所述音视频数据为所述信令数据,则基于quic协议标准的数据封装方法,将所述信令数据包进行编码形成可靠数据包,进一步地,基于在建立链接阶段协商好的通信密钥,对所述可靠数据包进行加密封装,得到所述信令数据包,从而将所述信令数据包通过所述预设服务器发送至第二终端,进而若所述音视频数据为所述媒体数据,需检测当前是否需要发送媒体数据,例如,a用户和b用户在进行视频通话时,服务器会将a用户的通话请求给b用户,当b用户接收通话请求后,则需要将a用户的媒体数据发送至b用户,如果b用户拒绝通话请求或者该通话请求在预设时间内无人响应,则无需发送媒体数据,其中,视频通话请求可作为信令数据包,进一步地,若需要发送媒体数据,则按照预设不可靠协议,将所述媒体数据包进行编码形成各不可靠数据包,其中,所述预设不可靠协议包括udp、rtp/rtcp协议等,为了达到良好的兼容性,优
选地,所述预设不可靠协议为rtp/rtcp协议,得到各rtp/rtcp不可靠数据包,进一步地,为了提高数据传输的效率,根据各个不可靠数据包的数据长度,判断是否需要合并各所述不可靠数据包,若是,则将各所述不可靠数据包进行合并,并计算合并后的不可靠数据包的数据长度,进而将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包,若否,则分贝为各所述不可靠数据包添加上第二帧类型信息,得到目标帧类型数据包,其中,需要说明的是,第一帧类型信息和第二帧类型信息的区别在于:第一帧类型信息设有数据长度的标记,例如,第一帧类型信息为0x21,第二帧类型信息为0x20,其中,帧类型的最后一位表示是否包含数据长度,1表示有数据长度字段;0表示没有数据长度字段,进一步地,基于所述通信密钥,将所述目标帧类型数据包进行加密封装,得到所述媒体数据包。从而将媒体数据封装形成拓展的媒体数据包,使得信令数据和媒体数据基于同一个已建立的quic通信链接上进行传输,其中,信令数据和媒体数据按照不同数据封装成机制形成,但是两者共享可靠的通信密钥。
34.步骤s20,基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。
35.在本实施例中,具体地,基于quic的通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至所述预设服务器中,进而通过所述预设服务器将所述信令数据包和/或媒体数据包发送至第二终端,从而使得第二终端在接收到所述音视频数据包时,若检测到不属于终止reset数据包,则判断所述音视频数据包属于媒体数据包还是信令数据包,若所述音视频数据包的帧类型信息为预先设置的第一帧类型信息或第二帧类型信息,则确定所述音视频数据包为所述媒体数据包,并基于所述通信密钥,对所述媒体数据包进行解码,得到所述媒体数据,若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息,则确定所述音视频数据包为所述信令数据包,并基于所述通信密钥,对所述信令数据包进行解码,得到所述信令数据,并将所述媒体数据或者信令数据传输至对应的终端应用上进行播放。
36.本技术实施例通过上述方案,也即获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接,进而基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据,实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包,从而使得信令数据包和媒体数据包共享单个握手操作和通信密钥,减少终端与服务器之间握手操作所需的等待时间,并且传输不可靠数据(媒体数据包)是在已经建立的预设传输层协议的通信链接上进行传输,可快速的打开关闭不可靠流,减少媒体数据包初次到达的等待时间,从而有效提高数据传输的效率。
37.进一步地,参照图2,基于本技术中第一实施例,在本技术的另一实施例中,所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括:
38.步骤a10,当所述音视频数据为所述媒体数据包时,判断是否需要发送所述媒体数据包;
39.步骤a20,若需要,则按照预设不可靠协议,将所述媒体数据包进行编码形成各不
可靠数据包;
40.步骤a30,按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包。
41.在本实施例中,具体地,当所述音视频数据为所述媒体数据包时,需要判断是否需要发送所述媒体数据包,例如,a用户向预设服务器发视频通话请求给b用户,预设服务器收到视频通话请求后,如果b用户在线,将视频通话请求转发给b用户,如果b用户拒绝请求,预设服务器转发拒绝请求响应给a用户,此时无需发送媒体数据包,如果b用户接收请求,预设服务器转发接收请求响应给a用户,此时则证明需要发送媒体数据包。
42.进一步地,需要说明的是,在进行数据传输过程中,一个发送请求对应着一个流,一个流可以通过多个包进行传递。若需要发送媒体数据包,则按照预设不可靠协议,将所述媒体数据包进行编码形成多个不可靠数据包,其中,所述预设不可靠协议包括udp、rtp/rtcp协议等,为了达到良好的兼容性,优选地,所述预设不可靠协议为rtp/rtcp协议,进一步地,判断是否需要合并各所述不可靠数据包,若是,则将各所述不可靠数据包进行合并,并计算合并后的不可靠数据包的包长度,以及将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包,若否,则将各所述不可靠数据包分别添加上第二帧类型信息,得到目标帧类型数据包,其中,添加帧类型信息的目的是为了当第二终端在接收到音视频数据包时,能基于帧类型信息识别出媒体数据包以及信令数据包,最后,基于所述通信密钥,将所述目标帧类型数据包进行加密封装,得到所述媒体数据包,从而实现在已建立好的quic通信链接,增加了一种不可靠传输流,用来传输媒体数据包。
43.其中,所述按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包的步骤包括:
44.步骤a31,判断是否需要合并各所述不可靠数据包;
45.步骤a32,若是,则将各所述不可靠数据包进行合并,并将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包;
46.步骤a3,若否,则将各所述不可靠数据包添加上第二帧类型信息,得到目标帧类型数据包;
47.步骤a34,基于所述通信密钥,将所述目标帧类型数据包进行加密封装,得到所述媒体数据包。
48.在本实施例中,需要说明的是,所述第一帧类型信息和所述第二帧类型信息不同,用来区别合并后的不可靠数据包以及无需合并的各个不可靠数据包,具体地,为了提高数据传输的效率,当各个不可靠数据包的长度较小时,则将各所述不可靠数据包进行合并,并计算合并后的不可靠数据包的数据长度,以及将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包,从而直接将合并后对应的目标帧类型数据包进行数据传输,当不需要合并时,分别将各所述不可靠数据包添加上第二帧类型信息,得到目标帧类型数据包,从而将各个目标帧类型数据包分开进行数据传输,在一种可实施方式中,例如,当各个不可靠数据包的数据长度小于预设阈值时,则将各所述不可靠数据包进行合并,进而将合并后的不可靠数据包的帧类型设置为0x21,另外地,将不进行合并的各个不可靠数据包对应的帧类型设置为0x20,其中,帧类型的最后一位表示是否包含数据长度,1表示有数据长度字段;0表示没有数据长度字段,从而使得第二终端在接收到音视频数据包时,可基于
帧类型信息判断该数据包是信令数据包还是媒体数据包,并且可基于帧类型的最后一位确定该媒体数据包是否是多个数据包进行合并后的媒体数据包。
49.本技术实施例通过上述方案,也即,当所述音视频数据为所述媒体数据包时,判断是否需要发送所述媒体数据包,进而若需要,则按照预设不可靠协议,将所述媒体数据包进行编码形成各不可靠数据包,进一步地,按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包,实现了对媒体数据拓展封装成媒体数据包,从而使得媒体数据包在同一个quic通信链接上进行传输,共享单个握手和通信密钥,减少加密握手的次数,并使用已经建立的网络路由,可快速开关媒体流,提高数据传输的效率。
50.本技术实施例提供一种音视频数据通信方法,在本技术音视频数据通信方法的第一实施例中,参照图3,所述音视频数据通信方法应用于第二终端,所述音视频数据通信方法包括:
51.步骤b10,接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
52.在本实施例中,需要说明的是,所述预设传输层协议为quic协议,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,具体地,所述信令数据包为基于quic协议传统标准的编码封装方法将信令数据封装成信令数据包,而所述媒体数据包为基于实时传输rtp/rtcp协议封装,并为封装得到的数据包添加上帧类型信息的数据包,进一步地,所述信令数据包和所述媒体数据包为在同一个的quic通信链接上进行数据传输。
53.步骤b20,基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据。
54.其中,所述基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据的步骤包括:
55.步骤b21,若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息,则确定所述音视频数据包为所述媒体数据包,并基于所述通信密钥,对所述媒体数据包进行解码,得到所述媒体数据;
56.步骤b22,若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息,则确定所述音视频数据包为所述信令数据包,并基于所述通信密钥,对所述信令数据包进行解码,得到所述信令数据。
57.在本实施例中,需要说明的是,由于第一终端在对媒体数据进行数据编码封装时,会为所述媒体数据添加上第一帧类型信息或第二帧类型信息,因此,当第二终端在接收到音视频数据包时,检测所述音视频数据包是否存在第一帧类型信息或第二帧类型信息,若存在,则证明所述音视频数据包为所述媒体数据包,并基于所述通信密钥,对所述媒体数据包进行解码,得到所述媒体数据,若不存在,则证明所述音视频数据包为所述信令数据包,并基于所述通信密钥,对所述信令数据包进行解码,得到所述信令数据,从而将所述媒体数据或者信令数据上传至第二终端对应的终端应用上进行播放,从而实现音视频数据的实时传输。
58.本技术实施例通过上述方案,也即,接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信
令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接,进而基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据,实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包,从而使得第二终端可直接接收到一条通信链接上的信令数据包和媒体数据包,并且信令数据包和媒体数据包共享单个握手操作和通信密钥,减少终端与服务器之间握手操作所需的等待时间,从而有效提高数据传输的效率。
59.参照图4,图4是本技术实施例方案涉及的硬件运行环境的音视频数据通信设备结构示意图。
60.如图4所示,该音视频数据通信设备可以包括:处理器1001,例如cpu,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速ram存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
61.可选地,该音视频数据通信设备还可以包括矩形用户接口、网络接口、相机、rf(radio frequency,射频)电路,传感器、音频电路、wifi模块等等。矩形用户接口可以包括显示屏(display)、输入子模块比如键盘(keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如wifi接口)。
62.本领域技术人员可以理解,图4中示出的音视频数据通信设备结构并不构成对音视频数据通信设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
63.如图4所示,作为一种计算机存储介质的存储器1005中可以包括操作网络通信模块以及音视频数据通信程序。操作系统是管理和控制音视频数据通信设备硬件和软件资源的程序,支持音视频数据通信程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与音视频数据通信系统中其它硬件和软件之间通信。
64.在图4所示的音视频数据通信设备中,处理器1001用于执行存储器1005中存储的音视频数据通信程序,实现上述任一项所述的音视频数据通信方法的步骤。
65.本技术音视频数据通信设备具体实施方式与上述音视频数据通信方法各实施例基本相同,在此不再赘述。
66.此外,请参照图5,图5是本技术应用于第一终端的音视频数据通信装置的功能模块示意图,本技术还提供一种音视频数据通信系统,所述音视频数据通信系统为虚拟系统,所述音视频数据通信系统应用于第一终端,包括:
67.封装模块,获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
68.发送模块,用于基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。
69.可选地,所述音视频数据通信系统还用于:
70.与预设服务器建立所述预设传输层协议的通信链接,并确定所述预设服务器对应
的通信密钥;
71.通过所述预设服务器与所述第二终端进行通信。
72.可选地,所述封装模块还用于:
73.当所述音视频数据为所述媒体数据包时,判断是否需要发送所述媒体数据包;
74.若需要,则按照预设不可靠协议,将所述媒体数据包进行编码形成各不可靠数据包;
75.按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包。
76.可选地,所述封装模块还用于:
77.判断各所述不可靠数据包是否需要合并;
78.若是,则将各所述不可靠数据包进行合并,并将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包;
79.若否,则将各所述不可靠数据包添加上第二帧类型信息,得到目标帧类型数据包;
80.基于所述通信密钥,将所述目标帧类型数据包进行加密封装,得到所述媒体数据包。
81.可选地,所述封装模块还用于:
82.基于所述通信密钥,对所述可靠数据包进行加密封装,得到所述信令数据包。
83.请参照图6,图6是本技术应用于第二终端的音视频数据通信装置的功能模块示意图,本技术还提供一种音视频数据通信系统,所述音视频数据通信系统为虚拟系统,所述音视频数据通信系统应用于第二终端,包括:
84.接收模块,用于接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;
85.解码模块,用于基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据。
86.可选地,所述音视频数据通信系统还用于:
87.与预设服务器建立所述预设传输层协议的通信链接,并确定所述预设服务器对应的通信密钥。
88.可选地,所述解码模块还用于:
89.若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息,则确定所述音视频数据包为所述媒体数据包,并基于所述通信密钥,对所述媒体数据包进行解码,得到所述媒体数据;
90.若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息,则确定所述音视频数据包为所述信令数据包,并基于所述通信密钥,对所述信令数据包进行解码,得到所述信令数据。
91.本技术音视频数据通信系统的具体实施方式与上述音视频数据通信方法各实施例基本相同,在此不再赘述。
92.本技术实施例提供了一种存储介质,所述存储介质为计算机可读存储介质,且所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被
一个或者一个以上的处理器执行以用于实现上述任一项所述的音视频数据通信方法的步骤。
93.本技术计算机可读存储介质具体实施方式与上述音视频数据通信方法各实施例基本相同,在此不再赘述。
94.以上仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利处理范围内。

技术特征:
1.一种音视频数据通信方法,其特征在于,所述音视频数据通信方法应用于第一终端,所述音视频数据通信方法包括:获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。2.如权利要求1所述的音视频数据通信方法,其特征在于,在所述获取音视频数据的步骤之前,还包括:与预设服务器建立所述预设传输层协议的通信链接,并确定所述预设服务器对应的通信密钥;通过所述预设服务器与所述第二终端进行音视频会话连接通道。3.如权利要求2所述的音视频数据通信方法,其特征在于,所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括:当所述音视频数据为所述媒体数据包时,判断是否需要发送所述媒体数据包;若需要,则按照预设不可靠协议,将所述媒体数据包进行编码形成各不可靠数据包;按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包。4.如权利要求3所述的音视频数据通信方法,其特征在于,所述按照预设数据封装策略,将各所述不可靠数据包进行拓展封装,得到所述媒体数据包的步骤包括:判断是否需要合并各所述不可靠数据包;若是,则将各所述不可靠数据包进行合并,并将合并后的不可靠数据包添加上第一帧类型信息,得到目标帧类型数据包;若否,则将各所述不可靠数据包添加上第二帧类型信息,得到目标帧类型数据包;基于所述通信密钥,将所述目标帧类型数据包进行加密封装,得到所述媒体数据包。5.如权利要求2所述的音视频数据通信方法,其特征在于,所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括:若所述音视频数据为所述信令数据,则将所述信令数据包进行编码形成可靠数据包;基于所述通信密钥,对所述可靠数据包进行加密封装,得到所述信令数据包。6.一种音视频数据通信方法,其特征在于,所述音视频数据通信方法应用于第二终端,所述音视频数据通信方法包括:接收第一终端基于预设传输层协议的通信链接发送的音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接;基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据。7.如权利要求6所述的音视频数据通信方法,其特征在于,在所述接收第一终端发送的音视频数据包的步骤之前,所述音视频数据通信方法还包括:与预设服务器建立所述预设传输层协议的通信链接,并确定所述预设服务器对应的通信密钥。
8.如权利要求7所述的音视频数据通信方法,其特征在于,所述基于所述音视频数据包的帧类型信息,对所述音视频数据包进行解码,得到媒体数据包或信令数据的步骤包括:若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息,则确定所述音视频数据包为所述媒体数据包,并基于所述通信密钥,对所述媒体数据包进行解码,得到所述媒体数据;若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息,则确定所述音视频数据包为所述信令数据包,并基于所述通信密钥,对所述信令数据包进行解码,得到所述信令数据。9.一种音视频数据通信设备,其特征在于,所述音视频数据通信设备包括:存储器、处理器以及存储在存储器上的音视频数据通信程序,所述音视频数据通信程序被所述处理器执行实现如权利要求1至8中任一项所述音视频数据通信方法的步骤。10.一种存储介质,所述存储介质为计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有音视频数据通信程序,所述音视频数据通信程序被处理器执行实现如权利要求1至8中任一项所述音视频数据通信方法的步骤。

技术总结
本申请公开了一种音视频数据通信方法、设备及存储介质,所述音视频数据通信方法应用于第一终端,所述音视频数据通信方法包括:获取音视频数据,并对所述音视频数据进行编码封装形成所述音视频数据包,其中,所述音视频数据包括信令数据包和/或媒体数据包,所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成,且共用同一个预设传输层协议的通信链接,基于所述通信链接,将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端,以供所述第二终端解析所述音视频数据包,得到所述音视频数据。本申请解决了音视频数据传输的效率较低的技术问题。传输的效率较低的技术问题。传输的效率较低的技术问题。


技术研发人员:陈志飞 陈民 汪铎
受保护的技术使用者:中国移动通信集团有限公司
技术研发日:2022.04.28
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-16592.html

最新回复(0)