一种内容检测的方法及相关装置与流程

allin2025-06-01  100


本申请涉及计算机,特别是涉及一种内容检测的方法及相关装置。


背景技术:

1、现阶段,内容提供者提供文本、图像、音频、视频等各种形式的内容给内容消费者,以便内容消费者获取内容中蕴含的信息。为了保障被内容消费者所消费的内容的安全性和健康性,需要对内容提供者所提供的内容进行内容检测,根据内容检测结果外发不具有风险的内容给内容消费者。

2、相关技术中,针对多个内容提供者所提供的多个内容,先外发不具有风险的账号所提供的多个内容,再禁发具有风险的多个内容,最后通过机器检测剩余的每个内容是否疑似具有风险,将疑似具有风险的每个内容作为已命中内容送至人工检测;此外,每个未命中内容也需要送至人工检测。

3、然而,上述方法中除不具有风险的账号所提供的多个内容和具有风险的多个内容之外,剩余的多个内容均需要送至人工检测;即,人工检测的内容数量较多,导致机器检测的覆盖度较低、检测能力较低,从而导致内容检测的整体效率较低。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种内容检测的方法及相关装置,针对内容检测能够有效降低人工检测的占比和成本,有效提高机器检测的占比和效能,从而有效平衡机器检测和人工检测。

2、本申请实施例公开了如下技术方案:

3、一方面,本申请实施例提供一种内容检测的方法,所述方法包括:

4、通过内容检测模型对多个第一待检测内容进行基于机器的内容检测,获得多个已命中内容和多个未命中内容;所述内容检测模型用于检测内容是否疑似具有风险,每个所述已命中内容的基于所述机器的内容检测结果为疑似具有风险;

5、从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容、以及不符合所述预设外发策略的多个第二待检测内容;所述预设外发策略包括多个维度的、用于衡量内容不具有风险的外发策略;

6、对多个所述第一待外发内容进行外发;

7、对多个所述已命中内容和多个所述第二待检测内容进行基于对象的内容检测;所述对象不同于所述机器。

8、另一方面,本申请实施例提供一种内容检测的装置,所述装置包括:检测单元、确定单元和外发单元;

9、所述检测单元,用于通过内容检测模型对多个第一待检测内容进行基于机器的内容检测,获得多个已命中内容和多个未命中内容;所述内容检测模型用于检测内容是否疑似具有风险,每个所述已命中内容的基于所述机器的内容检测结果为疑似具有风险;

10、所述确定单元,用于从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容、以及不符合所述预设外发策略的多个第二待检测内容;所述预设外发策略包括多个维度的、用于衡量内容不具有风险的外发策略;

11、所述外发单元,用于对多个所述第一待外发内容进行外发;

12、所述检测单元,还用于对多个所述已命中内容和多个所述第二待检测内容进行基于对象的内容检测;所述对象不同于所述机器。

13、另一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器以及存储器:

14、所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;

15、所述处理器用于根据所述计算机程序中的指令执行前述任一方面所述的方法。

16、另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行前述任一方面所述的方法。

17、另一方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当其在计算机设备上运行时,使得所述计算机设备执行时实现前述任一方面所述的方法。

18、由上述技术方案可以看出,在通过用于检测内容是否疑似具有风险的内容检测模型对多个第一待检测内容进行基于机器的内容检测,得到多个未命中内容和内容检测结果为疑似具有风险的多个已命中内容之后,先利用融合多个维度的、用于衡量内容不具有风险的外发策略的预设外发策略,从多个未命中内容中确定符合预设外发策略的多个第一待外发内容、以及不符合预设外发策略的多个第二待检测内容;该方式以机器更多介入通过预设外发策略在多个未命中内容中进一步挖掘无需人工检测即可外发的多个第一待外发内容和需人工检测的多个第二待检测内容。再将多个第一待外发内容进行外发,仅对多个已命中内容和多个第二待检测内容进行基于对象的内容检测,以实现不同于机器检测的人工检测;该方式有效降低人工检测的内容数量,以增加机器检测的覆盖度,提升机器检测的检测能力,从而提升内容检测的整体效率。基于此,该方法针对内容检测能够有效降低人工检测的占比和成本,有效提高机器检测的占比和效能,从而有效平衡机器检测和人工检测。



技术特征:

1.一种内容检测的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述预设外发策略包括无图外发策略时,所述从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容,包括:

3.根据权利要求1所述的方法,其特征在于,所述预设外发策略包括有图外发策略时,所述从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容,包括:

4.根据权利要求1所述的方法,其特征在于,所述预设外发策略包括协同外发策略时,所述从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容,包括:

5.根据权利要求1所述的方法,其特征在于,所述预设外发策略包括类别外发策略时,所述从多个所述未命中内容中确定符合预设外发策略的多个第一待外发内容,包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,所述图像检测模型包括多个图像检测子模型时,所述通过图像检测模型对每个所述目标有图内容中的每个图像进行基于所述机器的图像检测,获得每个所述目标有图内容中的每个图像的图像检测结果,包括:

7.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:

10.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1至5任一项的方法,其特征在于,多个所述第一待检测内容的获得步骤,包括:

12.一种内容检测的装置,其特征在于,所述装置包括:检测单元、确定单元和外发单元;

13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行权利要求1-11任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,其特征在于,当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行权利要求1-11任一项所述的方法。


技术总结
本申请公开一种内容检测的方法及相关装置,应用于人工智能;在通过用于检测内容是否疑似具有风险的内容检测模型对多个第一待检测内容进行基于机器的内容检测,得到多个未命中内容和内容检测结果为疑似具有风险的多个已命中内容之后,先利用融合多个维度的、用于衡量内容不具有风险的外发策略的预设外发策略,从多个未命中内容中确定符合预设外发策略的多个第一待外发内容、以及不符合预设外发策略的多个第二待检测内容。再将多个第一待外发内容进行外发,仅对多个已命中内容和多个第二待检测内容进行基于对象的内容检测,以实现不同于机器检测的人工检测。该方法针对内容检测有效提高机器检测的占比和效能,从而有效平衡机器检测和人工检测。

技术研发人员:郝彦超
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-21686.html

最新回复(0)