所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。下面参考图8，其示出了用于实现本技术方法、系统、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图8所示，计算机系统包括中央处理单元(cpu，central processing unit)801，其可以根据存储在只读存储器(rom，read only memory)802中的程序或者从存储部分808加载到随机访问存储器(ram，random access memory)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有系统操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o，input/output)接口805也连接至总线804。以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan(局域网，local areanetwork)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
背景技术：
1、智慧医疗在人工智能领域扮演着至关重要的角色。长期以来，医疗行业一直面临着医生资源分配不均、诊断误差率高、医疗成本居高不下、放射科、病理科等专业医生培养周期长、医生供需缺口大等问题。近年来，随着深度学习技术的不断进步，人工智能正逐渐由前沿技术转变为实际应用。在医疗健康领域，人工智能的应用场景变得日益丰富，其技术也逐渐成为影响医疗行业发展、提升医疗服务水平的关键因素。国家对中医药传承创新发展高度重视，积极鼓励医疗机构依托中医药传统，推动中医智能辅助诊疗系统的研发。
2、随着医疗人工智能政策的不断制定与推广，医疗人工智能产业规模逐步扩大。传统医疗信息化企业纷纷涉足医疗人工智能的研发与推广，医院也通过外包与合作，甚至成立医疗人工智能研发团队来积极解决实际问题。这一趋势为医疗行业的可持续发展提供了有力的支持。但目前算法存在的主要问题在于神经网络在进行复杂特征提取时的能力受限，这种局限性使得模型难以深入挖掘并充分利用数据集中蕴含的丰富特征信息。导致模型可能会忽略那些对于医学诊断至关重要的语义细节，进而影响到分类模型在诊断结果的精确度和可信度。而且在利用人工智能技术搭建深度学习模型时，通常面临着一个巨大的挑战：模型只会给出网络最终的判断，没有中间的因果推理过程，即模型的“黑盒”特性，决策依据却通常是不透明的。这对人工智能算法在医疗行业广泛应用带来了阻碍。
3、随着医疗人工智能政策的不断制定与推广，医疗人工智能产业规模逐步扩大。传统医疗信息化企业积极参与医疗人工智能的研发与推广，同时，医院通过外包与合作方式，甚至成立医疗人工智能研发团队，以主动解决实际问题。这一趋势为医疗行业的可持续发展提供了强有力的支持。在中医疾病分类中，阴虚证是一种由于阴液不足而表现出的症候。其主要表现包括五心烦热、潮热盗汗、舌红少苔以及脉细数等症状。现代西医学将阴虚视为一种与慢性疾病，尤其是高血压等相关的亚健康状态。高血压是一种全球范围内患病率较高的慢性非传染性疾病。据研究显示，目前中国约有2.45亿高血压患者，而患病率仍在逐年增加，这给我国的高血压防治工作带来了巨大的压力。在高血压患者中，阴虚证是阴虚在高血压病中的具体表现，如口干咽燥、舌红少津等，同时伴随着血压升高。对于这一特定的证候，我们的研究致力于开发创新的医疗人工智能系统，以提供更精准、个性化的阴虚证高血压患者诊疗方案，为防治工作提供有力的支持。
4、据研究显示，高血压患者的舌象能够反映出其病理特征，包括舌质颜色和纹理指标等方面呈现不同的现象。随着人工智能的迅速发展和中医大数据的不断积累，数据采集规模逐渐扩大，先进的采集设备也保证了数据采集的标准性。将现代科技与中医数据相融合，以提供合理、准确、科学的结果成为一个明显的趋势。因此，本研究以临床患者的舌象为切入点，采用专业舌诊仪进行信息采集，运用人工智能算法提取数据特征，构建诊断模型，并对其合理性进行深入分析。这一研究旨在直接根据舌象信息判断患者是否患有高血压阴虚证，为医生提供临床诊断的重要依据。通过将科技与中医结合，我们期望为医疗领域带来更先进、精准的诊断方法，为患者提供更个性化的治疗方案。
5、本研究专利采用多个深度学习框架，分别用于提取舌诊不同模态数据的特征。文本数据在数值化处理后，通过机器学习算法提取相应的特征。图像数据用本研究改进后的卷积神经网络进行特征提取。随后通过一定的融合策略，将这两部分的特征结果进行有效融合，构建了一个多模态多源信息融合的病证结合阴虚证分类模型。该模型实现了对阴虚证的智能辅助诊断，为医生提供了更全面、精准的判断依据，推动了医疗诊断的智能化发展。
6、基于此，本发明提出了一种基于舌象信息的高血压阴虚证智能诊断系统、方法和设备。
技术实现思路
1、为了解决现有技术中的上述问题，即现有技术中图像多模态分类精度低、效率差，且由于深度学习的黑盒模型解释性差的问题，本发明提供了一种基于舌象信息的高血压阴虚证智能诊断系统、方法和设备。
2、本发明的第一方面，提出了一种基于舌象信息的高血压阴虚证智能诊断系统，该系统包括：
3、数据采集模块，配置为获取高血压阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
4、数据处理模块，配置为将所述文本数据进行向量转化；
5、特征提取模块，配置为基于卷积神经网络提取图像数据的原始特征，将所述原始特征分别进行通道维度的注意力增强和空间维度的注意力增强，得到增强后的图像数据；
6、初始结果获取模块，配置为将增强后的所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
7、融合模块，配置为将文本数据的特征融合到图像数据的分类网络中，得到最终的分类结果。
8、所述一种基于舌象信息的高血压阴虚证智能诊断系统还包括解释模块；
9、所述解释模块，其配置为对所述数据采集模块获取的文本数据和图像数据进行分类决策过程的输出；其中，对所述文本数据的分类决策过程的输出的方法包括随机森林法；对所述图像数据进行分类决策过程的输出的方法包括类激活视图法。
10、在一些优选的实施方式中，将所述原始特征进行通道维度的注意力增强，其方法为：
11、将所述原始特征进行池化，得到第一特征映射和第二特征映射；
12、将所述第一特征映射和所述第二特征映射沿着高度维度和宽度维度展开，得到第三特征映射和第四特征映射；
13、将所述第三特征映射和转置后的第四特征映射进行矩阵相乘，得到第一权重矩阵；
14、将所述第一权重矩阵压缩成一维形态，得到通道权重向量并与所述原始特征进行逐通道相乘，得到通道增强后的原始特征。
15、在一些优选的实施方式中，将所述原始特征进行空间维度的注意力增强，其方法为：
16、将原始特征进行降低维度处理，得到低维度的特征图作为第一特征图和第二特征图；
17、将所述第一特征图和第二特征图展开，得到第三特征图和第四特征图；
18、将所述第三特征图和转置后的所述第四特征图进行矩阵相乘得到第二权重矩阵；
19、将所述第二权重矩阵按照所述原始特征尺寸进行重组，得到第三权重矩阵，将所述第三权重矩阵与所述原始特征逐元素相乘，得到空间维度的注意力增强后的原始特征。
20、在一些优选的实施方式中，增强后的原始特征，其方法为：
21、y＝α×f(f1)+β×f(f2)+γ×f(f3)+δ×f(f4)；
22、其中，y表示输出的原始特征，f表示注意力机制操作，f1、f2、f3、f4分别表示不同层的特征图，α、β、γ、δ分别表示不同权重。
23、在一些优选的实施方式中，对所述文本数据的分类决策过程的输出的方法，具体为：
24、将所述文本数据中的特征输入至预构建的随机森林网络模型中，计算每个特征在决策树节点上的分裂贡献值，作为每个特征的平均重要性。
25、在一些优选的实施方式中，对所述图像数据进行分类决策过程的输出的方法，具体为：
26、预构建类激活视图模型，将图像数据输入至类激活视图模型，并将类激活视图模型最后一个卷积层的特征图与全局平均池化结合，通过权重连接到分类输出层，生成一个与图像数据相同大小的热力图。
27、本发明的另一方面，提出了一种基于舌象信息的高血压阴虚证智能诊断方法，基于一种基于舌象信息的高血压阴虚证智能诊断系统，该方法包括：
28、步骤s100，获取高血压阴虚证待诊断病例的多模态数据；
29、步骤s200，将所述文本数据进行向量转化；
30、步骤s300，基于卷积神经网络提取图像数据的原始特征，将所述原始特征分别进行通道维度的注意力增强和空间维度的注意力增强，得到增强后的图像数据；
31、步骤s400，将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
32、步骤s500，将文本数据的特征融合到图像数据的分类网络中，得到最终的分类结果。
33、本发明的第三方面，提出了一种电子设备，包括：
34、至少一个处理器；以及
35、与至少一个所述处理器通信连接的存储器；其中，
36、所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种基于舌象信息的高血压阴虚证智能诊断方法。
37、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种基于舌象信息的高血压阴虚证智能诊断方法。
38、本发明的有益效果：
39、本发明通过获取阴虚证诊断病例的多模态数据，首先建立原始数据集，然后对获取的文本数据进行量化，将其转化成向量形式。随后，根据数据的模态选择相应的预先训练好的分类模型，得出基于单独某个模态数据的阴虚证分类结果。然后将文本数据中关于颜色的部分提取出来，找寻其权重关系，然后加在图像分类网络对应的通道中，提升图像分类的精度。最后在网络中加入可解释模块-类激活视图，对最终的结果提供一定的可解释性。
40、这一方法实现了对阴虚证的灵活高效分类，使得整个分类过程更加客观和全面。
1.一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，该系统包括：
2.根据权利要求1所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，对所述文本数据的分类决策过程的输出的方法包括随机森林法；对所述图像数据进行分类决策过程的输出的方法包括类激活视图法。
3.根据权利要求1所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，将所述原始特征进行通道维度的注意力增强，其方法为：
4.根据权利要求1所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，将所述原始特征进行空间维度的注意力增强，其方法为：
5.根据权利要求3或4所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，增强后的原始特征，其获取方法为：
6.根据权利要求2所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，对所述文本数据的分类决策过程的输出的方法，具体为：
7.根据权利要求2所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，对所述图像数据进行分类决策过程的输出的方法，具体为：
8.一种基于舌象信息的高血压阴虚证智能诊断方法，基于权利要求1-7任一项所述的一种基于舌象信息的高血压阴虚证智能诊断系统，其特征在于，该方法包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求8所述的一种基于舌象信息的高血压阴虚证智能诊断方法。
