本公开涉及一种包括网络的数据处理系统、方法和计算机程序产品。更具体地，本公开涉及如在独立权利要求的前序部分中定义的一种包括网络的数据处理系统、方法和计算机程序产品。
背景技术：
1、人工智能(ai)是已知的。ai的一个示例是人工神经网络(anns)。anns可能会受到刚性表示的影响，这似乎会导致网络专注于有限的特征进行识别。这种刚性表示可能导致预测不准确。因此，创建不依赖于刚性表示的网络/数据处理系统可能是有利的，例如其中推理基于跨所有节点/元件的广泛表示和/或其中不允许单独特征变得太占优势的网络/数据处理系统，从而提供更准确的预测和/或更准确的数据处理系统。所有节点对所有表示都有贡献的网络被称为密集编码网络。到目前为止，由于缺乏用于自主网络形成的规则，密集编码网络的实现受到了阻碍，使得难以生成具有高容量/变化的功能网络。
2、因此，可能需要一种具有增加的容量的ai系统。处理。优选地，这样的ai系统提供或实现以下中的一个或多个：性能更佳、可靠性更高、效率更高、训练速度更快、使用的计算机功率更少、使用的训练数据更少、使用的存储空间更少、复杂性更低和/或使用的能源更少。
3、se 2051375 a1减轻了一些上述问题。然而，仍然可能需要更有效的ai/数据处理系统和/或替代方法。
技术实现思路
1、本公开的目的是减轻、缓解或消除现有技术中的上述缺陷和缺点中的一个或多个，并且至少解决上述提及的问题。
2、根据第一方面，提供一种数据处理系统。数据处理系统被配置为具有包括待处理数据的一个或多个系统输入和系统输出。该数据处理系统包括：网络nw，其包括多个节点，每个节点被配置为具有多个输入，每个节点包括针对每个输入的权重，并且每个节点被配置为产生输出；以及一个或多个更新单元，其被配置为在学习模式期间基于节点的每个相应输入与对应输出的相关性来更新每个节点的权重；一个或多个处理单元，所述一个或多个处理单元被配置为接收处理单元输入并且被配置为通过改变所接收的处理单元输入的符号来产生处理单元输出。系统输出包括每个节点的输出。此外，多个节点中的第一组节点中的节点被配置为通过将第一组节点中的每个节点的输出作为输入提供给多个节点中的一个或多个其他节点来激励多个节点中的一个或多个其他节点。此外，多个节点中的第二组中的节点被配置为通过将第二组中的每个节点的输出作为处理单元输入提供给相应的处理单元来抑制多个节点中的一个或多个其他节点，每个相应的处理单元被配置为将处理单元输出作为输入提供给一个或多个其他节点。多个节点中的每个节点属于节点中的第一组和第二组中的一个。
3、根据一些实施例，系统输入包括多个语境/任务的传感器数据。
4、根据一些实施例，更新单元包括针对每个权重的用于增加权重的概率值，并且在学习模式期间，数据处理系统被配置为通过以下方式来限制节点抑制或激励一个或多个其他节点的能力：提供与到一个或多个其他节点的输入相关联的所有权重的总和的第一设定点，将第一设定点和与到一个或多个其他节点的输入相关联的所有权重的总和进行比较，若所述第一设定点小于与到所述一个或多个其他节点的所述输入相关联的所有权重的总和，则减小与所述权重相关联的所述概率值，所述权重与到所述一个或多个其他节点的所述输入相关联，以及若所述第一设定点大于与到所述一个或多个其他节点的所述输入相关联的所有权重的总和，则增加与所述权重相关联的所述概率值，所述权重与到所述一个或多个其他节点的所述输入相关联。由此，每个节点的唯一性得到改善，学习得到改善/加速，和/或，精度/准确度得到改善/增加。
5、根据一些实施例，在学习模式期间，数据处理系统被配置为通过以下方式来限制系统输入抑制或激励一个或多个节点的能力：提供与到一个或多个节点的输入相关联的所有权重的总和的第一设定点，将第一设定点和与到一个或多个节点的输入相关联的所有权重的总和进行比较，若所述第一设定点小于与到所述一个或多个节点的所述输入相关联的所有权重的总和，则减小与所述权重相关联的所述概率值，所述权重与到所述一个或多个节点的所述输入相关联，以及若所述第一设定点大于与到所述一个或多个节点的所述输入相关联的所有权重的总和，则增加与所述权重相关联的所述概率值，所述权重与到所述一个或多个节点的所述输入相关联。由此，学习得到改善/加速，和/或，精度/准确度得到改善/增加。
6、根据一些实施例，到一个或多个其他节点的每个输入在网络空间中具有坐标，并且到一个或多个其他节点的输入的权重的减少/增加量是基于与权重相关联的输入在网络空间中的坐标之间的距离。
7、根据一些实施例，该系统还被配置为若权重在预设时间段内不增加，则将权重设置为零。
8、根据一些实施例，该系统还被配置为若与到一个或多个其他节点的输入相关联的所有权重的总和在预设时间段内不超过第一设定点，则增加具有零值的权重的概率值。
9、根据一些实施例，在学习模式期间，数据处理系统被配置为通过以下方式来增加节点的输出与一个或多个其他节点的相关性：提供与到一个或多个其他节点的输入相关联的所有权重的总和的第一设定点，在第一时间段内将第一设定点和与到一个或多个其他节点的输入相关联的所有权重的总和进行比较，若在所述第一时间段的整个长度上所述第一设定点小于与到所述一个或多个其他节点的输入相关联的所有权重的总和，则增加改变到所述节点的输入的权重的概率，并且若在所述第一时间段的整个长度上所述第一设定点大于与到所述一个或多个其他节点的输入相关联的所有权重的总和，则减小改变到所述节点的输入的权重的概率。由此，学习得到改善/加速，和/或，精度/准确度得到改善/增加。
10、根据一些实施例，更新单元包括针对每个权重的用于增加权重的概率值，并且其中，在学习模式期间，数据处理系统被配置为提供与到节点的输入相关联的所有权重的总和的第二设定点，数据处理系统被配置为计算与到节点的输入相关联的所有权重的总和，被配置为将所计算的总和与第二设定点进行比较，并且若计算的总和大于第二设定点，被配置为减小与所述权重相关联的所述概率值，所述权重与到所述节点的所述输入相关联，以及若所计算的总和小于所述第二设定点，则被配置为增加与所述权重相关联的所述概率值，所述权重与到所述节点的所述输入相关联。由此，学习得到改善/加速，和/或，精度/准确度得到改善/增加。
11、根据一些实施例，每个节点包括多个隔室，并且每个隔室被配置为具有多个隔室输入，每个隔室包括针对每个隔室输入的隔室权重，并且每个隔室被配置为产生隔室输出，并且每个隔室包括更新单元，该更新单元被配置为在学习模式期间基于相关性来更新隔室权重，并且每个隔室的隔室输出用于基于传递函数来调整包括隔室的节点的输出。由此，使每个单个节点更有用/强大(例如，增加容量)，学习得到改善/加速，和/或，精度/准确度得到改善/增加。
12、根据一些实施例，在学习模式期间，数据处理系统被配置为：通过将系统输入在第二时间段内的累积权重变化与阈值进行比较来检测网络是否稀疏连接；以及若数据处理系统检测到网络是稀疏连接的，则通过在第三时间段的持续时间内将预定波形添加到多个节点中的一个或多个的输出来增加多个节点中的一个或多个的输出。由此，实现了一种更高效的数据处理系统，其可以在给定的的网络资源下处理更广泛的语境/任务，从而降低功耗。
13、根据一些实施例，每个节点包括更新单元，每个更新单元被配置为基于节点的每个相应输入与该节点的输出的相关性来更新相应节点的权重，并且每个更新单元被配置为若关联节点属于多个节点中的第一组，则将第一函数应用于相关性，若所述关联节点属于所述多个节点中的所述第二组，则将不同于所述第一函数的第二函数应用于所述相关性，以便在所述学习模式期间更新所述权重。通过基于该节点的每个相应输入与该(相同)节点的输出的相关性来更新相应节点的权重，并且若关联节点属于多个节点中的第一组，则将第一函数应用于相关性，并且若关联节点属于多个节点中的第二组，则将不同于第一函数的第二函数应用于相关性，以便更新权重(在学习模式期间)，使得每个节点更独立于其他节点，并且获得更高的精度(与现有技术例如反向传播相比)。因此，技术效果是更高的精度/准确度被实现/获得。
14、根据一些实施例，数据处理系统被配置为在已经执行权重的更新之后，计算网络的节点的输出的总体方差，将所计算的总体方差与幂律进行比较；以及通过调整所述网络的参数来最小化所述总体与所述幂律之间的误差或均方误差。因此，使每个节点更独立于其他节点(并且可以获得节点彼此之间的独立程度的度量)。因此，实现了一种更有效的数据处理系统，其可以在给定的的网络资源下处理更广泛的语境/任务，从而降低功耗。
15、根据一些实施例，数据处理系统被配置为在处于学习模式时从传感器数据中学习以识别一个或多个实体，并且此后数据处理系统被配置为在处于执行模式时识别一个或多个实体，并且所识别的实体是以下中的一个或多个：传感器数据中存在的说话者、口语字母、音节、音素、单词或短语、或传感器数据中存在的对象或对象的特征、或传感器数据中存在的新接触事件、接触事件的结束、手势或施加的压力。在一些实施例中，识别一个或多个实体或其可测量特征的更高精度/准确度被实现/获得。
16、根据一些实施例，网络是循环神经网络。
17、根据一些实施例，网络是递归神经网络。
18、根据第二方面，提供一种用于处理数据的计算机实现的或硬件实现的方法。该方法包括a)接收包括待处理数据的一个或多个系统输入；b)向包括多个第一节点的网络nw提供多个输入，所述多个输入中的至少一个是系统输入；c)从每个第一节点接收输出；d)提供系统输出，系统输出包括每个第一节点的输出；e)由所述多个节点中的第一组中的节点通过将节点中的第一组中的每个节点的输出作为输入提供给所述多个节点中的一个或多个其他节点，来激励所述多个节点中的一个或多个其他节点；f)由所述多个节点中的第二组中的节点通过将所述第二组的每个节点的输出作为处理单元输入提供给相应的处理单元来抑制所述多个节点中的一个或多个其他节点，每个相应的处理单元被配置为将所述处理单元输出作为输入提供给所述一个或多个其他节点；以及g)可选地由一个或多个更新单元基于相关性来更新权重，h)可选地重复a)-g)直到满足学习标准，以及i)重复a)-f)直到满足停止标准，并且所述多个节点中的每个节点属于节点的所述第一组和第二组点中的一个。
19、根据一些实施例，该方法还包括通过将权重设置为零以及在第三时间段的持续时间内将预定波形添加到多个节点中的一个或多个节点的输出来初始化权重，第三时间段开始于接收包括待处理数据的一个或多个系统输入的时间。
20、根据一些实施例，该方法还包括：通过向权重随机分配位于0和1之间的数值来初始化权重，以及在第三时间段的持续时间内将预定波形添加到多个节点中的一个或多个节点的输出。
21、根据第三方面，提供了一种包括非临时性计算机可读介质的计算机程序产品，该非临时性计算机可读介质上存储有包括程序指令的计算机程序，该计算机程序可加载到数据处理单元中，并且被配置为当计算机程序由数据处理单元运行时，所述计算机程序被配置为执行第三方面或上述任一实施例的方法。
22、第二和第三方面的效果和特征在很大程度上与上述第一方面相关的描述的效果和特征相似，反之亦然。关于第一方面提到的实施例在很大程度上与第二和第三方面兼容，反之亦然。
23、一些实施例的优点是例如在学习/训练模式期间更有效地处理数据/信息。
24、一些实施例的另一个优点是提供了高效的网络，例如，使可用网络容量的利用率最大化，从而提供了更高效的数据处理系统。
25、一些实施例的另一个优点是系统/网络复杂度较低，例如，具有节点的数量减少(具有相同的精度和/或用于相同的语境/输入范围)。
26、一些实施例的又一个优点是数据使用效率更高。
27、一些实施例的另一个优点是改善(例如，最大化)可用网络容量的利用率，从而提供高效的数据处理系统。
28、一些实施例的又一优点是系统/网络更高效，和/或，训练/学习的时间更短/更快。
29、一些实施例的另一个优点是提供了复杂度更低的网络。
30、一些实施例的另一个优点是改进/增加的通用性(例如，跨不同的任务/语境)。
31、一些实施例的又一优点是降低了系统/网络对噪声的敏感度。
32、一些实施例的其他优点是性能提高、可靠性提高/增强、精度提高、效率提高(用于训练和/或性能)、训练/学习速度更快/时间更短、所需计算机功耗更低、所需训练数据更少、所需存储空间更小、复杂性更低和/或能耗更低。
33、在一些实施例中，使每个节点更独立于其他节点。这导致在数据处理系统中表示信息的总能力增加(并且因此可以例如在数据处理系统中表示更多信息或用于识别一个或多个实体/对象和/或一个或多个对象的一个或多个特征)，并且因此获得更高的精度(与现有技术例如反向传播相比)。
34、根据下面给出的详细说明书，本公开将变得显而易见。详细的说明书和具体实施例仅通过说明的方式公开了本公开的优选实施例。本领域技术人员从详细说明书的指导中可以理解，在本公开的范围内进行改变和修改。
35、因此，应当理解，本文公开的公开内容不限于所描述的装置的特定组成部分或所描述的方法的步骤，因为这些设备和方法可以变化。还应理解的是，本文使用的术语仅用于描述特定的实施方案，而不具有限制性。应当注意的是，如在说明书和所附权利要求书中所使用的，“一个”、“一种”、“该”和“所述”除非上下文另有明确规定，否则旨在表示存在一个或多个元件。因此，例如，对“单元”或“所述单元”可以包括若干设备等。此外，词语“包括”、“包含”、“含有”并且类似措辞并不排除其他要素或步骤。
1.一种数据处理系统(100)，被配置为具有包括待处理数据的一个或多个系统输入(110a、110b、…、110z)和系统输出(120)，包括：
2.根据权利要求1所述的数据处理系统，其中所述一个或多个系统输入包括多个语境/任务的传感器数据。
3.根据权利要求1-2中任一项所述的数据处理系统，其中，所述更新单元150包括针对每个权重(wa、…、wy)的用于增加所述权重的概率值(pa、…、py)，并且其中，在所述学习模式期间，所述数据处理系统被配置为通过以下方式来限制节点(130a)抑制或激励所述一个或多个其他节点(130b、…、130x)的能力：提供与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和的第一设定点，将所述第一设定点和与到所述一个或多个其他节点的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和进行比较，若所述第一设定点小于与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和，则减小与所述权重(wd、wy)相关联的概率值(pd、py)，所述权重(wd、wy)与到所述一个或多个其他节点(130b、…、130x)的所述输入(13b、…、130x)相关联，以及若所述第一设定点大于与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和，则增加与所述权重(wd，wy)相关联的所述概率值(pd、py)，所述权重(wd、wy)与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联。
4.根据权利要求1-3中任一项所述的数据处理系统，其中，在所述学习模式期间，所述数据处理系统被配置为通过以下方式来限制系统输入(110z)抑制或激励一个或多个节点(130a、…、130x)的能力：提供与到所述一个或多个节点(130a、…、130x)的所述输入(132g、132x)相关联的所有权重(wg、wx)的总和的所述第一设定点，将所述第一设定点和与到所述一个或多个节点(130a、…、130x)的所述输入(132g、132x)相关联的所有权重(wg、wx)的总和进行比较，若所述第一设定点小于与到所述一个或多个节点(130a、…、130x)的所述输入(132g、132x)相关联的所有权重(wg、wx)的总和，则减小与所述权重(wg、wx)相关联的所述概率值(pg、px)，所述权重(wg、wx)与到所述一个或多个节点(130a、…、130x)的所述输入(132g、132x)相关联，以及若所述第一设定点大于与到所述一个或多个节点(130a、…、130x)的所述输入(132g、132x)相关联的所有权重(wg、wx)的总和，则增加与所述权重(wg、wx)相关联的所述概率值(pg、px)，所述权重(wg、wx)与到所述一个或多个节点(130a、…、130x)的输入(132g、132x)相关联。
5.根据权利要求3-4中任一项所述的数据处理系统，其中，到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)中的每个输入在网络空间中具有坐标，其中，到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、132y)的所述权重(wd、wy)的减少/增加量是基于与所述权重(wd、wy)相关联的所述输入(132d、132y)在所述网络空间中的坐标之间的距离。
6.根据权利要求3-5中任一项所述的数据处理系统，其中，所述系统还被配置为若权重(wa、…、wy)在预设时间段内不增加，则将所述权重(wa、…、wy)设置为零；和/或
7.根据权利要求1-2中任一项所述的数据处理系统，其中，在所述学习模式期间，所述数据处理系统被配置为通过以下方式来增加节点(130a)的所述输出(134a)与所述一个或多个其他节点(130b、…、130x)的相关性：提供与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和的第一设定点，在第一时间段内，将所述第一设定点和与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和进行比较，若在所述第一时间段的整个长度上所述第一设定点小于与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和，则增加改变到所述节点(130a)的所述输入(132a、132b、132c)的所述权重(wa、wb、wc)的概率，以及若在所述第一时间段的整个长度上所述第一设定点大于与到所述一个或多个其他节点(130b、…、130x)的所述输入(132d、…、132y)相关联的所有权重(wd、wy)的总和，则减小改变到所述节点(130a)的所述输入(132a、132b、132c)的所述权重(wa、wb、wc)的概率。
8.根据权利要求1-2中任一项所述的数据处理系统，其中，所述更新单元(150)包括针对每个权重(wa、…、wy)的用于增加所述权重的概率值(pa、…、py)，并且其中，在所述学习模式期间，所述数据处理系统被配置为提供与到节点(130a)的所述输入(132a、132b、132c)相关联的所有权重(wa、wb、wc)的总和的第二设定点，所述数据处理系统被配置为计算与到所述节点(130a)的所述输入(132a、132b、132c)相关联的所有权重(wa、wb、wc)的总和，所述数据处理系统被配置为将所计算的总和与所述第二设定点进行比较，并且若所计算的总和大于所述第二设定点，则被配置为减小与所述权重(wa、wb、wc)相关联的所述概率值(pa、pb、pc)，所述权重(wa、wb、wc)与到所述节点(130a)的所述输入(132a、132b、132c)相关联，以及若所计算的总和小于所述第二设定点，则被配置为增加与所述权重(wa、wb、wc)相关联的所述概率值(pa、pb、pc)，所述权重(wa、wb、wc)与到所述节点(130a)的所述输入(132a、132b、132c)相关联。
9.根据权利要求1-2中任一项所述的数据处理系统，其中每个节点(130a、130b、…、130x)包括多个隔室(900)，并且每个隔室被配置为具有多个隔室输入(910a、910b、…、910x)，每个隔室(900)包括针对每个隔室输入(910a、910b、…、910x)的隔室权重(920a、920b、…、920x)，并且每个隔室(900)被配置为产生隔室输出(940)，并且其中每个隔室(900)包括更新单元(995)，所述更新单元(995)被配置为在所述学习模式期间基于相关性更新所述隔室权重(920a、920b、…、920x)并且其中每个隔室的所述隔室输出(940)被用于基于传递函数来调整包括所述隔室的所述节点(130a、130b、…、130x)的所述输出(134a、134b、…、134x)。
10.根据权利要求9所述的数据处理系统，其中，每个隔室(900)的所述更新单元(995)包括针对每个隔室权重(920a、920b、…、920x)的用于增加所述权重的概率值(pca、…、pcy)，并且其中，在所述学习模式期间，所述数据处理系统被配置为提供与到隔室(900)的所述隔室输入(910a、910b、…、910x)相关联的所有隔室权重(920a、920b、…、920x)的总和的第三设定点，所述数据处理系统被配置为计算与到隔室(900)的所述隔室输入(910a、910b、…、910x)相关联的所有隔室权重(920a、920b、…、920x)的总和，所述数据处理系统被配置为将所计算的总和与所述第三设定点进行比较，并且若所述计算总和大于所述第三设定点，则所述数据处理系统被配置为减小与所述隔室权重(920a、920b、…、920x)相关联的概率值(pca、…、pcy)，所述隔室权重(920a、920b、…、920x)与到所述隔室(900)的所述隔室输入(910a、910b、…、910x)相关联，以及若所述计算总和小于所述第三设定点，则所述数据处理系统被配置为增大与所述隔室权重(920a、920b、…、920x)相关联的概率值(pca、…、pcy)，其中所述隔室权重(920a、920b、…、920x)与到所述隔室(900)的所述隔室输入(910a、910b、…、910x)相关联，并且其中所述第三设定点是基于输入的类型的，诸如系统输入、来自所述多个节点中的所述第一组(160)中的节点的输入或来自所述多个节点中的所述第二组(162)中的节点的输入。
11.根据权利要求1-2中任一项所述的数据处理系统，其中，在所述学习模式期间，所述数据处理系统被配置为：
12.根据权利要求1至11中任一项所述的数据处理系统，其中，所述数据处理系统被配置为：在已经执行所述权重(wa、…、wy)的更新之后，计算所述网络(130)的所述节点(130a、130b、…、130x)的所述输出(134a、134b、…、134x)的总体方差，将所计算的总体方差与幂律进行比较；以及通过调整所述网络(130)的参数来最小化所述总体与所述幂律之间的误差或均方误差。
13.根据权利要求12所述的数据处理系统，其中调整所述网络(130)的参数包括调整以下中的一个或多个：
14.根据权利要求2-13中任一项所述的数据处理系统，其中，所述数据处理系统被配置为在处于学习模式时从所述传感器数据中学习以识别一个或多个实体，并且此后所述数据处理系统被配置为在处于执行模式时识别所述一个或多个实体。
15.根据权利要求14所述的数据处理系统，其中，所识别的实体是所述传感器数据中存在的说话者、口语字母、音节、音素、单词或短语中的一个或多个。
16.根据权利要求14所述的数据处理系统，其中，所识别的实体是传感器数据中存在的对象或对象的特征。
17.根据权利要求14所述的数据处理系统，其中，所识别的实体是所述传感器数据中存在的新接触事件、接触事件的结束、手势或施加的压力。
18.根据权利要求1-17中任一项所述的数据处理系统，其中，所述网络(130)是循环神经网络。
19.根据权利要求1-17中任一项所述的数据处理系统，其中，所述网络(130)是递归神经网络。
20.一种用于处理数据的计算机实现或硬件实现的方法(300)，包括：
21.根据权利要求19所述的计算机实现或硬件实现的方法，还包括：
22.根据权利要求20或21所述的计算机实现或硬件实现的方法，还包括：
23.根据权利要求20至22中任一项所述的方法，还包括：
24.根据权利要求20至22中任一项所述的方法，还包括：
25.一种包括指令的计算机程序产品，当所述指令在处理设备的至少一个处理器上执行时使所述处理设备执行根据权利要求20至24中任一项所述的方法。
26.一种存储一个或多个程序的非临时性计算机可读存储介质，所述一个或多个程序被配置为由处理设备的一个或多个处理器执行，所述一个或多个程序包括指令，当所述指令被所述处理设备执行时使所述处理设备执行根据权利要求20-24中任一项所述的方法。
