背景技术：
1、深度神经网络可以包括配置为接收对网络输入的输入层、配置为基于输入来输出推理的输出层，以及插入在输入层与输出层之间的多个隐藏层。深度神经网络的操作由放置在网络层内的多个节点控制。每个节点与一个或多个参数相关联，这些参数控制节点的操作。因此，存储深度神经网络可以包括存储大量(例如，数百万、数十亿)不同的节点参数。
技术实现思路
1、提供本概述是为了以简化形式介绍一系列概念，这些概念将在下面的详细描述中进一步描述。本概述不旨在标识所要求保护的主题的关键特征或者本质特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或者所有缺点的实现。
2、计算系统被配置为实现深度神经网络，该深度神经网络包括：用于接收应用于深度神经网络的输入的输入层，用于基于所接收的输入来输出推理的输出层，以及插入在输入层与输出层之间的多个隐藏层。多个节点选择性地对输入进行操作，以生成并且引起推理的输出，其中节点的操作是基于深度神经网络的参数来控制的。稀疏控制器被配置为选择性地应用多个不同的稀疏状态以控制深度神经网络的参数密度。量化控制器被配置成以稀疏依赖的方式选择性地量化深度神经网的参数，使得应用于每个参数的量化基于多个不同稀疏状态中的哪个稀疏状态应用于该参数。
1.一种被配置为实现深度神经网络的计算系统，所述深度神经网络包括：
2.根据权利要求1所述的计算系统，其中针对所述深度神经网络的参数张量，所述多个不同稀疏状态中的第一稀疏状态和第二稀疏状态相对于在所述参数张量中是稀疏的参数的百分比不同。
3.根据权利要求1所述的计算系统，其中针对所述深度神经网络的参数，所述多个不同稀疏状态中的第一稀疏状态引起所述参数的稀疏化，并且所述多个不同稀疏状态中的第二稀疏状态不会引起所述参数的稀疏化。
4.根据权利要求3所述的计算系统，其中如果所述深度神经网络的所述参数是稀疏的，则选择性地量化所述参数减少用于表示所述参数的比特数。
5.根据权利要求1所述的计算系统，其中选择性地量化所述深度神经网络的所述参数包括尾数比特确定，所述尾数比特确定在所述多个不同稀疏状态中的第一稀疏状态与第二稀疏状态之间不同。
6.根据权利要求1所述的计算系统，其中所述深度神经网络的所述参数中的至少一些参数存储在参数张量中，所述参数张量包括针对所述张量的所述参数中的每个参数的单独指数值。
7.根据权利要求1所述的计算系统，其中，所述深度神经网络的所述参数中的至少一些参数存储在参数张量中，所述参数张量包括(1)针对所述张量的每个参数的尾数部分，(2)针对所述张量的每个参数的私用指数部分，以及(3)共享指数部分，其中所述共享指数部分对所述参数中的每个参数通用，并且不针对所述参数中的每个参数在存储装置中被复制，并且其中所述私用指数部分和所述共享指数部分共同指定针对相应的所述参数的指数值。
8.根据权利要求7所述的计算系统，其中针对所述参数张量的所述参数中的每个参数的所述共享指数部分的粒度是动态可重新配置的。
9.根据权利要求7所述的计算系统，其中所述量化控制器被配置为基于所述多个不同稀疏状态中的稀疏状态或者第二稀疏状态是否应用于参数来选择性地推理针对所述参数的所述尾数部分中的至少一些尾数部分。
10.根据权利要求9所述的计算系统，其中推理所述尾数部分中的至少一些尾数部分包括：丢弃所述尾数部分的前导比特，以及基于所述第一稀疏状态或者所述第二稀疏状态是否应用于所述参数来推理所述前导比特。
11.一种操作深度神经网络的方法，所述深度神经网络具有输入层、输出层、多个插入的隐藏层和放置在所述输入层、所述输出层和所述隐藏层内并且将所述输入层、所述输出层和所述隐藏层互连的多个节点，所述方法包括：
12.根据权利要求11所述的方法，其中选择性地量化所述深度神经网络的参数需要尾数比特确定，所述尾数比特确定在所述多个不同稀疏状态中的第一稀疏状态与第二稀疏状态之间不同。
13.根据权利要求11所述的方法，其中所述深度神经网络的所述参数中的至少一些参数存储在参数张量中，所述参数张量包括(1)针对所述张量的每个参数的尾数部分，(2)针对所述张量的每个参数的私用指数部分，以及(3)共享指数部分，其中所述共享指数部分对所述参数中的每个参数通用，并且不针对所述参数中的每个参数在存储装置中被复制，并且其中所述私用指数部分和所述共享指数部分共同指定针对相应的所述参数的指数值。
14.根据权利要求13所述的方法，还包括：基于所述多个不同稀疏状态中的第一稀疏状态或者第二稀疏状态是否应用于参数来选择性地推理针对所述参数的所述尾数部分中的至少一些尾数部分。
15.根据权利要求14所述的方法，其中推理所述尾数部分中的至少一些尾数部分包括：丢弃所述尾数部分的前导比特，以及基于所述第一稀疏状态或者所述第二稀疏状态是否应用于所述参数来推理所述前导比特。
