本发明属于车辆动力控制，具体涉及一种自适应感知的重载列车群组运行能量管理方法及控制装置。
背景技术：
1、截止到2023年底，我国电气化铁路运营总里程已突破15.9万公里，在电气化铁路迅速发展的同时，重载列车由于其高效的运输能力和成本效益突出，得到了广泛的应用。然而，随着能源消耗和节能减排压力的增加，重载列车面临着重大的挑战。特别是，重载列车在运行过程中产生大量的再生制动能量，但目前这些能量大多数情况下未被有效回收利用。
2、为了应对这一问题，提出了在重载列车中引入储能装置的措施。通过在列车上装置储能设备，可以有效地捕捉和存储制动过程中产生的再生能量。这些储能装置将制动过程中产生的能量转化为电能，存储起来以备后续使用。这种做法不仅可以显著减少列车的能耗，降低运营成本，还能够减少对外部电网的依赖，提升列车的自主运行能力和灵活性。此外，通过有效回收再生能量，还能够降实现能源再利用，助力“双碳”目标的实现。
3、然而，“网-源-储-车”协同供电系统中，重载列车牵引负荷功率大、波动性强，源荷时空匹配困难，为保障列车可靠供电以及系统整体的安全运行，重载列车混合储能管理系统的实时管控需求极大；此外，一方面,锂电池具有高能量密度和低自放电的优点，另一方面,超级电容具有功率密度高、工作温度范围宽、能快速充放电和使用周期长的优势。因而,在重载列车混合储能系统中利用超级电容来供应或储存峰值功率或快速变化的功率,不但可以提高供能质量,还有助于减小电池的电流压力，延长电池使用寿命。
4、重载列车混合储能系统中的能量分配策略主要包括基于规则的控制方法、基于优化的方法和基于分频的控制方法。基于规则的控制方法，根据混合能量源的需求功率、锂电池和超级电容的荷电状态，制定控制规则，该方法简单并易于实施，但面对重载列车牵引负荷功率大、波动性强的复杂工况并不适用。相比之下，基于优化的方法能够通过复杂算法优化能量分配，减少电池的老化和系统的能耗，但通常需要大量的计算时间和资源，难以实时应用。基于分频的控制方法一般采用滤波器将负载功率分配高频成分和低频成分，这种方法能够实现实时的能量分配，但固定的低通滤波器截止频率，并没有考虑混合能量源的荷电状态，并且没有考虑不同路况下负载功率需求中的频率分布情况，长时间工作后，超级电容容易出现过充或过放的情况，使得超级电容的使用率变低并且没有起到保护电池的作用，降低了整体系统的性能。
5、现有一些专利如中国专利公开号为cn116632886a，公开日为2023年8月22日，发明名称为“一种重载电气化铁路站点实时能量优化管理方法”，该发明以最小化系统实时运行成本和最小化牵引变电所公共电网侧实时三相电压不平衡度为目标,建立多目标优化函数；对简化后的协同供电系统全局优化模型进行求解,以完成能量优化管理。但是未提出具体的功率分配方法。中国专利公开号为 cn116853005a，公开日为 2023 年 10 月 10 日，发明名称为“基于列车运行状态的城轨交通储能装置能量管理方法”，该发明列车运行状态的城轨交通储能装置能量管理方法，可在列车牵引时,提高充放电阈值,使得储能系统及时放电,有效地避免了储能系统无法及时放电和储能系统利用不均衡、节能效果差的问题，但是单一的储能装置并不适用于重载列车复杂的运行工况。 中国专利公开号为cn112116156a，公开日为2020年12月22日，发明名称为“基于深度强化学习的混动列车的能量管理方法及系统”，该发明通过深度强化学习进行离线训练得到优化后的能量管理策略模型；以混动列车的实时数据输入优化后的能量管理策略模型,获得优化的能量管理策略，然而基于学习而脱离数学模型的能量管理策略可能会给重载列车稳定运行带来冲击。
技术实现思路
1、为了克服重载列车牵引负荷功率大、波动性强的技术问题，本发明提供一种自适应感知的重载列车群组运行能量管理方法及控制装置，既能保护锂电池寿命又能提高重载列车动态响应能力。
2、为实现上述技术目的，本发明采用如下技术方案：
3、一种自适应感知的重载列车群组运行能量管理方法，包括：
4、根据当前时刻的总线电压以及给定的总线参考电压，采用电压闭环电路，生成负载需求的总参考电流；
5、根据当前时刻的锂电池和超级电容的电压、电流，分别计算锂电池和超级电容的荷电状态；
6、根据锂电池和超级电容的荷电状态以及负载需求的总参考电流，通过基于td3-bc离线学习算法的智能体获取低通滤波器的截止频率；
7、使用截止频率调整后的低通滤波器对总参考电流进行滤波，得到总参考电流的高频成分和低频成分，并将其中的高频成分作为超级电容的参考电流，低频成分作为锂电池的参考电流；
8、根据锂电池和超级电容的参考电流，分别采用电流闭环电路，生成各自的双向dc/dc 转换器的占空比；
9、基于得到的占空比驱动控制对应的双向dc/dc转换器。
10、进一步的，锂电池根据确定其荷电状态，其荷电状态计算方法为：
11、；
12、其中，表示锂电池在第时刻的荷电状态，为锂电池的标称电荷量，为锂电池在第时刻的电荷量，表示锂电池在第时刻的荷电状态，为锂电池在第时刻的电流，表示相邻时刻的时长。
13、进一步的，超级电容根据确定其荷电状态，或者采用以下计算式更新超级电容的荷电状态：
14、；
15、其中，表示超级电容在第时刻的荷电状态，表示超级电容在第时刻的端电压，表示超级电容的标称电压，表示超级电容在第时刻的荷电状态，表示相邻时刻的时长，为超级电容在第时刻的电流，为超级电容的最大电压，为超级电容的电容量。
16、进一步的，所述通过基于td3-bc离线学习算法的智能体，训练方法为：
17、（1）从历史运行数据中提取经验并存储到经验回放池，每条经验包括：当前状态s、实际动作a、执行动作a的奖励r、下一状态s'；其中：状态由锂电池的和超级电容的荷电状态以及负载需求的总参考电流构成，每类状态数据均经过归一化处理；动作是指低通滤波器的截止频率；
18、（2）初始化基于td3-bc离线学习算法的智能体，包括策略网络、两个q网络和、策略目标网络、两个q目标网络和；其中：
19、策略网络用于在给定状态下生成低通滤波器的截止频率，θ是策略网络的参数；
20、两个q网络 和，用于估计当前状态和动作的价值，和是两个q网络的参数；
21、策略目标网络用于平稳生成目标动作，是策略目标网络的参数；
22、两个q目标网络和，用于平稳生成目标q值，和是两个q目标网络的参数；
23、（3）从经验回放池中随机采样一批经验数据，训练基于td3-bc离线学习算法的智能体。
24、进一步的，使用经验数据训练基于td3-bc离线学习算法的智能体具体包括：
25、（1）使用策略目标网络生成下一个状态s’对应的目标动作，并计算目标q值：
26、；
27、；
28、其中，是噪声，c是噪声的裁剪范围；用于限制噪声的幅度在之间；y是目标q值；r：当前动作a在状态s得到的即时奖励；γ：折扣因子，用于权衡未来奖励与当前奖励的重要性；和：两个q目标网络和对下一个状态s′和目标动作a′ 的估计值；
29、（2）通过最小化损失函数来更新q网络：
30、；
31、其中，i∈{1,2}，分别对应两个q网络；n：每次从经验回放池中抽取的样本数量；表示第i个q网络对状态s和实际动作 a的q值；
32、（3）更新策略网络：
33、一方面，计算td3策略损失：
34、；
35、其中，：q网络输出在状态s下采取动作时的q值；：即策略网络基于当前状态s生成的动作；
36、另一方面，计算行为克隆损失：
37、；
38、其中，a是经验回放池中各经验与状态s对应的实际动作；
39、然后再对td3策略损失和行为克隆损失进行加权组合，得到策略网络的混合损失函数：
40、；
41、其中，α是超参数，用于调节行为克隆损失与td3损失的权重；
42、（4）目标网络软更新：
43、；
44、；
45、；
46、其中，是软更新系数。
47、进一步的，低通滤波器的截止频率取值区间为[1,5hz]。
48、一种自适应感知的重载列车群组运行能量管理装置，其特征在于，包括电压电流采集模块、控制模块、驱动模块以及2个双向 dc/dc 转换器；所述2个双向dc/dc转换器分别设置于锂电池和超级电容的输出端，且并联输出为总线负载提供电源；
49、所述电压电流采集模块中设有电压传感器和电流传感器，电压传感器用于采集总线电压、 超级电容电压、锂电池电压，电流传感器用于采集锂电池电流和超级电容电流；
50、所述控制模块用于：基于采集电路模块采集的数据，采用上述任一项所述的自适应感知的重载列车群组运行能量管理方法，生成各双向dc/dc转换器的占空比；
51、所述驱动模块用于：基于占空比驱动控制对应的双向dc/dc转换器。
52、与现有技术相比，本发明的有益效果如下：
53、1、本发明自适应感知的重载列车群组运行能量管理方法，通过实时采集的锂电池以及超级电容的电压、电流，计算当前锂电池和超级电容的荷电状态，并根据锂电池和超级电容的和负载需求的总参考电流通过td3-bc离线学习算法调整低通滤波器截止频率，分别得到高频成分和低频成分。这样不仅有效避免了锂电池的过度充放电，而且使得超级电容能够承担更大的尖峰电流或高频功率，大大提高了超级电容的使用率，克服重载列车牵引负荷功率大、波动性强的问题。
54、2、本发明自适应感知的重载列车群组运行能量管理方法，面对不同的工况下的负载功率p和锂电池以及超级电容的 soc，td3-bc离线学习算法对低通滤波器的截止频率进行调整对不同的路况都具有自适应性，由于强化学习不断更新策略和价值函数，并且引入了行为模仿，在面对复杂动态环境时，td3-bc可以通过过去的经验和当前状态快速调整控制策略，以适应实时变化的能量需求。其次，该算法通过强化学习不断优化能量管理策略，使能量分配更加精准高效，减少能量浪费并提高能量利用率，确保系统在负载变化剧烈时也能快速恢复稳定状态，显著提升了系统的可靠性。而且 td3-bc引入了双q网络，解决了q值估计过高的问题，并且由于引入了行为模拟，算法训练的速度得到了较大幅度提升。
55、3、本发明自适应感知的重载列车群组运行能量管理方法，结合锂电池和超级电容的荷电状态和深度强化学习进行功率分配，充分考虑了未来路况中可能出现的加速和急刹状况，在整个路况时间尺度上，保持超级电容的荷电状态维持在中间水平，每一时刻超级电容的均维持在[35%,75%]范围内，大大提高了超级电容的利用率，并将超级电容的使用场景更针对于负载功率中的高频成分，使得锂电池承担的低频成分中的频率更低并且锂电池的电流波动也更小，有效的保护了电池，降低了整个混合储能系统的能量消耗。
56、4、本发明自适应感知的重载列车群组运行能量管理方法，控制方法简单，控制效果理想，能有效克服重载列车牵引负荷功率大、波动性强的问题。
1.一种自适应感知的重载列车群组运行能量管理方法，其特征在于，包括：
2.根据权利要求1所述的自适应感知的重载列车群组运行能量管理方法，其特征在于，锂电池根据确定其荷电状态，其荷电状态更新计算方法为：
3.根据权利要求1所述的自适应感知的重载列车群组运行能量管理方法，其特征在于，超级电容根据确定其荷电状态，采用以下计算式更新超级电容的荷电状态：
4.根据权利要求1所述的自适应感知的重载列车群组运行能量管理方法，其特征在于，使用经验数据训练基于td3-bc离线学习算法的智能体具体包括：
5.根据权利要求1所述的自适应感知的重载列车群组运行能量管理方法，其特征在于，低通滤波器的截止频率取值区间为[1,5hz]。
6.一种自适应感知的重载列车群组运行能量管理装置，其特征在于，包括电压电流采集模块、控制模块、驱动模块以及2个双向 dc/dc 转换器；所述2个双向dc/dc转换器分别设置于锂电池和超级电容的输出端，且并联输出为总线负载提供电源；
