规则优化与钠电safe RL快充的两条技术路线综述

摘要 充电策略是电池寿命与安全之间最直接的杠杆。本文围绕钠电专属充电策略做两条路线的综述：一是优于CCCV 的规则类方案——《储能科学与技术》2025 年发表的钠电九段式阶梯充电优化，用直流内阻与差分电压分析指导电流分段，实测将 10%~80% SOC 充电时间相较 CCCV 缩短 16.0%，相较另一对照口径缩短 19.04%，SOH 提高 7.4%，直流内阻衰减改善 17.8%；二是更前沿的强化学习方案——arXiv 2024 年提出的自适应安全强化学习（adaptive safe RL）框架，用“动作投影”安全层把 RL 决策硬约束在温度≤45 ℃、电压≤4.3 V 的安全区域内；并给出第三条生命线：寿命感知的 lifelong RL（文献[4]）。需要坦白的事实是：后两个框架的验证体系是锂电（PyBaMM/锂电仿真），钠电专属的公开RL充电实现目前缺位——这恰恰是产业可介入的技术空白点。

关键词：钠离子电池；充电策略；阶梯充电；强化学习；高斯过程；安全约束；快充

正文 一、钠电充电策略重做规则 文献[1]最重要的方法启发是通过直流内阻（DCIR）与差分电压（DV）分析发现“在不同 SOC 区间适用不同倍率”的物理理由：低 SOC 端 DCIR 大（动力学受限），中高 SOC 端则有高倍率充电损伤风险，并涉及活性材料的特征峰窗口。据此作者构建了三个充电阶段（早期/中期/晚期）各自的电流限值规则，形成九段截止电压式（9V-MSCC）充电策略。150 次充电循环的对比显示，同为 10%~80% SOC，CCCV 用时 45′26″，3SOC-MSCC 节省7.78%，5SOC-MSCC 节省 9.35%，10SOC-MSCC 节省 5.36%，9V-MSCC 节省 16.0%；论文另一对照口径下将快充时间缩短 19.04%，SOH 比优化 CCCV 基线高 7.4%，内阻衰减改善 17.8%。三条数字对应的工程含义：在同约束下更快、更慢老化、更稳内阻。 图1｜九段式阶梯充电策略的充电时间对比

二、强化学习快充：为什么“安全层”是第一性问题 文献[2]的方法框架，相当于给 RL Agent 加了一道保险装置：传统 RL 充电优化用软约束（把越限写进奖励函数里扣分），但训练中难免出现越限动作，一旦在真实电池上执行就是不可逆的损伤。该研究提出了动作投影”机制：Agent 输出任意动作后，先用自适应高斯过程（GP）模型预测该动作下的温度、电压约束值（含不确定度边界），构造“安全区域”，再把越限动作投影回安全区内执行。作者选用 TD3 作为 RL 主体，GP 分为静态与动态两层，动态层用在线数据训练以适应电池随工况/老化引起的变化。约束条件设定为温度上限 45 ℃、电压上限 4.3 V，SOC 从 10% 充至 80%，电流动作空间 0.05C–4.5C，控制周期 10 s。仿真结果：固定与变化工况下均能高概率满足约束；相比之下，非自适应的 safe RL 只在固定工况下有效，纯净 TD3 难以保证约束满足，而 CCCV 偏保守。 图2｜基于动作投影的自适应安全 RL 充电框架 图3｜安全 RL 优化协议部署时的充电过程仿真对比 图4｜安全 RL 优化协议部署时的充电过程仿真对比

三、由三个锂电方法学验证体系作为RL充电策略的技术基础 文献[3]（IEEE TTE, 2022）用 DFN 电化学模型（Doyle-Fuller-Newman）作为仿真被控对象，是锂电体系；文献[2] 在 PyBaMM 平台仿真验证，也是锂电体系；文献[4]（lifelong RL，Chalmers 团队）在 PyBaMM 内置电化学机理（单粒子模型＋电解液）下验证，同样是锂电体系。钠电专属的公开 RL 充电策略研究目前是空白（按 2026-10 检索窗口判断），这恰是产业侧的可行切入方向：钠电充电窗口结构（低 SOC 端高 DCIR、相对平缓的电压平台、硬碳负极低温端的析钠问题）需要被编码进约束与奖励函数。这些与钠电化学体系绑定的约束设计与奖励工程，目前缺少公开的成熟工程实现，是产业侧可以介入的技术空白。 图5｜自适应安全 TD3 各组件（RL/自适应 GP/约束优化）的在线计算开销

四、三条路线的工程递进 第一步是文献[1]式的规则分步充电——对钠电已经实测、磨合成本最低、完全不依赖模型；第二步是文献[2]式的 safe RL——把对其验证过的安全层机制移植进 BMS，用钠电实测数据重新训练 GP 代理模型，先以规则策略打基线，再用 RL 逐步接管；第三步是寿命感知的lifelong RL——文献[4]用“副反应过电位-SOH 映射”约束充电截止电压，让策略随老化持续微调。这条递进链有价值的地方在于每一步都有真实验证过的文献背书。

参考文献 [1] 钠离子电池阶梯式充电策略与优化. 储能科学与技术, 2025, 14(4): 1668. DOI: 10.19799/j.cnki.2095-4239.2024.0963. [2] Chowdhury M A, Al-Wahaibi S S, Lu Q. Adaptive Safe Reinforcement Learning-Enabled Optimization of Battery Fast Charging. [3] Park S, Pozzi A, Whitmeyer M, et al. A Deep Reinforcement Learning Framework for Fast Charging of Li-Ion Batteries. IEEE Transactions on Transportation Electrification, 2022. DOI: 10.1109/TTE.2022.3140316. [4] Lifelong Reinforcement Learning for Health-Aware Fast Charging of Lithium-ion Batteries [5] Heydarian Ardakani A H, Aqabakee K, Abdollahi F, Shirazi E. Scalable Charging Optimization of Battery Energy Storage Systems with Deep Reinforcement Learning. IEEE 2025（会议论文）.