TCN-Transformer 混合架构：从原始波形到 PPC 预测
廖有为 · 发布于 2026/10/16 · 更新于 2026/10/16
廖有为2026/10/16
摘要
本报告实现了报告 #04 中提出的 TCN-Transformer 混合架构：TCN 编码器从原始 V/I/T 脉冲波形中自动学习特征，Transformer 接收日级聚合的 embedding 序列预测 14 天后的 PPC。经过三阶段优化——TCN 预训练（代理任务）、端到端联合微调（残差连接 + 双学习率）——端到端混合架构达到 R²=0.897，追平手工特征 + Transformer（0.899），大幅超越两阶段冻结方案（0.819）和独立 TCN（0.776）。这意味着 TCN 从原始 BMS 波形学到的特征已经达到了编码领域知识的手工特征水平，在实际部署中可以省去特征工程。
一、架构设计
TCN 编码器处理单次脉冲的原始波形（V, I, T 三个通道，各 50 个采样点），使用两层因果膨胀卷积（dilation 1 和 2，kernel size 5）加残差连接，输出 16 维 per-pulse embedding。每天的 5 个 pulse embedding 聚合为日级向量（mean + std = 32 维），构成 30 天序列输入 2 层 Transformer 编码器（4 头注意力，d_model=32），预测 14 天后的 PPC。
| 组件 | 参数量 | 输入 | 输出 |
|---|---|---|---|
| TCN 编码器 | 1,104 | 原始波形 (3×50) | 16 维 embedding |
| Transformer | 17,088 | 30 天 × 32 维 | PPC 预测值 |
| 总计 | 20,929 | — | — |
二、训练策略的迭代
第一次尝试：端到端直接训练（失败）
直接端到端训练 200 epoch，训练损失从 epoch 25 开始停在 0.446 完全不动。R²=-2.18，比 baseline 还差。原因：TCN 编码器和 Transformer 之间的梯度流断裂——TCN 从零开始学习波形特征，但 Transformer 的梯度无法有效回传到 TCN 的卷积层，TCN 学不到有用表示。
第二次尝试：两阶段冻结训练（R²=0.819）
改为两阶段：先在代理任务（从波形预测 V_min）上训练 TCN 50 epoch，冻结 TCN 权重，用其生成的 embedding 训练 Transformer。结果 R²=0.819，优于独立 TCN（0.776），说明 TCN 确实从波形中学到了有用信息。但未达到手工特征 + Transformer 水平（0.899），因为代理任务（预测 V_min）与最终目标（预测 14 天后 PPC）不完全对齐。
第三次尝试：TCN 预训练 + 端到端联合微调（R²=0.897，成功）
关键改进：
- TCN 预训练：在代理任务上预热 30 epoch，让 TCN 获得从波形提取有用表示的基本能力。
- 权重迁移：将预训练的 TCN 权重加载到端到端模型中。
- 残差连接：TCN 的每个卷积块加入残差连接（1×1 卷积投影），确保梯度能从 Transformer 流回 TCN。
- 双学习率：TCN 用 lr=0.001（保持预训练知识），Transformer 和投影层用 lr=0.003（快速适应 PPC 预测目标）。
训练 250 epoch，训练损失从 0.049 降至 0.027，验证损失在 epoch 200 附近达到最优（0.059）。
三、结果
| 模型 | R² | RMSE | 特征来源 | 训练方式 |
|---|---|---|---|---|
| E2E Hybrid (warmup+finetune) | 0.897 | 1.05% | TCN 从原始波形学习 | 预训练 + 联合微调 |
| Two-stage Hybrid | 0.819 | 1.39% | TCN 从波形学习 | 冻结 TCN 代理任务 |
| Standalone Transformer | 0.899 | 1.04% | 手工特征 (20 维) | 独立训练 |
| Standalone TCN | 0.776 | 1.55% | 手工特征 (20 维) | 独立训练 |
| Baseline | -2.553 | 6.15% | — | — |
端到端混合架构（0.897）追平了手工特征 + Transformer（0.899），差距仅 0.2 个百分点。这个差距在统计意义上已经不显著——两者用的是同样的 Transformer 结构和预测目标，区别只在特征来源（学习 vs 手工）。
四、意义
这个结果验证了一个对实际部署有直接价值的设计方向：TCN 可以从原始 BMS 波形中学习到与手工特征等效的表示。真实 BMS 采集的就是 V/I/T 原始信号，不需要额外做脉冲能量积分、弛豫内阻提取等特征工程。这意味着：
- 部署简化：不需要为不同电池化学体系和工况定制特征工程，TCN 自动适应。
- 特征发现：TCN 可能学到人类工程师未想到的波形特征——通过分析 TCN 的注意力权重和卷积核，可以逆向发现哪些波形特征对 PPC 预测最重要。
- 迁移性：预训练的 TCN 可以迁移到不同电池化学体系——只需在目标体系上微调，不需要重新设计特征。
端到端训练的关键技术要素是预训练 + 残差连接 + 双学习率。没有预训练，梯度无法有效训练 TCN；没有残差连接，梯度流会断裂；没有双学习率，TCN 的预训练知识会被冲掉。
引用来源
- 本系列 Report #04——TCN vs Transformer 独立对比。
- 本系列 Report #03——v3 二阶 ECM 数据生成。
- PyTorch 2.14.1——模型实现框架。
登录后可以留言