在 RTX 2060 上训练潜在推理模型的实战经验与参数调优

本文分享了作者在一块 RTX 2060（6 GB 显存）上训练 TinyRefinementModel（潜在推理模型）的实际过程及遇到的瓶颈。由于显存限制，作者只能使用 384 维的特征向量进行训练，尝试 512 维时会出现 OOM（Out‑Of‑Memory）错误。上一次训练耗时约 5 小时，训练期间 loss 降至 5.1 后即中止，因为没有时间跑推理代码。为缓解显存压力，作者采用了以下超参数配置：

MAX_STEPS_LIMIT = 8          # 最大训练步数
ACCUMULATION_STEPS = 64      # 梯度累积步数，降低单步显存占用
SCRATCH_SLOTS = 128          # 中间缓存槽位数

训练过程的截图已附在文中。作者选择在本地 GPU 完成初步训练，主要是成本低；随后计划将模型迁移至 TPU Spot 实例继续训练。需要注意的是，RTX 2060 不支持 bfloat16，因此只能使用 fp16 或 fp32。完整代码仓库地址为 https://github.com/MatthewLacerda2/TinyRefinementModel，感兴趣的读者可自行克隆并复现。