在 Amazon Bedrock 上微调 Amazon Nova：SFT、RFT 与模型蒸馏实战指南

自定义 Amazon Nova 模型的 Amazon Bedrock 微调

随着企业对 AI 应用的规模化需求日益增长，单纯依赖提示工程或检索增强生成（RAG）已难以满足对模型内在理解和低延迟的要求。Amazon Bedrock 为 Nova 系列模型提供三种微调方式：

• 监督微调（SFT）：基于标记的输入‑输出对直接训练模型权重。
• 强化微调（RFT）：通过奖励函数引导模型学习期望行为。
• 模型蒸馏：将大型教师模型的知识压缩到更小的学生模型。

这些方法均采用参数高效微调（PEFT），将新知识嵌入权重，提升推理速度、降低 token 成本并提升任务准确率。Bedrock 完全托管训练流程，用户只需将 JSONL 格式的数据上传至 S3，随后在控制台、CLI 或 API 发起作业，无需自行管理 GPU 集群或分布式训练。

何时选择微调

• 任务流量大且定义明确；
• 能收集高质量标记数据或奖励函数；
• 需要在推理阶段降低上下文窗口消耗或提升对边缘案例的鲁棒性。

典型场景包括品牌语调统一、行业专属工作流、以及用小型 LLM 替代传统分类器的意图检测。亚马逊客服使用 Nova 微型模型微调后，特定问题准确率提升 5.4%，通用问题提升 7.3%。

何时不微调

• 标记数据稀缺或奖励函数难以构建；
• 项目预算或时间窗口极其紧张，且单次调用成本可接受。

Nova 模型概览与可微调能力

| 模型 | 主要能力 | 输入 | 输出 | 状态 | 微调支持 | |---|---|---|---|---|---| | Nova Premier | 教师模型，适用于蒸馏 | 文本/图像/视频 | 文本 | 一般可用 | 蒸馏教师 | | Nova Pro | 高精度多模态 | 文本/图像/视频 | 文本 | 一般可用 | SFT | | Nova 2 Lite | 低成本快速多模态 | 文本/图像/视频 | 文本 | 一般可用 | SFT、RFT | | Nova Lite | 低成本快速多模态 | 文本/图像/视频 | 文本 | 一般可用 | SFT | | Nova Micro | 最低延迟、成本最优 | 文本 | 文本 | 一般可用 | SFT |

实战示例：使用 Nova Micro 微调 ATIS 意图分类器

1. 数据准备：将 ATIS 数据集转为 JSONL，每行包含 schemaVersion, system（系统提示）和 messages（用户‑助手对话），并划分 90% 训练、10% 验证、独立测试集。系统提示必须与推理时使用的保持一致，以确保模型学习到正确的任务指令。
2. 隐私合规：对 PII 进行脱敏，使用 VPC Endpoint 实现 S3‑Bedrock 私有网络连接，确保数据不经公网。
3. 超参数（推荐值）：
   • epochCount: 3（适用于约 5k 条样本）
   • learningRateMultiplier: 1e-5
   • learningRateWarmupSteps: 10
4. S3 桶配置：在同区域创建桶，开启 SSE‑S3 或 SSE‑KMS 加密、阻止公共访问、启用版本控制。将训练文件放在 training-data/ 前缀下，输出路径设为 output-data/。
5. 创建作业：在 Bedrock 控制台 → Custom Model → Create → Supervised Fine‑tuning，填写模型、数据 S3 URI、输出 S3 URI、超参数并绑定最小权限 IAM 角色（仅 s3:GetObject/s3:PutObject 对应前缀）。
6. 监控：在 Custom Model 仪表盘查看数据验证、训练进度及损失曲线；训练完成后可在 Playground 中直接调用微调模型进行推理。
7. 评估：使用保留的测试集计算准确率，示例中 Nova Micro 未微调时在 ATIS 上仅 41.4% 的准确率，微调后可达约 97%。

成本与性能

• 训练成本：主要由 token 计费决定，epochCount 与数据规模直接影响消耗；PEFT 大幅降低显存需求，使单实例即可完成作业。
• 推理成本：微调模型按标准模型费率计费，无需预留吞吐量，且因模型体积更小、推理更快，实际每次调用的 token 使用量显著下降。

结论

通过 Bedrock 的全托管微调服务，开发者可以在无需深度机器学习背景的前提下，将专有业务知识嵌入 Nova 系列模型，实现更快、更经济且更精准的 AI 应用。该流程适用于高流量、明确任务的企业场景，也为后续的 RFT 与蒸馏提供了技术基线。