一、训练阶段划分

1. ‌预训练（Pretraining）‌
   通过海量无标注文本（如互联网数据）学习语言基础规律，采用自监督学习方法（如掩码语言建模MLM或自回归建模）‌。

   • ‌核心目标‌：掌握语法结构、语义关系及长距离依赖
   • ‌关键技术‌：Transformer架构（多头注意力机制+前馈神经网络）‌

2. ‌监督微调（SFT）‌
   使用高质量标注数据（如问答对）调整模型参数，使其适应特定任务‌。

3. ‌奖励建模（RM）与强化学习（RL）‌
   通过人类反馈强化学习（RLHF）优化生成内容质量，典型应用如ChatGPT对齐过程‌。

二、关键技术组件

1. ‌训练框架对比‌

2. ‌性能优化策略‌

   • ‌并行计算‌：数据/模型/流水线并行（3D并行）提升训练效率‌
   • ‌硬件适配‌：昇腾384超节点实现MFU提升20%

三、实践建议

1. ‌数据准备‌

   • 数据清洗需去除噪声与重复内容，结构化数据构造直接影响训练效果‌
   • 分词策略选择（如Byte-Pair Encoding）影响模型输入表达‌

2. ‌训练监控‌
   使用AIOps工具（如DeepTrace）实现分布式训练全链路监控‌

当前大模型训练已形成从预训练到对齐的完整技术闭环，开发者需根据业务需求选择合适工具链与优化策略‌