大语言模型预训练与后训练工程师

岗位职责

1.参与大语言模型的预训练全流程研发，包括数据清洗与配比、训练策略设计、并行训练优化、训练稳定性与收敛性调优。

2.负责模型后训练技术体系建设，涵盖监督微调（SFT）、奖励模型训练、RLHF、DPO、ORPO、PPO 等对齐算法的实现与迭代。

3.设计并执行模型评测方案，从通用能力、垂直领域能力、安全性、对齐效果等维度量化模型性能，输出迭代方向。

4.跟进预训练与后训练方向前沿技术，持续引入新方法优化模型效果与训练效率。

5.配合工程团队完成训练流水线、数据管线的自动化与平台化建设。

任职要求

1.硕士及以上学历，计算机、人工智能等相关专业，1-2 年大模型训练或 NLP 算法研发经验。

2.精通 Transformer 架构原理与大语言模型训练流程，深入理解预训练目标、位置编码、归一化、注意力机制等核心组件。

3.具备完整的预训练或后训练项目经验，熟悉 SFT、RLHF、DPO 中至少一种对齐技术的原理与工程实现。

4.熟练使用 PyTorch，掌握 Megatron-LM、DeepSpeed、ColossalAI

等至少一种分布式训练框架，了解数据并行、张量并行、流水线并行等策略。

5.熟悉中文 / 英文预训练数据处理流程，具备数据去重、清洗、质量评估等实践经验。

6.具备较强的问题定位与调优能力，能独立排查训练中的收敛异常、显存与性能瓶颈。

加分项

•有百亿参数以上规模模型完整预训练或对齐训练经验。

•熟悉 FlashAttention、MoE、量化训练等性能优化技术。

•参与过开源大模型项目，或在相关领域有顶会论文 / 技术博客产出。