Dots-预训练评估策略

岗位职责
1、预训练评估体系建设：设计覆盖语言理解、知识、推理、代码、数学等多维能力的预训练阶段评估体系（Eval Suite），区别于终态 SFT/RL 后的产品化评测；构建 Loss-to-Downstream 的映射关系研究，识别哪些评估指标能早期、低成本、高信噪比地预测模型最终能力
2、评估驱动的训练决策：通过小规模 ablation 实验+评估结果，为数据配比（如 Code/Math/多语言比例）、课程学习（Curriculum Learning）策略提供量化依据；支持 Scaling Law 实验设计与验证：结合评估结果外推不同规模、不同数据量下的能力表现
3、评估工程与算法：研发自动化评估 Pipeline，支持大规模、高频次（如每个 checkpoint）的评估任务调度与结果分析，解决预训练评估中的核心技术难题

岗位要求
1、计算机科学、人工智能、统计学相关专业，硕士及以上学历（或同等能力）
2、扎实的机器学习/深度学习基础，熟悉 Transformer 架构与预训练机制（数据、目标函数、优化策略）
3、熟练使用 Python，有大规模实验管理与自动化 Pipeline 搭建经验
4、具备较强的实验设计与数据分析能力，能通过统计方法（如置信区间、方差分析）判断评估结果的可信度