锦鲤求职岗位描述
岗位描述
Ling Team 聚焦百灵模型家族的核心算法创新。
基模评测关注的不只是 benchmark 分数本身，而是这些分数能否真实反映：
* 模型的极限深度思考能力，是否被评测方法真正捕捉，而非被表面正确率掩盖；
* 长程推理与规划能力，是否经得起多步骤、跨阶段的严格验证；
* Agentic 执行与真实世界决策的效果，能否被准确、可信地量化；
* 模型能力在工业规模持续训练下的演化趋势，是否能被稳定追踪而不被系统噪声干扰。
在万亿参数与百万亿 token 规模下，评测不再是""训练完之后跑一遍榜""的收尾工作，而是必须与训练系统深度耦合、贯穿预训练全程的核心环节。本岗位将负责构建能够穿透系统噪声、真实反映模型能力演化的评测体系，为架构选型、scaling law 验证与训练策略调整提供第一手判据。我们寻找的不是只会跑评测脚本、看分数涨跌的执行者，而是能理解训练系统内部机制、并从系统视角反推评测方法论设计的核心成员。
岗位要求
1. 大规模评测体系构建
* 设计支撑万亿参数、百万亿 token 规模训练的评测框架与流水线；
* 结合分布式训练体系（TP / PP / SP / EP / CP），排查评测结果中的系统性噪声与偏差；
* 建立模型能力的定量评估框架，支撑架构 / 超参 / 数据 scaling laws 的验证。
2. 评测与训练系统协同
* 深入 Megatron / DeepSpeed / FSDP 等框架底层，理解训练过程对评测结果的潜在影响；
* 结合 CUDA / NCCL 通信优化原理，定位评测流程中的性能瓶颈并推动优化；
* 与系统团队协作，完成评测系统与训练系统的架构级 co-design，确保评测结果的可信度。
3. 能力边界的定量刻画
* 从算法目标反推评测指标设计，构建能反映深度思考、长程推理、Agentic 执行等能力的评测方法；
* 对 scaling law 与系统瓶颈保持直觉判断，识别评测数据中的异常信号；
* 支撑 mid-training、能力迁移机制等阶段的效果验证。
4. 后训练与强化学习效果评估
* 构建针对 SFT / RLVR / Agentic RL / RLHF / distillation 等后训练范式的评测方案；
* 设计""正确性 × 过程质量 × 信息密度""复合维度下的评测指标体系；
* 评估 reasoning 与 tool-use 协同能力，支撑周级别长程工作能力的验证。
5. 跨团队协作
* 与训练研究员进行深度合作，从第一性原理出发，推导评测系统设计，避免经验主义堆叠指标。