锦鲤求职岗位描述
岗位职责
面向真实工作场景，深度挖掘大模型在复杂任务、长尾场景中的能力弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集；
参与 long-horizon agent 类任务的评测方法建设，建立能够真实反映模型专业能力的评估体系；
构建自动化评分机制，建模专业领域判断标准与人类偏好，准确评测出模型的综合表现；
能够基于评测分析报告，定位模型能力短板，推动评测、数据、训练之间形成闭环，持续提升模型的能力上限。
任职资格
统招硕士及以上学历（优秀者本科亦可），计算机相关专业，有较强的算法和工程能力；
熟练掌握 Python 语言及 PyTorch 深度学习框架，熟悉 Agent 基本原理；
熟悉Transformer架构和大语言模型原理，熟悉大模型后训练技术；
具备良好的沟通能力、跨团队协作能力，能与非技术的行业专家沟通协作。
加分项
具有某一专业领域的深度背景；
熟悉主流后训练框架与推理引擎（Megatron-LM / slime / SGLang 等）；
有构建公开或内部 Benchmark 的完整经验，能阐述任务设计与评判方式背后的思路；
有半年以上深度使用 AI Agent 类产品完成真实专业工作的经历，对其在长任务中的行为特征有切身体感；
有高水平论文、开源项目或竞赛成果。