锦鲤求职岗位描述
工作职责
-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地
-建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系
- 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态
-研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测
-建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度
-建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测
-识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性
-支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据
职位要求
-计算机、人工智能、机器学习、统计学等相关专业本科及以上学历
-熟练掌握 Python、PyTorch及主流大模型应用或训练框架
-熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验
- 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路
- 理解模型偏差、一致性、置信度校准和统计显著性等基本方法
-具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标
-有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先