锦鲤求职岗位描述
工作方向：大模型 Agent 评测、评测标准体系（Rubric）搭建与落地，细分金融赛道、保险赛道、法律赛道、医学赛道深耕
岗位职责
1. 基于行业业务知识搭建标准化 Agent 评测 Rubric 评测细则，设计完整评测维度、打分规则、判定标准，输出可落地、可复用的评测文档；
2. 独立完成金融 /法律/医学类智能 Agent 全流程评测工作，包含场景用例设计、模型输出结果校验、问题标注、数据复盘，输出评测报告；
3. 针对 Agent 输出内容开展业务合规、逻辑准确性、业务专业性校验，定位模型幻觉、业务错误、流程漏洞等问题；
4. 结合自身行业业务规则优化评测 Rubric，迭代评测标准，同步对齐技术团队优化 Agent 业务能力；
5. 整理评测样本、分类归档评测问题，沉淀行业专属 Agent 评测知识库，支撑批量计件评测任务交付；
6. 配合项目需求完成批量评测交付，保证评测结果准确、标准统一，按时完成计件任务指标。
任职条件：
1. 具备以上行业从业经验，相关行业全职工作经验不少于 1 年；
2. 同时具备大模型 Agent 评测实操经验，熟悉 Rubric 评测体系搭建、打分规则设计者优先；
3. 具备专业领域业务知识 + Agent 评测双背景，能够独立完成行业场景下智能体评测工作。
通用能力要求：
1. 逻辑清晰，细心严谨，具备较强文本判别、细节核查能力，适配批量计件评测工作模式；
2. 理解 Rubric 评测标准设计逻辑，可根据业务场景自主完善打分细则、边界判定规则；
3. 熟练使用基础文档、表格工具整理评测数据，具备良好的文字总结与报告输出能力；
4. 有良好保密意识，能够稳定承接长期计件评测任务，严格遵守数据保密规范。