锦鲤求职岗位描述
岗位描述
1. 评测基准的工程化复现：跟踪 SWE-bench、LiveCodeBench、HumanEval 等前沿基准的最新版本，理解其数据集构造逻辑和评分脚本，在内部环境完成复现；
2. 主流竞品的横向评测：在标准数据集上系统性跑通 OpenAI Codex CLI、Claude Code、Devin、SWE-agent、Cursor Agent 等工具，搭建可横向对比的自动化评测框架，产出稳定的 baseline 数据；
3. 技术报告撰写：产出内部技术报告，清晰记录实验配置、竞品能力边界、失败模式分析，支撑榜单的透明性。
岗位要求
1. 计算机或人工智能相关专业，Python 工程能力强，熟悉 Docker/容器化部署；
2. 对 LLM Agent 架构有实操理解，有 Cursor、Copilot、Claude Code 等工具的深度使用经验（加分项）；
3. 能快速阅读英文技术文档，复现开源评测代码（如 SWE-bench 官方仓库）；
4. 对 Kaggle 竞赛或开源项目贡献有经验者更佳。