【Monee】AI测试开发工程师

岗位描述

我们正在建设面向产品研发和 AI 应用的质量工程能力，通过自动化测试、质量平台、工程工具和 AI 技术提升研发效率和产品质量。

该岗位需要具备扎实的软件工程和测试开发能力，能够深入理解业务和系统架构，设计测试策略、建设自动化测试和质量平台，并探索 AI 在测试设计、测试执行、问题分析和质量评估等场景中的应用。

我们希望候选人不仅能够发现和验证问题，也能够通过工程化、平台化和智能化手段持续提升整个研发团队的质量效率。

岗位职责

1. 深入理解业务流程和系统架构，识别研发过程中影响质量和交付效率的关键工程问题，通过测试策略、工程工具、平台能力和自动化手段，持续提升系统的可测试性、稳定性和研发交付效率。

2. 建设和演进自动化测试与验证能力，覆盖 API、服务端、Web、端到端、数据验证等场景，将重复性测试和关键质量验证沉淀为可复用的工程能力，提升研发反馈效率和交付信心。

3. 建设和优化测试及质量工程平台，包括测试任务编排、测试数据管理、自动化回归、测试环境、质量报告、质量看板和问题追踪等能力。

4. 深入研发流程，将质量能力与 CI/CD、代码提交、发布流程、线上监控等系统集成，推动测试左移和质量工程化，提升研发团队整体交付效率。

5. 建设系统稳定性和可观测能力，通过日志、Metrics、Trace、异常监控和质量数据分析，快速发现、定位和推动解决复杂系统问题。

6. 针对大模型应用、AI Agent 等新型业务场景，设计相应的测试和评测方法，包括功能正确性、业务规则、任务完成率、工具调用、多轮对话、鲁棒性、性能和成本等维度。

7. 探索并落地 AI 在质量工程中的应用，包括 AI 辅助测试用例设计、自动化代码生成、测试执行、失败分析、问题定位和测试数据分析等，提高测试开发效率。

8. 针对 AI 应用建设必要的评测和质量能力，包括评测数据集、自动化评测、规则评测、LLM-as-Judge、人工反馈、Agent 执行轨迹分析等，并持续优化评测效果。

9. 分析线上问题、测试失败和用户反馈，建立有效的问题分类和根因分析机制，从代码、架构、数据、环境、模型、Prompt、RAG 或业务规则等不同层面推动质量改进闭环。

10. 持续关注软件测试、质量工程、研发效能以及 AI Engineering 相关技术发展，并结合实际业务场景推动新技术落地。

任职要求

1. 本科及以上学历，计算机、软件工程、人工智能或相关专业优先。

2. 具备后端开发、测试开发、自动化测试、质量平台、研发效能平台或相关工程经验；有复杂系统质量保障或平台建设经验者优先。

3. 熟练掌握 Python / Go / Java 等至少一种编程语言，具备良好的编码能力、系统设计能力和工程实践能力，能够独立完成工具、服务或平台能力的设计与开发。

4. 熟悉常见的软件测试和质量保障方法，包括测试策略、自动化测试、接口测试、回归测试、性能测试、稳定性测试、灰度发布、线上监控和质量度量等。

5. 具备较强的问题分析和排查能力，能够结合代码、日志、监控、调用链和业务数据快速定位复杂系统问题。

6. 熟悉常见研发流程和工程体系，例如 Git、CI/CD、容器化、微服务、监控告警等，对研发效能和工程效率有一定理解。

7. 对 AI / 大模型技术有兴趣并具备一定实践经验，了解 Prompt、RAG、Embedding、工具调用、Agent workflow 等基本概念；有 AI 应用开发、AI 测试或大模型评测经验者优先。

8. 能够熟练使用 AI Coding / AI Agent 等工具辅助软件开发、测试开发和问题分析，并能够对 AI 生成代码进行设计、验证和质量把控。

9. 具备良好的数据意识，能够通过测试数据、线上数据和质量指标分析问题，并基于数据推动工程和产品改进。

10. 具备良好的沟通和跨团队协作能力，能够理解业务目标，并将复杂业务场景转化为可测试、可自动化、可监控和可持续改进的工程方案。

加分项

1. 有测试框架、自动化平台、质量平台、研发效能平台或内部开发者工具建设经验。

2. 有微服务、分布式系统、中间件、数据平台等复杂系统的测试开发或稳定性建设经验。

3. 有大模型应用、RAG、Agent、AI Coding 或 AI Evaluation 相关项目经验。

4. 熟悉 LLM Evaluation、Agent Evaluation、LLM-as-Judge、AI Observability 等相关技术。

5. 有通过工程平台、自动化或 AI 技术显著提升研发团队效率的实际案例。