大模型运营

岗位职责
1. 负责广告智能审核运营场景下的 AI 评测体系建设，设计应用评测、模型评测和效果验收方案。
2. 建设评测指标、评测数据集、评测流程，持续衡量 AI 审核能力的准确性、稳定性、风险边界和业务收益。
3. 围绕广告内容审核场景，构建覆盖文本、图片、视频、落地页、资质、营销话术等内容的黄金标准评测集。
4. 分析 AI 审核链路中的误判、漏判、幻觉、规则冲突和边界 Case，推动算法、产品、工程和业务团队持续优化。
5. 将评测结论沉淀为审核策略、业务规则、Prompt 优化建议、产品需求和运营 SOP，推动大模型应用在审核场景中持续落地。
6. 根据广告审核场景的大模型应用需求，设计 Prompt 策略，开展实验与测试，并基于数据持续优化模型表现和应用效果。
7. 该岗位和策略算法、产品团队紧密配合，共同完成AI应用评估、模型评测等工作。

岗位要求
1. 本科及以上学历，计算机、人工智能、数据科学、统计学、广告风控、内容安全等相关专业优先；
2. 具备 AI 应用评测、模型评测、算法效果分析、数据分析、内容审核、风控策略或质量评估相关经验；
3. 熟悉大模型 / 多模态模型评测方法，理解准确率、召回率、精确率、F1、误杀率、漏放率、一致性、稳定性、鲁棒性等核心指标；
4. 具备 SQL、Python 等数据分析能力，能够完成数据提取、样本分析、指标计算和问题归因；
5. 具备较强的问题拆解、结构化表达和跨团队协作能力，能够推动评测结论转化为模型和业务优化动作。

加分项
1. 有广告审核、内容安全、商业化风控、反作弊、合规审核等业务经验；
2. 有大模型、多模态模型、AIGC 内容识别、Agent 应用等相关经验；
3. 熟悉自动化评测框架，了解规则评测、人工标注、模型裁判、对抗样本等方法；
4. 有评测平台、评测数据集、质检系统或审核辅助系统从 0 到 1 建设经验；
5. 具备工具化和自动化意识，能够结合 AI 工具或低代码方式，设计并搭建运营工具、Agent 应用、数据看板或可视化分析页面。