LLM 数据合版负责人

核心职责

1. 模型能力抽象与数据需求定义

将 AI 小唯所需的能力拆解为可训练的能力维度（如：导购意图识别、商品理解与推荐、多轮对话、比价咨询、尺码建议、通用对话、安全合规等）；

针对每个能力维度，定义数据需求：需要什么样的样本、多少量、什么质量标准；

将产品的能力诉求

翻译为具体的数据建设方向；

持续跟踪模型在哪些能力上薄弱，反向指导数据补强

2. 数据合版规范建设

制定数据合版的标准规范：数据格式、字段定义、能力标签、质量分级、来源追踪；

定义不同能力数据的配比规则和浓度策略（如：业务数据 vs 通用数据的比例、各能力子集的采样权重）；

建立数据版本管理机制：每版数据的构成清单、变更记录、对应的模型版本和评测结果；

沉淀合版方法论，形成可复用的规范文档和操作手册

3. 数据质量控制

建立数据质量评估体系：指令多样性（embedding 聚类覆盖度）、回复质量（长度分布、IFD 指标）、格式规范性、拒答比例控制等；

数据清洗与去重：规则过滤、语义去重、低质量样本剔除；

数据质量分层：高质量样本与普通样本的权重区分，避免低质量数据稀释训练效果；

标注规则定义与验收：确保标注数据的准确率达标；

4. 数据消融实验

设计并执行消融实验：控制变量验证某类数据 / 某个配比对模型能力的影响；

通过小规模代理实验（小模型 + 短 token 预算 + 固定随机种子）快速验证数据配比方案；

分析能力间的相互影响：某类数据增加是否导致其他能力退化（如业务数据过多导致通用能力回退）；

基于实验结果迭代数据配比，找到当前模型规模下的最优 mixture；

5. 数据浓度配比优化

设计不同能力数据的混合配比方案：通用对话、导购专项、安全合规、代码工具等各维度的比例；

采用温度采样等策略平衡大数据集与小数据集，避免小数据集被压制；

针对不同训练阶段（SFT、RLHF/DPO）设计差异化的数据配比；

跟踪配比方案在训练后的效果，持续迭代优化

6. 评测准出与效果验证

与评测负责人协作，建立数据合版的评测准出标准：每版数据训练后必须通过哪些评测才能用于下一阶段；

建立分能力切片的评测体系，避免"总分上涨、关键能力下滑"；

跟踪数据版本与模型效果的对应关系，建立"数据-模型效果"的因果链路；

对标竞品的评测表现，反向指导数据合版方向

任职要求

硬性要求

1.学历：计算机、人工智能、数学、统计等相关专业本科及以上学历；

2.经验：3 年以上 AI/算法相关经验，其中至少 1 年大模型（LLM）数据工程或 SFT 相关经验；

3.大模型训练数据理解：熟悉 SFT、RLHF/DPO 的数据构造方法，理解数据质量、配比、顺序对模型能力的影响;

4.数据工程能力：熟练掌握 Python，熟悉大规模数据处理（Pandas、Spark、Ray 等），了解数据清洗、去重、质量评估的常用方法

5.实验设计能力：能设计严谨的消融实验，理解控制变量、随机种子、代理模型实验等方法论

加分项

1.有大模型 SFT 数据配比 / 数据合版的实际经验，做过数据消融实验;

2.有搜索 / 推荐 / 广告系统的数据工程经验（导购场景与这些领域更接近）;

3.熟悉 LLM 评测方法（指令遵循率、格式正确率、多轮一致性、人工偏好评估等）;

4.了解 DMT（双阶段混合微调）、课程学习等数据训练策略

5.有 Agent / 多轮对话 / RAG 相关的数据构造经验

软性能力

1.抽象能力：能把模糊的"模型能力需求"拆解为清晰的数据需求

2.判断力：能在数据取舍上做决策，知道什么数据该留、什么该删、该占多少比例

3.严谨性：数据合版是细致活，一个小错误可能污染整个训练集

4.协作能力：需要与训练团队、评测团队、产品团队多方协作