岗位描述
工作内容
1.负责构建面向大模型预训练、微调的高质量数据集的数据治理体系与工具链,包括但不限于采集、清洗、去重、质量评估、结构化与标注,研发和管理自动化数据处理工具与平台。
2.负责构建大模型领域能力评测体系,基于自动化评测工具与平台,对模型的领域能力进行综合评估与基准测试。
3.负责深入数据配比、数据增强与合成数据生成等前沿技术,探索数据与模型scaling law的关系,最大化数据效用以提升模型性能。
4.负责跟踪大模型及数据治理领域前沿技术动态,推动算法创新和落地。
5.完成领导交办的其他工作。