锦鲤求职岗位描述
岗位职责
1. 负责机器人数据管理平台的数据架构设计，构建覆盖采集、清洗、标注、存储、检索的端到端数据 pipeline;
2. 设计并实现多模态数据（图像、视频、点云、IMU、轨迹、本体状态等）的统一数据模型、版本管理与血缘追踪体系;
3. 构建大规模数据处理 pipeline，支撑数据清洗、特征提取、自动标注、数据增强等批/流式作业;
4. 设计高效的数据检索与切片能力，支持算法团队按场景、标签、时序等多维度快速构建训练数据集;
5. 主导数据质量体系建设，包括数据校验、异常检测、采样评估、数据集评测指标;
6. 与算法、后台团队紧密协作，持续优化数据闭环效率，赋能模型迭代。
岗位要求
1. 计算机相关专业本科及以上学历，5年以上数据工程相关经验,具备良好的数据建模与抽象能力，能从业务需求出发设计可扩展的数据架构;
2. 精通大数据生态：Spark、Flink、Ray、Hadoop等，有PB级数据处理经验;
3. 熟悉数据湖技术栈：Paimon/Iceberg等，有数据湖落地经验者优先;
4. 熟悉对象存储与分布式存储方案，有海量非结构化数据（图像/视频/点云）存储与索引经验;
5. 精通 Python/Scala/Java 中至少一种;
6. 具备以下任一方向经验者优先：机器人数据/自动驾驶数据平台、多模态数据处理、向量检索（Milvus/Faiss）、数据集版本管理、AI 训练数据闭环建设经验。