岗位描述
岗位职责
主要职责:
1. 根据端到端模型训练和评测需求,建设数据采集、存储、清洗、筛选和数据集生成流程。
2. 负责CARLA、后续HIL及实车数据的统一组织和管理,包括图像、车辆状态、导航信息、控制信息及相关元数据。
3. 设计与具体模型解耦的数据存储和数据集生成机制,使模型输入、采样频率、时序窗口等发生变化时,历史数据仍可重新加工和复用。
4. 建立数据格式、Schema、时间戳、标定信息和数据版本管理规范。
5. 根据算法和测试结果,开发失败场景、Corner Case和高价值场景的数据筛选与检索工具。
6. 建设训练数据版本管理和数据追溯能力,明确不同模型版本对应的数据来源、处理方式和数据集版本。
7. 随项目发展逐步建设自动标注、主动学习和数据闭环能力。
岗位要求
1. 计算机、人工智能、软件工程、数据工程等相关专业本科及以上学历。
2. 熟练掌握Python,具备较好的数据处理和工程开发能力。
3. 熟悉图像、视频及时序数据处理。
4. 熟悉ETL、数据清洗、数据存储、批处理及数据集构建流程。
5. 熟悉Linux,具备较好的系统化思维和问题分析能力。
6. 能够理解原始数据层、标准化数据层、模型数据集层的分层设计思想,避免数据与单一模型版本过度绑定。