岗位描述
岗位职责
1. 支持全链路具身多模态数据的整理和分析平台;
2. 定义各阶段数据资产的元数据格式和内容,支持数据集版本、数据血缘、标签描述和基础统计等功能;
3. 开发结构化表和向量化数据检索能力,支持数据查询筛选、训练数据集生成、数据分析等功能;
4. 集成多模态数据可视化工具,为用户提供便捷的数据浏览体验;
5. 封装SDK,建立dataframe抽象,让算法开发或用户可以直接与dataframe进行交互;
6.持续优化数据管理能力,查询分析性能和SDK的易用性,提升算法数据使用体验。
岗位要求
1. 本科及以上学历,计算机相关专业
2. 扎实的后端开发能力,深入理解data-intensive系统的技术栈和原理;
3. 精通Go/Rust/Java/Python中至少一门编程语言;
4. 熟悉常见数据库(MySQL / PostgreSQL),熟悉数据湖/仓技术(如Delta Lake/Apache Iceberg),熟悉Parquet/Lance/Arrow/Datafusion/LanceDB等技术栈;
5. 有大规模数据系统设计和开发经验(如云原生的分析型数据库系统),熟悉数据湖/仓架构;
6. 有高度自主性(high agency),能主动发现并尝试解决问题。