锦鲤求职

星尘智能

大数据开发工程师(湖仓一体)

锦鲤会替你打开官网网申、按简历自动填表提交,你只需要在关键步骤确认。

岗位描述

【工作职责】

1.负责具身智能数据基础设施架构建设

2.构建 PB-EB 级多模态数据基础设施,支撑视频、图片、日志、标签等数据统一管理;

3.建设面向端到端模型训练的数据供应链(Data Supply Chain),支撑数据生产、治理、交付及持续迭代;

4.建设元数据、Catalog、权限治理、数据质量、数据血缘等基础能力;

5.建设统一数据服务能力,支撑训练、分析、评测及业务系统的数据访问;

6.建设数据开发、数据分析、数据交付等平台工具,提高数据生产效率;

7.建设流批一体的数据采集、加工及数据生产能力;

8.建设端到端模型训练数据管理能力,提升训练数据质量与迭代效率。

9.能深入理解算法团队需求,将 AI 数据生产流程抽象为平台能力;

10.持续跟踪 AI Data Infrastructure、Lakehouse、Data Engineering 等前沿技术,推动新架构在智能驾驶场景落地。

【任职要求】

1.具备大型分布式系统架构设计及工程落地能力,能主导核心系统设计及关键代码开发;

2.熟悉 AI 数据生产流程,对模型训练数据管理、数据闭环、数据飞轮有深入理解;

3.熟悉至少一门主流工程语言:Python / Java / Go / C++;

4.熟悉大规模数据系统性能优化、高可用架构及稳定性建设;

5.熟悉 Spark、Flink、Trino 等计算引擎;

6.熟悉 Iceberg/Paimon/Hudi 等 Lakehouse 技术;

7.熟悉对象存储、元数据管理、Catalog、数据治理体系。

数据方向的申请准备

先核对岗位要求与自己的经历,再准备档案、投递和面试。

阅读求职步骤与示例 →