岗位描述
高级Java开发工程师(数据平台)
业务介绍
1、唯品会大数据开发平台的开发与维护,支持ETL开发与调度、adhoc管理、元数据管理、数据质量治理等核心能力;
2、平台日均处理 PB 级数据,承载百万级任务调度,千万级查询,具有非常大挑战和发展空间;
岗位职责
1、负责大数据开发平台 Java 核心模块的设计、开发和性能优化,包括但不仅限于调度系统、元数据管理、数据质量平台;
2、参与大数据开源项目(Hadoop / Hive / Spark / Seatunnel 等)的集成与定制,增强功能、提升性能和 fix bugs;
3、推动AI等新的技术在公司的应用和落地。
岗位要求
1、3年及以上 Java 开发经验,有 JVM 调优、并发编程、代码性能调优经验,熟悉 Linux 开发环境;
2、熟悉大数据开源生态(Hadoop / Hive / Spark / Seatunnel 等),深入了解底层组件原理且有二次开发经验者优先;
3、本科及以上学历,计算机相关专业;
4、自驱力强,对新技术保持敏锐度,乐于持续优化和重构代码;