岗位描述
工作职责:
1、负责数据开发团队的技术规划与技术攻坚
(1)结合业务发展和数据团队现状,制定数据开发领域的技术演进路线。
(2)识别并解决团队在实时计算、数据质量、性能优化、稳定性和开发效率等方面的关键技术问题。
(3)主导核心技术方案的设计、评审、落地和复盘,对方案的可实施性及最终效果负责。
2、建设实时数据校验与质量保障能力
(1)结合实际场景推动Flink、Paimon、ClickHouse、Doris、StarRocks等技术组件的选型与落地,设计并推动实时数据校验、数据对账、异常检测和质量监控方案。
(2)完善数据质量规则、告警、定位、修复和闭环机制,提升数据链路的准确性、及时性和稳定性。
(3)推动数据质量能力平台化、标准化,降低重复建设成本。
3、规划并建设Data+AI能力
(1)结合数据研发全生命周期,规划数据开发团队的AI-Native流程和工具体系。
(2)推动大模型在需求理解、模型设计、SQL及代码生成、代码评审、测试、数据质量检查、故障定位和知识沉淀等场景的应用。
(3)建立AI辅助研发的标准流程、效果评估和安全治理机制,在保证质量的前提下显著提升交付效率。
4、发挥技术Owner作用
(1)负责复杂项目的技术把控,组织技术评审并推动跨团队协作。
(2)沉淀技术规范、最佳实践及公共能力,提升团队整体工程能力。
(3)指导和培养团队成员,营造技术驱动、持续改进的团队文化。
任职要求:
必备条件:
1、8年以上工作经验,本科及以上学历,计算机、软件工程、信息技术或相关专业。
2、具备扎实的数据开发及软件工程能力,熟练掌握SQL,并熟练使用Java、Scala或Python中的至少一种语言;熟悉SQL、编程语言和Hadoop/Spark/Flink等生态是数据开发岗位的常见核心要求。
3、深入理解实时计算、离线计算、湖仓架构、OLAP及数据服务等技术体系。
4、熟悉Flink及相关实时数据技术,有流批一体、实时数仓或实时数据质量项目经验。
5、熟悉Paimon、Iceberg、Hudi等至少一种湖仓表格式,了解其数据组织、更新及查询机制。
6、熟悉至少一种OLAP引擎,如ClickHouse、Doris、StarRocks等,并具备实际选型、优化或落地经验。
7、具备复杂技术问题的分析和解决能力,能够从架构、工程和业务价值角度制定可落地方案。
8、有Data+AI实践经验,能够将大模型、Agent或代码生成工具应用于真实数据研发流程,而不仅停留在概念验证阶段。
9、具备较强的推动力、项目管理能力和跨团队沟通能力,能够推动复杂方案从设计走向生产落地。
10、具备较好的技术影响力,能够通过技术规范、工具平台和人才培养提升团队整体能力。
加分项:
1、有AI-Native数据团队实践经验。
2、有核心系统稳定性治理、性能优化及疑难故障排查经验。
3、有技术Owner、架构师或技术团队管理经验。
4、有数据挖掘经验者优先。