岗位描述
岗位职责:
1、参与企业级数据仓库与数据湖的建设,负责离线/实时数据管道的设计、开发与运维,支撑养殖、供应链、财务等核心业务域的数据资产沉淀;
2、基于业务需求完成数据采集、清洗、转换、加载(ETL/ELT)全流程开发,保障数据及时性、准确性与稳定性;
3、参与数据分层建模设计(ODS-DWD-DWS-ADS),落地维度建模方法论,构建规范化的数据分层架构与主题域模型;
4、开发与维护实时数据处理链路(Flink/Spark Streaming等),支持生产监控、环控预警、生物安全等实时业务场景;
5、参与数据中台能力建设,包括数据服务API封装、数据资产目录搭建、数据血缘与影响分析等,提升数据复用效率;
6、协同数据治理、BI分析及业务团队,排查数据链路异常与性能瓶颈,持续优化ETL流程与数据计算资源消耗。
任职要求:
1、计算机科学、数据科学、软件工程或相关专业本科及以上学历,退役军人优先;
2、熟悉数据仓库建模方法论(维度建模/范式建模),了解数据分层架构设计,了解数据中台基本概念与建设思路;
3、熟练掌握SQL,了解Oracle/MySQL/PostgreSQL至少一种;熟悉Hadoop/Spark/Hive/Flink等大数据生态组件,具备离线与实时数据处理开发经验者优先;
4、精通至少一种编程语言,如Python、Java、Scala等,具备良好的编码与工程化能力;了解Airflow/DolphinScheduler等调度工具,或Kafka等消息中间件者优先;
5、具备良好的逻辑分析与问题排查能力;具备跨部门沟通协作意识;较强的学习自驱力与抗压能力;对农牧/养殖/食品加工行业有一定认知者优先。