大数据开发工程师

岗位职责
负责企业级数据仓库的模型设计、ETL流程开发与调度，保障数据的准确性、一致性和及时性；
参与业务需求分析，梳理数据源，设计并实现从源系统到ODS、DWD、DWS各层的数据加工逻辑；
使用大数据技术栈（如 Hive、Spark、Flink、HDFS、Kafka 等）进行海量数据的抽取、清洗、转换和加载（ETL/ELT）；
编写高效、可维护的 SQL 和脚本（如 Python、Shell），优化数据处理性能，提升任务执行效率；
与数据分析师、产品经理及 BI 工程师协作，支持报表、看板及数据分析需求；
使用 BI 工具（如 Tableau、Power BI、FineBI、QuickBI 等）进行数据可视化开发，辅助业务决策；
参与数据治理工作，包括元数据管理、数据质量监控、血缘分析等；

岗位要求
1、本科及以上学历，4年工作经验以上，计算机相关专业优先
2、熟悉云原生技术栈，了解相关组件如K8S,J视频编辑工具ger，Skywalking，Harbor等，有实际的项目经验；熟悉云相关产品，如ACK, Edas更佳；
5、熟悉基本的数据中台或者数据仓库架构，从0-1参与过数仓的搭建或设计，熟悉基本的数仓设计模型和方法论。如，数仓的分层模型，staging-ods-dw-电子设计自动化工具，数据仓库维度设计模型，如星形模型，雪花模型等, 使用过相关ETL工具或产品，如kettle, airflow等，熟悉云数据中台产品更佳，如ODPS, DTS，maxcompute等；