岗位描述
工作职责
1. 负责ETL流程的设计、开发与优化,确保数据高效、准确地从业务系统抽取、转换并加载至目标数据库或数据仓库;
2. 参与数据模型设计与数据架构规划,支持银行项目中的数据集成与处理需求;
3. 配合业务与技术团队完成数据接口开发、数据迁移及批量作业调度任务;
4. 对ETL作业进行日常监控、问题排查与性能调优,保障数据处理任务稳定运行;
5. 编写相关技术文档,协助完成项目交付与验收工作。
工作要求
1、有数据分析建模的经验,精通SQL的编写与调优。
2、熟悉Hadoop相关组件如Hive、HDFS、Yarn、Zookeeper的原理及使用方法。
3、熟悉ETL相关流程,有Hive、HBase、PostgreSQL数据同步的工作经验。
4、有Spark等离线或者实时数据开发经验。
5、有信贷、担保相关经验优先。