岗位描述
岗位职责:
1、负责公司大数据集成平台规划设计及开发迭代,打造高效易用的大数据平台接入能力
2、负责数据仓库性能监控和质量监控,保证数据仓库的稳定性和高效性
3、与业务部门合作,理解业务需求,设计和提供相应的数据解决方案
岗位要求:
1、熟悉数据仓库的概念、架构和设计原则,具备数据建模和维度建模的经验
2、了解数据质量管理的方法和工具,能够监控和维护数据仓库中的数据质量
3、熟悉Hadoop生态圈各组件基本原理以及使用(包括但不限于Hdfs、Yarn、Hbase、Kafka、Hive、Clickhouse、Flink)
4、具备扎实的编程能力,掌握至少一种脚本语言(Shell、Python等),熟悉Java\Go等开发语言,熟悉常用算法和数据结构
5、熟悉Spring Boot及Django开发框架