大数据开发工程师

岗位职责
1. 负责大数据平台的开发与优化，包括实时数据处理与离线数据处理，确保数据处理流程的高效性和稳定性。
2. 设计并实现数仓模型架构，支持业务数据的高效存储和查询。
3. 开发和维护基于Spark或Flink的实时或离线数据处理任务，确保数据的准确性和及时性。
4. 优化数据处理任务，提升性能并降低资源消耗。
5. 分析并解决异常任务场景，制定处理方案以确保系统的稳定运行。
6. 参与数据平台技术选型及架构设计，持续改进系统的可扩展性和可靠性。
7. 编写相关技术文档，推动团队技术能力的提升。

岗位要求
1. 计算机科学、软件工程或相关专业背景，具备大数据开发相关经验。
2. 熟悉数据仓库模型设计，了解数据治理相关知识。
3. 精通大数据处理框架，如Spark、Flink等，能够深入理解其原理。
4. 熟悉实时开发或离线开发，具备以下任一方向的能力：
4.1 离线开发：
a. 深入理解Spark的原理及其生态组件。
b. 熟悉任务调优方案，能够优化数据处理性能。
c. 具备异常任务场景的分析及处理能力。
4.2 实时开发：
a. 深入理解Flink的原理及其生态组件。
b. 熟悉任务调优方案，能够优化实时数据处理性能。
c. 具备异常任务场景的分析及处理能力。
5. 熟悉分布式数据存储及处理技术，了解常见的数据库和消息队列工具。
6. 具备良好的编程能力，熟练掌握Java、Scala或Python中的一种或多种语言。
7. 具备较强的逻辑思维能力、问题分析能力和解决问题的能力。
8. 具有良好的沟通能力和团队协作精神，能够快速适应技术变化。