锦鲤求职

兆易创新

数据治理工程师(Apache Doris 方向)

锦鲤会替你打开官网网申、按简历自动填表提交,你只需要在关键步骤确认。

岗位描述

核心职责

1、集群稳定性治理 负责现有大数据存储架构的整体治理,解决 BE 内存占用过高、Compaction 堆积、节点负载倾斜、查询延迟高、频繁 OOM 等在线稳定性故障,并持续支撑数据的长期存储与分析需求;

2、ETL 全链路治理 负责上游测试日志的采集、解析与入库流程优化,重构既有 ETL 体系,解决过程中的各类问题;建立入库缺失(漏传、解析失败、同步失败)的对账与心跳告警,让问题由系统先报而不是靠用户反馈;

3、Doris 深度调优与架构设计 完成 PageCache、Compaction、导入与查询的内存参数优化;Tablet 分片均衡、冷热数据分层规划、混合负载拆分架构设计,让脱机分析与高频在线点查互不干扰;

4、规范 Owner 制定统一的 Doris 数据建模规范、开发使用规范与 SQL 审核标准,编写最佳实践文档,指导并培训后端与 ETL 开发人员;分析并纠正业务侧把 Doris 当 MySQL 用的错误方式,推动下游各业务合理使用;

5、口径与关连治理 把建模规范向上延伸为字段级关连与口径版本管理,让任一报表数字可回溯到原始 log 与口径定义;并把口径核对规则整理成机器可执行的规则集,供给部门的裁判 Agent 使用;

6、冷热分层与长期保存 落地冷热数据分层(含对接对象存储归档),在控制热层容量与成本的同时,对齐车规客户对测试数据 10–15 年保存与可追溯的要求;

任职要求

1、5 年及以上大数据开发/OLAP 架构经验,其中至少 2 年 Apache Doris 生产集群的深度调优落地经验;具 50TB 以上集群运维优化实战,曾独立排查并解决 BE 内存持续飙升、Compaction 雪崩、Tablet 分片倾斜、频繁 OOM 等在线重大稳定性故障;

2、精通 Doris 底层存储、缓存、合并、导入、查询全链路机制,能清晰区分 OLAP 分析库与 MySQL OLTP 库的适用边界,具备混合读写负载拆分的落地经验;

3、熟练 ETL 全链路设计,精通 Python/Shell,具 BrokerLoad/StreamLoad 性能优化实战;

4、精通数仓分层建模与 SQL 全局优化,能制定完整的数据开发规范,并具备跨业务团队宣讲、推动代码与 SQL 整改落地的经验;

5、熟练 Linux 集群故障排查,能通过系统指针与 FE/BE 日志定位 IO、内存、RPC、后台任务瓶颈;

数据方向的申请准备

先核对岗位要求与自己的经历,再准备档案、投递和面试。

阅读求职步骤与示例 →