岗位描述
核心职责
1、集群稳定性治理 负责现有大数据存储架构的整体治理,解决 BE 内存占用过高、Compaction 堆积、节点负载倾斜、查询延迟高、频繁 OOM 等在线稳定性故障,并持续支撑数据的长期存储与分析需求;
2、ETL 全链路治理 负责上游测试日志的采集、解析与入库流程优化,重构既有 ETL 体系,解决过程中的各类问题;建立入库缺失(漏传、解析失败、同步失败)的对账与心跳告警,让问题由系统先报而不是靠用户反馈;
3、Doris 深度调优与架构设计 完成 PageCache、Compaction、导入与查询的内存参数优化;Tablet 分片均衡、冷热数据分层规划、混合负载拆分架构设计,让脱机分析与高频在线点查互不干扰;
4、规范 Owner 制定统一的 Doris 数据建模规范、开发使用规范与 SQL 审核标准,编写最佳实践文档,指导并培训后端与 ETL 开发人员;分析并纠正业务侧把 Doris 当 MySQL 用的错误方式,推动下游各业务合理使用;
5、口径与关连治理 把建模规范向上延伸为字段级关连与口径版本管理,让任一报表数字可回溯到原始 log 与口径定义;并把口径核对规则整理成机器可执行的规则集,供给部门的裁判 Agent 使用;
6、冷热分层与长期保存 落地冷热数据分层(含对接对象存储归档),在控制热层容量与成本的同时,对齐车规客户对测试数据 10–15 年保存与可追溯的要求;
任职要求
1、5 年及以上大数据开发/OLAP 架构经验,其中至少 2 年 Apache Doris 生产集群的深度调优落地经验;具 50TB 以上集群运维优化实战,曾独立排查并解决 BE 内存持续飙升、Compaction 雪崩、Tablet 分片倾斜、频繁 OOM 等在线重大稳定性故障;
2、精通 Doris 底层存储、缓存、合并、导入、查询全链路机制,能清晰区分 OLAP 分析库与 MySQL OLTP 库的适用边界,具备混合读写负载拆分的落地经验;
3、熟练 ETL 全链路设计,精通 Python/Shell,具 BrokerLoad/StreamLoad 性能优化实战;
4、精通数仓分层建模与 SQL 全局优化,能制定完整的数据开发规范,并具备跨业务团队宣讲、推动代码与 SQL 整改落地的经验;
5、熟练 Linux 集群故障排查,能通过系统指针与 FE/BE 日志定位 IO、内存、RPC、后台任务瓶颈;