锦鲤求职岗位描述
工作内容
岗位职责
1. 主导云上大数据管控平台核心模块研发，对标Cloudera Manager的关键能力：
- 设计并实现大数据组件（Hadoop/Spark/Flink/Hive等）的自动化部署与配置管理，支持版本兼容、组件依赖解析与一键集群搭建
- 构建集中式运维控制台，涵盖服务启停、配置变更、滚动升级、故障自愈等全生命周期操作
- 开发精细化监控与告警系统，采集组件指标（JVM/IO/计算资源）、作业运行状态与集群健康度，支持自定义告警策略
- 实现集群性能诊断与优化工具，提供资源瓶颈分析、作业慢查询定位、配置参数调优等能力
2. 适配云环境的差异化管控能力：
- 结合云弹性计算特性，开发基于负载的集群扩缩容、资源动态调整机制
- 设计多租户场景下的资源隔离（计算队列/存储配额）与权限管控，支持租户自助运维与成本计量
- 对接云原生基础设施（Kubernetes、对象存储、VPC网络），实现容器化大数据集群的管控与调度
3. 强化平台可靠性与安全性：
- 构建集群高可用架构，支持主备切换、数据多副本管理与灾难恢复策略
- 集成云安全服务（IAM、数据加密、合规审计），满足等保与行业安全标准
- 优化管控链路的稳定性，解决大规模集群（千节点级）下的部署效率
任职条件
任职要求
1. 本科及以上学历，计算机相关专业，5年以上大数据平台或管控系统研发经验
2. 精通Java/Scala编程语言，深入理解分布式系统设计与微服务架构
3. 熟悉Cloudera Manager、Apache Ambari等大数据管控工具的原理与实现，有二次开发经验者优先
4. 深入理解至少2种以上主流大数据组件的工作机制（HDFS/YARN/Spark/Flink/Hive等），了解其配置项、监控指标与运维特性
5. 具备以下经验之一者优先：
- 参与过企业级大数据管控平台的架构设计与核心模块开发
- 有基于Kubernetes的大数据组件编排与管控经验（如使用Operator模式）
- 熟悉云原生监控体系（Prometheus/Alertmanager/Grafana）与日志收集（ELK/Loki）技术栈
6. 了解天翼云等公有云的IaaS/PaaS服务，具备混合云管控经验者优先
7. 具备较强的技术攻坚能力与跨团队协作精神，能主导复杂技术方案的落地