锦鲤求职岗位描述
岗位职责
1、5年以上数据研发或大数据平台架构经验，有大型企业数据仓库、大数据平台整体架构设计与建设经验，熟悉分布式系统开发与优化、集群高可用、容灾等方案；
2、精通ETL数据处理，熟悉主流数据集成工具的内部实现机制；熟悉主流调度系统（如Airflow、DolphinScheduler、Control-M）的原理，能够进行数万级别的任务有效编排、依赖管理及资源隔离等设计，有智能调度或基于历史执行记录的优化经验者优先；
3、精通关系型数据库、MPP、Hadoop生态及实时计算引擎，具备PB级数据查询优化、执行计划分析及存储格式调优经验，熟悉分布式事务、一致性协议及高并发数据服务设计，有AI辅助SQL调优等实践经验优先；
4、熟悉Linux系统，能使用Shell、java、Python等脚本语言编写脚本，熟悉微服务架构、容器化部署、能结合AI开展自动化数据运维者最佳；
5、具备优秀的系统设计能力与架构思维，善于从底层技术视角解决复杂问题；良好的跨团队协作与推动能力，能有效协调研发、运维与业务团队；
6、有证券从业经验或熟悉恒生交易系统者优先考虑，有AI相关数据平台落地经验，或参与过大模型训练推理基础设施搭建者优先。
岗位要求
1、负责大数据平台的整体架构设计与优化演进，包括分布式存储、计算引擎、调度系统等核心组件，保障平台在高并发、PB级数据场景下的高可用与弹性扩缩容能力，关注各类数据前沿技术的研究与公司的实际落地应用；
2、主导数据集成与ETL管道的建设，优化离线与实时数据接入方案，实现全链路数据质量监控与自动化、智能化修复；
3、构建和维护大规模任务调度系统，实现数万级别任务的智能编排、依赖管理与资源隔离，持续优化调度效率与稳定性，探索基于历史执行记录或AI模型的动态调度策略；
4、负责数据性能调优，针对PB级数据进行SQL优化、执行计划分析、存储格式调优等，并引入AI辅助手段提升质效，持续推进数据服务的技术优化与创新；
5、推进数据平台的智能化运维，利用AI技术实现自动化监控、异常检测、故障诊断与自愈，结合大模型构建自然语言驱动的运维助手，降低人工干预成本；
6、负责协同业务与算法团队，支撑AI模型训练推理的数据基础设施建设；
7、公司安排的其他事项。