分布式推理优化工程师

岗位职责
归属：产研中心，4/5级
负责大模型分布式推理核心体系建设与工程优化，负责推理服务架构设计、底层性能调优、分布式集群部署及生产稳定性治理，落地前沿推理技术，搭建高并发、高可用、高资源利用率的规模化推理服务体系，支撑超大模型企业级业务落地。
1、负责大模型在线推理服务系统的架构设计、核心研发、性能优化与生产落地，持续迭代推理服务能力，提升线上服务吞吐量、响应速度、稳定性及硬件资源利用率，支撑业务规模化稳定运行。
2、主导大规模分布式推理体系建设，搭建适配超大模型、高并发、多租户场景的多机多卡分布式推理架构，负责张量并行、流水线并行、专家并行等并行策略优化，实现预填充与解码流程架构升级。
3、深耕推理核心底层优化，重点负责分布式缓存管理、跨节点通信调度、高并发请求调度等核心模块研发与迭代，解决大规模集群部署下的性能瓶颈、调度卡顿、资源浪费等核心问题。
4、跟进行业主流推理技术与架构方案，落地成熟的开源推理框架核心能力，结合业务场景完成技术适配、二次优化与规模化落地，持续推动推理技术体系迭代升级。
5、负责企业级生产推理服务体系建设，搭建高可用、可扩展的多模型统一部署与资源调度体系，主导服务稳定性治理、性能基准评测、集群容量规划，闭环处理线上各类技术问题，保障大模型服务长期稳定、高效运行。
6、牵头复杂工程技术方案落地，推动技术从原型验证、场景试点到大规模生产复用，同时沉淀标准化的推理服务技术体系与落地规范。