大模型推理系统工程师 - 火山方舟

岗位职责
团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。

1、参与方舟MaaS推理系统工程研发，优化超大规模异构推理集群下的大模型推理性能、成本和稳定性；
2、通过多角色分离式推理、分布式KV Cache系统、异构推理、弹性计算、多租户混布推理等系统手段，优化大模型推理成本。

岗位要求
1、2027届获得本科及以上学历，计算机、人工智能、信息安全等相关专业优先；
2、精通算法、设计模式和数据结构，具备扎实的操作系统、计算机体系结构等知识；
3、熟练掌握C++，Python等一门或多门编程语言，编程风格良好；
4、理解GPU硬件架构，熟悉CUDA等高性能计算软件栈，有GPU性能分析的经验；
5、对分布式系统/大规模异构推理有浓厚兴趣，喜欢钻研底层原理与性能瓶颈，有实际追踪相关领域进展。

以下条件为加分项：
1、参与过大模型推理系统优化工作，对PD分离、KV Cache系统、多机推理等有实践和认知；
2、有分布式网络通信优化经验，深入理解分布式通信算子实现原理、RDMA原理等；
3、了解或应用过K8s、Ray等资源编排调度框架。