高级大模型推理框架工程师

岗位职责
我们做什么
负责大模型推理框架核心组件研发与极致性能优化，挑战token吞吐和首字延迟的物理极限，推动下一代推理范式落地。

岗位职责
· 负责大模型推理框架核心组件的方案设计和特性开发
· 研究投机解码、缓存管理、量化压缩等算法，解决长上下文和高并发难题；
· 探索MoE、PD分离等推理优化技术，与底层硬件深度协同，持续提升性能；

岗位要求
岗位要求
· 本科及以上学历，计算机、人工智能、数学、信息、电子等相关专业，1年以上相关经验
· 精通Python或C++，具备扎实的工程能力与系统级性能优化功底；
· 理解Transformer架构和推理全链路（注意力计算、缓存机制、采样策略等）；
· 熟悉至少一种主流推理框架（vLLM/TensorRT-LLM/SGLang等）及其底层实现；

加分项（非必需）
· 有GPU/NPU/等异构计算设备性能调优实战经验，熟悉CUDA/Triton/NCCL等；
· 在 Speculative Decoding、MoE 推理、PD 分离、长上下文推理等方向有深度实践；
· 熟悉量化、蒸馏、模型压缩等算法，有 INT8/FP8 量化推理落地经验；
· 在 vLLM / SGLang / TensorRT-LLM 等开源社区有贡献，或在顶会发表过相关论文。
· 具备算法研究能力，能跟踪顶会论文并快速复现落地。