大模型推理优化实习生

岗位职责：

1、参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案；

2、针对大语言模型（LLM）、视觉生成（如Diffusion Models）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量；

3、深度优化推理框架，提升框架在异构硬件上的扩展性与易用性；

4、开发自动化性能分析工具，实现推理瓶颈的快速定位与优化建议生成。

岗位要求：

1、计算机、电子工程、自动化、数学等相关专业优先，2028届在校生；

2、熟悉linux环境下 C++/Python编程，具备CUDA/BANGC等异构编程经验；

3、了解LLM或者视觉生成模型原理：

a)大模型推理框架：vLLM/SGLang/FasterTransformer/TensorRT-LLM

b)视觉生成系统：Diffusers/ComfyUI/xDiT

5.深入理解量化、kvcache、多机多卡并行等加速技术；

6.实习时长需满足6个月，每周出勤4天及以上。

*此岗位有笔试环节，请同学关注邮箱动态。