岗位描述
岗位职责
岗位职责:
1.研发及优化语言大模型及多模态等推理引擎、PD分离推理调度系统;
2.支持新一代自研AI芯片推理引擎开发优化,优化大模型推理性能,打造极致性能优势。
岗位要求
任职要求:
1.熟练掌握C/C++、Python编程语言,具备良好的coding 和调试能力;
2.熟悉GPU/AI芯片编程,如CUDA, OpenCL,Ascend 等,熟悉cutlass等加速库是加分项;
3.熟悉主流大模型推理框架,如vIlm,sglang,tensorrt-llm,FasterFransformer等;
4.熟悉各类深度学习网络和算子底层实现细节,训练和推理模型调试、调优有实操经验优先;
5.熟悉并行策略,如模型并行、流水线并行等,了解 NVLINK、GPU通信者优先;
6.具备GPU、AI芯片体系结构知识,熟悉芯片特性,具备 系统性能分析和调优经验优先;
7.加分项:
•参与vllm、sglang等开源项目贡献者;
•熟悉推理服务框架,具备服务部署经验者优先,有超大模型分布式部署经验优先。
•熟悉deepep、RCCL等分布式通信库