岗位描述
岗位职责:
1.负责AI推理框架的设计、开发与优化,提升模型推理效率;
2.参与深度学习模型的部署与性能优化,确保框架在各类硬件上的高效运行;
3.跟踪AI推理领域的最新技术动态,持续迭代产品功能。
任职要求:
1.掌握至少一种主流推理框架(如vLLM、SGLang等),了解其底层原理,熟悉pytorch、flash attention、cutlass、cublass等;
2.具备扎实的编程能力,熟悉C/C++、Python等编程语言;
3.对硬件加速技术(如GPU、FPGA、ASIC)有深入了解,能够优化模型在硬件上的执行效率;
4.具有良好的问题分析与解决能力,能够主动推进项目进展。