岗位描述
1、负责大模型/深度学习模型在AI硬件平台上的推理部署、性能调优和交付落地,提升吞吐、降低延迟和资源成本。
2、负责 vLLM、TGI、TensorRT-LLM、MindIE 等推理框架的适配、优化和问题定位。
3、设计并落地量化、混合精度、蒸馏、剪枝、算子融合、KV Cache 优化等推理加速方案。
4、定位并解决推理过程中的性能瓶颈、精度下降、显存不足、算子不支持、服务稳定性等复杂问题。
5、沉淀推理调优方法论、Benchmark 规范、最佳实践和交付文档,支持重点客户项目落地。
锦鲤会替你打开官网网申、按简历自动填表提交,你只需要在关键步骤确认。
1、负责大模型/深度学习模型在AI硬件平台上的推理部署、性能调优和交付落地,提升吞吐、降低延迟和资源成本。
2、负责 vLLM、TGI、TensorRT-LLM、MindIE 等推理框架的适配、优化和问题定位。
3、设计并落地量化、混合精度、蒸馏、剪枝、算子融合、KV Cache 优化等推理加速方案。
4、定位并解决推理过程中的性能瓶颈、精度下降、显存不足、算子不支持、服务稳定性等复杂问题。
5、沉淀推理调优方法论、Benchmark 规范、最佳实践和交付文档,支持重点客户项目落地。
先核对岗位要求与自己的经历,再准备档案、投递和面试。