岗位描述
岗位职责
1. 参与端侧大模型推理框架开发与优化,支持 LLM/VLM 在嵌入式、车载 NPU 平台部署落地。
2. 参与推理框架核心模块开发,包括模型解析、计算图优化、算子适配、内存管理、推理调度等。
3. 针对 Transformer 类大模型开展性能优化,提升推理速度、降低时延与内存占用。
4. 参与大模型量化、轻量化及推理优化技术落地,推动端侧大模型高效运行。
5. 搭建模型性能评测体系,协助完成精度、性能和稳定性分析。
岗位要求
1. 本科及以上学历,计算机、人工智能、电子信息等相关专业。
2. 具备扎实的计算机基础和C/C++ 编程能力。
3. 了解 Transformer、LLM/VLM 基础原理及推理流程,熟悉 Attention、KV Cache、Prefill/Decode 等大模型推理优化技术。
4. 熟悉主流深度学习推理框架(如 TensorRT、MNN 等),有模型部署、推理优化或算子开发实践经验优先。
5. 了解大模型量化与轻量化技术(PTQ/QAT、模型压缩等),具备相关项目实践经验或对端侧大模型部署有兴趣者优先。
6. 积极主动、态度认真。