岗位描述
岗位职责
模型性能系统优化
1. 参与开发大模型训练推理框架,提升系统性能和系统稳定性。
2. 持续扩充核心框架的功能和计算能力,优化系统的架构和模型设计,保持一定的业务和技术前瞻性。 从模型架构 并行策略 计算通信等角度优化模型性能
3. 与产品和测试以及其他研发团队深入协作,解决关键问题,完成研发计划。
4. 负责大模型相关技术,方案及架构设计沟通、规划、撰写。
5. 调研分析海内外产品技术实现,探索创新方向。
岗位要求
1. 本科及以上、计算机、软件工程等相关专业优先;
2. 有扎实的计算机科学知识,熟练掌握Pytorch,C++ 具备良好的编程能力和代码风格。
3. 对AI大模型相关核心技术原理有认知,熟悉sglang vllm tensorrt megatron等种大模型框架。
4. 具备优秀的沟通能力。
5. 工作态度认真,做事主动、仔细。有强烈的责任心、有自驱力、抗压能力。
加分项:
1. 熟悉NV以及国产化AI芯片技术,有训练/推理性能优化经验
2. 高性能算子kernal开发经验,cuda、C++开发能力。
3. 有高性能网络 (overlav&underlay, rdma/ib/roce) 相关的经验。