岗位描述
岗位职责
1、负责智能算法在硬件平台上的工程化设计、实现和优化,打造高吞吐、低延时推理系统
2、优化大模型推理性能,提升吞吐并控制成本
3、优化大模型推理框架,提升框架易用性和可调试行
4、调研业界硬件平台设计、计算优化的发展趋势,进行技术分析与开发实现。/1、负责深度学习训练框架的工程化设计、实现和优化,打造高吞吐训练系统;
2、优化大模型训练框架,实现前沿开源算法的快速迁移,提升跨硬件平台的资源利用效率;
3、优化大模型训练性能,优化训练资源占用、提升训练吞吐;
4、调研业界硬件平台设计、训练优化的发展趋势,进行技术分析与开发实现。
岗位要求
1、硕士及以上学历;计算机、光电、生仪、通信、自控等相关专业;
2、熟练掌握C、C++、Python至少一种编程语言,编程基础扎实;
3、具备以下开发经验之一者优先:
1)熟悉计算机体系架构、编译原理、操作系统;
2)有tensorRT/fasterTransformer/vllm/TensorRT-llm /sglang等深度学习推理框架使用经验,了解常用AI算法网络;
3)熟悉异构并行加速瓶颈分析方法,有主流GPGPU、DSA架构优化经验;
4)熟悉分布式推理常用加速方法,有大模型分布式部署经验者;
4、具备较强的全局观,能够系统的分析问题,良好的沟通协作能力。/1、硕士及以上学历;计算机、光电、生仪、通信、自控等相关专业;
2、熟练掌握C、C++、Python至少一种编程语言,编程基础扎实;
3、具备以下开发经验者优先:
1)熟悉计算机体系架构、linux基本操作、嵌入式开发
2)有pytorch/megatron/deepspeed等深度学习训练框架使用经验,了解常用AI算法网络
2)熟悉常用的分布式并行训练加速方法,有大模型混合并行训练经验者
4、具备较强的全局观,能够系统的分析问题,良好的沟通协作能力。