锦鲤求职

太极图形

ML System Research/Engineer - Realtime Video Generation

锦鲤会替你打开官网网申、按简历自动填表提交,你只需要在关键步骤确认。

岗位描述

岗位职责
你的下一个挑战
交互式、实时生成的视频模型是生成式 AI 大胆创新的新前沿。我们构建的不是离线出片的视频模型,而是能以帧级延迟持续生成画面、并即时响应用户输入的交互式模型(Interactive Video / World Model)。这带来训练和推理领域中许多独一无二的新挑战:模型不仅要生成得好,还要生成得足够快。你在 Meshy 的下一个挑战将涵盖 AI 的全栈领域:构建训练框架、为我们的视频基础模型扩展高吞吐量的视频数据管线、与研究人员共同设计面向交互的新型模型架构,再到打造能实时响应用户操作的流式推理引擎。

以下是这些挑战在各个层面的一些具体示例:

在训练方面:
1.与研究人员紧密合作,共同设计交互式视频生成与世界模型(World Model)的下一代前沿技术,包括自回归 / 因果(Causal)视频生成架构。
2. 基于现代 PyTorch 进行构建与调试,以实现最大化的并行度和执行效率,并为我们内部的视频基础模型构建整洁、直观的训练基础设施。
3.识别性能瓶颈,并针对成百上千张 GPU 上的高吞吐量及高效分布式模型训练进行优化,包括针对超长时空序列的序列并行 / 上下文并行(Sequence/Context Parallelism)等混合并行策略。
4. 使用 Triton 或 CUDA 实现并维护视频模型专用的自定义算子(如时空注意力、因果/稀疏/线性注意力等 Attention 变体),并从算子层面为实时推理留出设计空间。
5.实现并维护面向大规模视频数据的新型数据加载(Data-loading)框架与库,涵盖高吞吐视频解码(如 GPU 硬解 / NVDEC)、切片、打包与在线增广。
6.在大规模训练中落地并调试低精度训练(如 fp8/fp4 与混合精度),在保证模型收敛与数值稳定的前提下,进一步提升训练吞吐与显存利用率。
7.构建训练与推理一致的蒸馏管线(步数蒸馏、自回归化改造等),把大模型的能力压缩到实时交互可用的延迟水位。

在推理方面:
1.构建低延迟的流式实时推理引擎:在帧级延迟预算内持续生成视频,并即时接入用户的交互输入。
2.通过图编译(Compilation)、算子融合(Fusion)、低精度量化(Quantization)、CUDA Graphs 与 KV/特征缓存管理等技术,将端到端延迟优化到实时水平。
3.设计多用户并发的流式服务架构:会话状态与缓存管理、动态批处理(Continuous Batching)、多卡并行推理与视频推流链路优化。

岗位要求
- 具备机器学习或高性能计算经验。
1.对至少一种机器学习框架(如 PyTorch、JAX)有扎实的实践认知和深入理解。
2.具备出色的编程能力,能使用 Python 和/或 C++ 编写高性能且易于维护的代码。
3.学习能力强,能够快速掌握新概念或深入理解复杂的代码库。
4.具备性能与效率导向的思维,对优化最微小的细节(如内存带宽、通信开销、端到端延迟)充满热情。
5.出色的沟通能力,能够胜任在全球分布式团队中的协作。

加分项
1.对交互式生成方向有自己的理解或实践:世界模型、可交互视频(Genie 类系统)、游戏/仿真环境、实时推流(WebRTC 等)链路,或熟悉视频 VAE / Tokenizer 与时空因果压缩表征。
2. 对探索 PyTorch 底层内部机制充满热情,并具有 torch.compile、fully_shard (FSDP2) API 等领域的实操经验。
3.具备编写生产级 Triton Kernel 或 CUDA 算子的经验。
4.具有视频扩散模型(Video Diffusion / DiT)或自回归视频模型的训练、推理优化经验,或大规模视频数据处理经验。
5.具备低延迟推理系统经验:CUDA Graphs、TensorRT、vLLM/SGLang 类推理引擎、Continuous Batching 或流式服务。
6.熟悉长序列训练的并行方案(如 Ring Attention、DeepSpeed-Ulysses 等序列并行),或有 FlashAttention 类高效注意力算子的实践经验。
7.熟练低精度(如 fp4 或 fp8)大规模训练与混合精度调试经验。
8.在顶级学术会议上发表过相关方向的论文,包括但不限于视频生成模型、世界模型、计算机图形学、高性能计算与机器学习系统(如 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、SIGGRAPH、SC、MLSys 等)。

人工智能方向的申请准备

先核对岗位要求与自己的经历,再准备档案、投递和面试。

阅读求职步骤与示例 →