岗位描述
关于团队
Compass 是由 Shopee 研发的面向全球竞争的超大规模多语言模型,具备强大的跨文化理解、复杂逻辑推理与自主执行能力。依托全球新兴市场(尤其是东南亚)海量的多语言、多文化数据优势,Compass 系列模型已成功实现了从 v1 到 v3 演进。当前,我们正聚焦前沿技术突破,全力打造架构更先进、能力更卓越的下一代基座大模型,打造全球领先的多语言与自主智能体(Agentic LLM)技术体系。我们将通过对算法和数据策略的深入研究,建立科学的 scaling law 指导规划,攻克训练与推理加速瓶颈,打通从数据治理到智能涌现的确定性路径。我们追求将现有的预训练技术做到极致。
岗位职责
前沿模型架构探索与实验: 协助团队调研并探索新型网络架构(如 MoE、状态空间模型等)与长上下文压缩技术。在导师的指导下,搭建小规模验证实验,对比分析不同架构和 Attention 机制的算力效率与实际效果。
高质量数据分析与策略验证: 参与构建大模型所需的“燃料”。协助进行多模态、多语言海量数据的清洗、处理与质量分析;在小型模型上跑通 Data Mix 与 Curriculum Learning 的消融实验(Ablation Study),为最终的数据策略提供实验支撑。
Scaling Laws 与训练监控: 协助进行大模型预训练的实验跑批、参数微调与日志监控。参与探索数据规模、模型参数与算力之间的 Scaling 规律,配合资深研究员定位和解决分布式训练中的收敛异常与稳定性问题。
岗位要求
学历专业: 计算机、人工智能、数据科学、数学等相关专业硕士及以上学历。
编程功底: 具备扎实的算法与数据结构功底,精通 Python,熟练掌握 C++,具备出色的工程实现能力。
AI与框架底座: 深入理解 NLP/LLM 基础理论,熟练使用 PyTorch,对大模型的核心算子有深入了解。
分布式计算: 熟悉至少一种主流大规模分布式训练框架(如 Megatron-LM, DeepSpeed, Colossal-AI),深刻理解数据并行、张量并行、流水线并行及 ZeRO 等内存优化技术。
问题解决: 具备极强的 Debug 能力和问题诊断能力,能够快速定位并解决模型训练中的算法缺陷与系统瓶颈。