岗位描述

工作地点：北京

推理优化方向：

1. 负责模型推理性能调优：chunked prefill、continuous batching、KV cache压缩

2. 开展模型量化实验（INT4 QAT/GPTQ/AWQ），验证精度与性能平衡

3. 维护推理服务基准测试套件，持续跟踪TTFT/TPS/并发指标

4. 主导多模型（Kimi、Deepseek、Qwen、GLM、Minimax）的部署与适配

5. 编写推理优化技术文档与最佳实践

模型评测方向：

1. 建立模型评测框架：覆盖编码（SWE-bench/LiveCodeBench）、长文本（MRCR/LongBench）、通用能力

2. 跟踪国内外主流模型动态，定期输出模型选型建议

3. 执行模型对比实验：推理性能、精度、成本的综合评估

4. 维护模型部署兼容性矩阵（SGLang/vLLM × 各模型 × 各GPU）

5. 撰写模型评估报告供管理层决策参考

模型研发方向：

1、负责AI模型的部署、模型服务运维、稳定性保障，模型参数调优

2、大模型推理、CV模型推理相关配套中间件介入

3、协助模型算法工程师解决模型在服务环境中的问题

4、监控模型服务运行情况及及评估优化结果

岗位要求：

1、学历要求：本科及以上学历，计算机、软件工程、人工智能、自动化等相关专业优先。

2、专业要求：计算机科学与技术、人工智能、软件工程、数据科学与大数据技术等理工科专业。

3、英语听说读写要求：具备良好的英语阅读与检索能力，能够流畅查阅AI前沿技术文档

项目经验、关键技能要求：

4、熟悉主流大模型推理框架（如 vLLM、SGLang 等）及基本原理（如 Continuous Batching、KV Cache）。

了解模型量化（如 INT4、GPTQ、AWQ）或性能压测、基准测试（如 TTFT、TPS）的基本概念。

有相关的大模型部署、优化实验或实验室项目经验者优先。

训推平台及引擎工程师