分布式推理工程师

岗位职责
1. LLM Gateway研发：负责LLM Gateway（大模型网关）系统研发，实现多模型、多框架的统一接入与请求转发，构建标准化大模型服务入口；
2. 模型协议兼容层设计：设计模型协议兼容层，适配OpenAI API、Anthropic API等多种模型协议，实现不同厂商模型的无缝切换与兼容调用；
3. 智能路由机制研发：研发智能路由机制，根据模型能力、负载状态、延迟要求等维度动态选择最优推理实例，提升服务质量与资源利用率；
4. 流量治理建设：建设流量治理能力，包括限流、熔断、降级、灰度发布，保障大模型服务在高并发场景下的稳定性；
5. 服务生命周期管理：推进模型服务生命周期管理，实现模型部署、版本管理、弹性扩缩容、优雅下线的全流程自动化。

岗位要求
1、本科及以上学历，计算机、软件工程相关专业；
2、熟练掌握Go/Python/Java中至少一门编程语言，具备良好的工程素养，熟悉微服务架构与分布式系统原理，了解API Gateway、服务注册发现等技术，了解K8s与容器化部署，熟悉高可用架构设计；
3、具备良好的系统设计与高并发处理能力，对大模型服务化有浓厚兴趣；
4、具备良好的学习能力与团队协作精神；
5、有API Gateway或反向代理（Nginx/Envoy）二次开发经验者优先，了解大模型推理服务部署与运维者优先，有高并发系统设计或性能调优经验者优先。