资深运维工程师- AI Infra方向

岗位职责

主导公司 AI 基础设施的规划与建设，端到端平台演进。

运维和管理 LLM Gateway（LiteLLM / Portkey 或自研），支持多模型路由、限流、Token 配额、缓存、成本可视化与按团队分账。

运维和管理 MCP Gateway，统一治理内部 MCP 工具的注册、权限、版本与审计。

建立 AI 账号与密钥的统一申请、配额、轮换与多租户隔离机制。

基于 Langfuse 等搭建 LLM 全链路 trace、Prompt 管理与异常告警体系。

制定 AI 使用规范与数据安全策略，作为业务团队接入 AI 的 POC 与赋能者。

岗位要求

本科及以上学历，5 年以上运维 / 平台工程 / 后端 / 基础架构经验。

必须有以下任一实战经验：LLM Gateway 平台落地 / 公司级 AI 平台 / 大模型推理基础设施。

熟悉主流大模型 API（OpenAI / Anthropic / Gemini），理解多模型路由、Token 计费、Streaming、Tool Use 等机制。

熟悉 MCP 协议生态，或有类似插件化协议（LangChain Tools 等）的工程实践经验。

熟悉 K8s、Docker；具备网关、限流、多租户系统的设计经验。

强成本敏感度，能通过路由、缓存、配额做 AI 成本控制。

业务理解力强，能把模糊 AI 诉求翻译成平台能力；学习速度快，跟得上 AI 生态变化。

加分项

有 LiteLLM / Langfuse / vLLM / LangChain / Dify 等开源项目源码理解或贡献。

有 RAG / 向量数据库 / AI Agent 平台落地经验。

有大规模 SaaS 多租户体系设计经验。