token服务工程师

岗位职责
· 负责token服务平台架构设计与核心功能开发，包括模型托管、API网关、推理调度等
· 设计并实现大模型推理服务的弹性调度与多租户隔离机制
· 构建模型版本管理与灰度发布体系，支撑模型的快速迭代上线
· 开发推理服务的监控、计费与配额管理系统
· 与推理框架团队协同，将底层推理能力高效封装为标准化API服务

岗位要求
· 本科及以上学历，计算机、信息、电子等相关专业，1年以上相关经验
· 精通Go或Python，具备扎实的后端工程能力与分布式系统开发经验
· 熟悉微服务架构与API网关设计，了解gRPC/REST等通信协议
· 熟悉Kubernetes及容器化部署，具备云原生应用开发能力

加分项（非必需）
· 有大模型推理服务化（vLLM/TGI/Triton Inference Server等）落地经验
· 熟悉GPU资源调度与弹性伸缩方案（Volcano/Kueue等）
· 有高并发、低延迟API服务设计与性能调优实战经验
· 熟悉Serverless或事件驱动架构，有相关平台开发经验
· 了解模型量化、蒸馏等优化手段，能从平台视角整合推理优化能力