岗位描述
负责多模型接入层与模型路由,支撑 harness 对不同模型的可插拔接入,具体职责与要求如下。
(一)岗位职责
负责多模型接入层:统一各家模型 API 格式(Anthropic/OpenAI/Gemini/国产模型),让 harness 可插拔不同模型
模型路由:按任务类型路由到不同模型(复杂推理→强模型、快速补全→轻量模型)
成本优化:缓存注入(prompt cache)、批处理、模型降级策略
流式处理、错误重试、协议适配
(二)任职要求
计算机相关专业本科及以上,5 年以上后端研发经验
有高并发 API 网关或中间件开发经验,熟悉流式处理(SSE)和协议适配
熟悉主流大模型 API(Anthropic Messages、OpenAI、Gemini)的格式差异
有模型路由、成本优化经验者优先
对多模型接入的工程细节(边界情况、性能、稳定性)有扎实把控