岗位描述
岗位职责
模型管理方向:
1、MaaS平台研发:参与公司统一大模型API服务入口研发,支撑多供应商智能调度、波峰波谷动态定价、Token实时计费等核心商业化能力;
2、模型服务治理:负责模型接入、请求路由、鉴权、限流、配额(TPM/RPM)、灰度发布、SLO保障、成本统计等全链路治理能力建设;
3、高并发调度与稳定性:建设多模型、多租户、高并发场景下的请求调度与容灾体系,支撑FallBack跨供应商自动切换,保障生产级SLA;
4、推理引擎与业务打通:打通底层推理引擎与上层业务应用,为数字员工、AI质检、工业大模型等内部场景及外部企业租户提供开箱即用的模型服务;
5、开发者体验优化:持续优化统一API、SDK、文档、监控、问题诊断和接入流程,让内外部开发者5分钟完成接入。
任职要求
1、计算机、人工智能、软件工程及相关专业,本科或硕士应届毕业生。
2、熟悉Go/Java/Python/C++中至少一门语言,具备扎实的编程和AI Coding能力。
3、有大规模分布式系统、高并发API网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
4、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。
5、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO保障等有基本认知。
6、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。