锦鲤求职岗位描述
团队介绍
Marketplace Intelligence and Data 团队的使命是建立先进的大规模数据和智能产品来促进Shopee电商业务的发展。团队负责Shopee电商数仓建设，商家与运营数据产品建设，全链路流量数据；商品算法，包括商品发布、管控、信息优化、SPU库及其比价业务；智能客服算法，包括店铺客服问答、商品导购、平台客服；营销算法，包括招商、选品、推荐算法，评价算法，用户画像；此外，还包括机器翻译，语音算法，图像算法，实人认证等基础AI能力。
岗位职责
1. 设计与构建分布式数据采集系统，支持全球范围的网页搜索、网页阅读和动态内容解析；
2. 探索与 Agent 架构协作的数据接口，让爬虫具备自主探索和语义理解能力；
3. 主导 AI 数据采集与质量体系的搭建，包括网页语料、图像/多模态素材、算法数据集的采集、过滤与加工；
4. 构建端到端的数据链路，支撑公司内部 LLM、AIGC 等 AI 模型的训练与持续优化；
5. 推进数据标准化与可观测性建设，确保数据链路高效、安全、可复用。
岗位要求
1. 本科及以上学历，计算机、软件工程或相关专业，3 年以上后端或分布式数据采集系统经验；
2. 精通主流编程语言（Python / Go / Java / Node.js 等），具备高并发或分布式架构经验；
3. 熟悉 HTTP/HTTPS、DNS、TCP/IP 等网络协议与网页加载机制；
4. 具备浏览器自动化（如 Playwright / Puppeteer / Selenium）与动态数据解析经验；
5. 熟悉任务调度、异步队列、消息系统（Kafka、Celery、Redis、RabbitMQ 等）；
6. 理解关系型和非关系型数据库（MySQL、MongoDB、Elasticsearch、S3 等）；
7. 强烈的工程责任感和数据敏感度，具备良好的代码规范和系统性思维。
加分项
1. 对 LLM、AIGC、训练数据链路有实践经验，了解数据标注、清洗与语料构建流程；
2. 熟悉海外内容生态（电商、资讯、社交、媒体类网站等）；
3. 有云原生开发与部署经验（Kubernetes / Docker / Airflow / Argo）；
4. 对 Web Intelligence / Agent 协作 / 数据自动获取等前沿方向具备浓厚兴趣；
5. 英语阅读能力良好，能适应国际化业务场景。