锦鲤求职岗位描述
岗位描述
岗位职责
1. 负责多端（网页、移动端、小程序等）公开数据的标准化采集流程设计与开发，确保全流程符合法律法规及行业合规要求，构建稳定、低侵入、可复用的采集体系；
2. 承担各类前端场景下的数据解析与适配工作，优化数据提取与清洗逻辑，保障公开数据获取的完整性、准确性和时效性，并持续跟进业务迭代进行适应性调整；
3. 负责采集系统的运行监控、任务调度及性能优化，提升系统容错能力和资源利用效率，沉淀通用技术方案与工具组件，支撑规模化、标准化的数据生产。
任职要求
1. 本科及以上学历，计算机相关专业，熟练掌握Python，具备互联网公开数据采集项目全流程落地经验，熟悉数据采集领域的合规要求与风险控制；
2. 具备扎实的页面解析与数据处理能力，能够独立应对各类动态页面及复杂数据结构场景下的适配与处理工作；
3. 熟悉分布式系统架构及任务调度机制，具备系统调优、故障排查及性能提升的实操经验，能够根据线上环境和业务变化快速响应调整；
4. 具备良好的问题分析与迭代优化意识，能主动跟踪业务逻辑变动，及时完成采集逻辑的合规适配，确保服务持续稳定可用。
备注
卓数大数据现有两位反爬专家，负责全平台站点反爬对抗、异常采集问题处理、数据合规采集、防护策略迭代等全流程工作。随着公司业务拓展，需维护的存量异常采集站点数量持续递增，新增业务站点的反爬适配需求不断叠加，为保障卓数大数据数据采集业务稳定运行、提升数据质量、强化公司数据产品核心竞争力，适配电商平台防护迭代升级，需充实反爬专家队伍。