岗位描述
## 岗位职责
1. 负责海外社交媒体公开网络渠道的数据采集系统设计与开发,建设高可用、可扩展的分布式爬虫框架。
2. 负责大规模数据的采集、解析、去重、清洗、质量校验和入库,支撑风险分析、威胁情报以及 LLM/AIGC 训练数据需求。
3. 研究目标网站的页面结构、接口调用、动态渲染、登录状态、流量控制和反自动化机制,提升复杂场景下的数据采集稳定性。
4. 运用 Web 安全技术开展授权范围内的攻击面分析、接口发现和安全评估,为数据采集、业务反爬及风险对抗提供技术支持。
5. 参与采集系统架构设计、性能优化、任务调度和可观测性建设,持续提升采集效率、数据质量及系统稳定性。
6. 编写高质量工程代码、测试及技术文档,保障系统的安全性、可维护性和可扩展性。
## 任职要求
1. 本科及以上学历,计算机、网络安全、软件工程等相关专业优先;具备优秀实战能力者可适当放宽。
2. 熟练掌握 Python;熟悉 Requests、Scrapy、Selenium、Playwright 等采集及浏览器自动化技术。
3. 精通JS逆向相关工作
4. 熟悉 HTTP/HTTPS、Cookie、Session、JWT、WebSocket、DNS及浏览器工作原理,能够分析动态 JavaScript 页面和前后端接口调用链。
5. 具备完整的 Web 渗透测试实战经验,熟悉 SQL 注入、XSS、文件上传、SSRF、身份认证、权限越权及业务逻辑等常见漏洞。
6. 熟悉 Burp Suite、Nmap、Nessus、Xray、AWVS 等安全测试工具,能够在明确授权范围内独立完成安全评估并提出防护建议。
7. 具备灰黑产情报收集经验,了解常见黑产类型、产业链结构、引流渠道、恶意资源及攻击基础设施。
8. 熟练掌握 Python 或 Go,能够独立开发爬虫、渗透测试辅助工具及情报自动化监控程序。
9. 熟悉 Linux、常见服务器、中间件和数据库,具备基本的系统部署、故障排查和性能优化能力。
10. 具备较强的信息检索、逻辑分析、问题定位和跨团队协作能力,具有良好的安全合规和数据保护意识。
## 加分项
1. 持有CISP-PTE、CEH、OSCP等渗透安全证书;
2. 有黑产对抗、业务反爬、反诈情报项目落地经验;
3. 有情报平台、资产测绘、威胁狩猎工具开发经验;
4. 熟悉暗网情报检索、恶意样本分析基础能力。
5. 英语阅读能力良好,能够阅读海外网站、技术文档和安全情报。