锦鲤求职岗位描述
岗位职责：
负责资源垂搜数据生产与离线处理体系建设，打造从多源数据接入、清洗、加工、融合到搜索索引生产的稳定数据基础设施。包括但不限于：
1. 负责多源数据接入，建设统一的数据模型和接入规范；
2. 建设资源质量、完整度、时效性、可用性等离线特征生产体系，为搜索召回和排序提供稳定特征；
3. 负责搜索索引离线生产，包括全量建库、增量更新、数据回刷、版本管理、索引切换及异常回滚等能力；
4. 建设离线任务调度、监控、数据质量检查、异常告警及任务重试机制，保障大规模数据链路稳定运行。
任职要求：
1. 计算机及相关专业本科及以上学历，具备扎实的数据结构、系统设计和工程能力；
2. 熟练掌握 Go、Java、Python中至少一种语言；
3. 熟悉Spark、Flink、Hive等大数据技术，有大规模离线数据处理经验；
4. 熟悉 Elasticsearch/Lucene或其他搜索引擎，理解 Mapping、Index、倒排索引及批量索引构建过程。
加分项：
1. 有搜索引擎、推荐系统数据建设经验；
2. 有资源垂类数据建设经验；
3. 有十亿级Elasticsearch索引构建、迁移、重建、增量更新或性能优化经验；
4. 有大规模LLM离线推理Pipeline建设经验。