锦鲤求职岗位描述
岗位职责
1、AI数据平台设计与开发：设计、构建、扩展和维护高可用、高性能、可扩展的AI数据平台基础设施（包括数据湖/仓、特征存储、元数据管理、数据流水线编排等），实现和优化大规模数据（结构化、半结构化、非结构化）的采集、清洗、转换、存储（ETL/ELT）流程；
2、特征工程与特征平台：构建和维护特征存储，实现特征注册、发现、共享等和在线/离线服务，确保特征数据的质量、一致性和时效性；
3、数据流水线优化：构建、优化批处理和实时数据流，满足AI应用场景对数据的要求，监控数据流水线，解决数据延迟、数据质量等问题，确保SLA，应用分布式计算框架（如Ray、Spark,Flink）高效处理海量数据；
4、平台支持与技术创新：为内部用户（数据科学家、算法工程师、分析师）提供平台使用支持、技术咨询和培训，编写清晰的技术文档（设计文档、API文档、操作手册），关注AI数据工程领域的最新趋势和最佳实践。
岗位要求
1、硕士及以上学历，毕业时间：2026年9月-2027年8月，计算机科学、软件工程、数据科学相关专业及领域；
2、核心技术栈：
- 编程语言：精通Python和Go，熟悉Java/Scala/Rust是加分项。
- 大数据处理框架：精通Ray或者Spark（PySpark/ScalaSpark），熟悉Flink等流处理框架。
- 数据存储：深入理解和使用过多种数据库和数据存储技术，如：数据湖/仓：AWSS3/Glue/Athena,HadoopHDFS,Iceberg/Hudi。
- 数据流水线与编排：熟练使用Airflow,Luigi等工具。
3、深刻理解数据建模、数据仓库、数据湖概念，熟练掌握分布式系统原理和设计模式，熟悉容器化技术（Docker）和容器编排（Kubernetes），熟悉软件工程最佳实践：版本控制（Git）、CI/CD、测试、代码审查，对AI/ML生命周期（数据准备、特征工程、模型训练、部署、监控）有清晰认识，理解数据在其中的关键作用；
4、具备优秀的分析问题、解决问题和调试复杂系统的能力，良好的沟通能力和团队协作精神，能够与非技术背景的同事有效沟通；
5、强烈的责任心和自驱力，能够在快节奏环境中工作。