岗位描述
1.战略与架构规划
制定大数据平台与工程中心的中长期技术战略,结合公司业务目标确定平台架构方向,设计并落地全流程数据治理框架,覆盖数据采集、清洗、标注、存储、版本控制、交付全链路,制定数据标准(准确性、一致性、多样性、时效性)与 SOP 规范;
构建多模态数据(图像、视频、3D 点云、文本等)处理架构,适配 Lakehouse、数据湖等存储方案(Hive、Iceberg、Delta Lake),保障千万级以上数据量的高效管理与复用;
规划数据质量监控体系,设计自动化校验工具与人工审核(Human-in-the-Loop)结合的工作流,建立质量评估指标与闭环改进机制。同时负责技术平台的整体设计、搭建与迭代,评估新技术可行性并完成技术框架选型,攻克架构层面的核心技术难点。
2.技术创新与团队管理
搭建并管理大数据工程和平台团队,跟踪 AI 领域技术趋势(多模态融合、自动标注、联邦学习、合成数据生成),引入创新工具与方案优化数据生产效率;
编写数据处理脚本(Python 为主),实现数据校验、分析、可视化等自动化能力,提升流程标准化水平;
此外还需制定部门内的开发规范、运维流程、质量管控及 CI/CD 等最佳实践,规范数据接口标准与系统相关制度。
3.项目与工程落地
统筹大数据相关工程项目的推进,把控项目的进度、成本与质量,监督数据 pipelines、存储层、计算层等基础设施的设计与落地。同时完成业务模型到技术模型的转换,推动数据能力与业务场景深度融合。
4.数据治理与合规
牵头数据治理工作,涵盖数据质量监控、数据安全防护、数据合规管理等,确保数据符合行业规范及企业制度;
还要建立数据安全体系,防范数据泄露、篡改等风险,保障大数据平台稳定合规运行。
5.内外部协同
对内与业务、产品、人工智能、解决方案等部门协作,理解业务需求并转化为技术解决方案,为业务决策提供数据支持;
对外对接技术供应商、云服务提供商,洽谈合作事宜,管控合作质量与验收流程,同时跟踪行业技术趋势,引入适配企业的新技术与资源。
岗位要求
<p>1.学历与专业背景<br>通常要求计算机科学、软件工程、数据科学、统计学等相关专业本科及以上学历。<br>2.工作与技术经验<br>一般需8-10年以上大数据相关工作经验,其中3年以上数据集建设或数据治理负责人岗位经验,主导过至少1个大型 AI 项目(大模型训练 / 多模态应用)数据集从0到1搭建经验。<br>(1)具备节能环保和双碳、互联网、智能制造等行业相关经验者优先,持有 CDMP、AWS 云数据认证等资质者加分。同时要精通 Hadoop、Spark、Flink、Hive 等主流大数据技术栈,熟悉分布式系统、云架构、容器化等技术,具备数据中台、数据治理及系统调优的实战能力。<br>(2)精通数据治理方法论,熟悉数据湖、数据仓、Lakehouse 架构,掌握元数据管理(Apache Atlas)、数据质量工具(Talend、Informatica)或自研系统应用。<br>(3)深入理解 AI 模型(LLM、Transformer、CNN 等)训练数据需求,具备多模态数据处理与跨模态对齐技术经验。<br>(4)熟练掌握 Python 编程,熟悉 Scikit-learn、PyTorch/TensorFlow 等框架,具备数据建模、特征工程实战能力。<br>(5)具备主数据管理(MDM)、数据资产管理平台(DAM)搭建或落地经验者优先。<br>3.综合能力素养<br>具备优秀的战略思维,能将技术规划与企业整体战略结合。<br>拥有较强的跨部门沟通协调能力和项目管理能力,可推动复杂项目落地。<br>此外还需具备创新意识,能敏锐捕捉大数据领域的技术趋势,带领团队实现技术创新与突破。<br>4.不存在影响聘用的有关情况。</p>