外企

数据工程师 II

亚马逊

北京数据开发社会招聘

岗位描述

岗位描述:负责为亚马逊 RoW 业务运营构建和运营核心数据基础设施,服务 5000+ 日活用户、14000+ 仪表盘和 70000+ 每日数据任务;与高级工程师和技术经理合作,设计、构建并维护生产级数据系统,支持 RoW 国家、印度及其他新兴市场的运营决策。具体包括:设计并构建数据管道,搭建稳定的批处理、日内和近实时 ETL/ELT 流程,从 EDX、SNS、Andes、REST API、S3 等多源接入数据并可靠落地到 Redshift 和 Aurora;负责 Redshift 基础设施,编写、优化和调优 SQL 及 ETL 负载,管理 WLM 队列、分布键/排序键、物化视图和查询性能,主动识别和解决性能瓶颈;管理大数据全生命周期,设计星型/雪花型数据模型与模式,落实数据分区和保留策略,实施数据质量校验,确保数据准确性、时效性及 SLA 持续达标;在需求不明确的情况下,独立将业务需求拆解为清晰的技术交付项、里程碑和验收标准,并以较少指导推进从需求到生产上线;构建自动化和自愈系统,通过 Lambda、ECS、Step Functions、CloudWatch 告警等减少人工操作,并参与服务器自动维护计划和 ETL 清理工作;使用 Redshift、Aurora RDS、S3、Lambda、ECS Fargate、SQS、SNS、CDK/CloudFormation、Secrets Manager、EventBridge 等 AWS 服务构建可扩展、成本可控、易维护的数据基础设施;推动成本优化,识别 SQL 负载、集群利用率和管道设计中的低效点并实施优化;与业务分析师、BI 工程师、数据科学家和产品经理协作,理解数据需求,交付干净且文档完善的原始数据管道,并清晰界定管道所有权和范围;保持运营卓越,参与值班,快速响应生产事故,进行结构化根因分析,并通过永久性修复替代临时性补救。日常工作通常包括:值班时检查管道、基础设施和服务运行状态,处理失败任务或数据新鲜度告警并向相关方同步预计恢复时间;核心工作时间推进冲刺交付,例如编写 CDK 基础设施代码、开发 Redshift SQL 模型、构建新的 EDX 接入管道或排查中心集群 WLM 争用问题;与相关方沟通新的数据接入需求,对范围蔓延或非标准管道模式进行明确反馈,并将确认设计记录到团队知识库;开展深度技术工作,如慢查询调优、基础设施升级、重构 Lambda 触发处理器或为新的 ECS 数据任务编写 CDK 栈;收尾时更新任务状态、评审同事代码,并将模式和经验沉淀到团队内部知识库中。 岗位要求:需要具备扎实的数据工程专业能力,重视主人翁意识,能够在模糊环境下清晰思考,并在数据库、云基础设施和数据管道工程方面具备较强技术深度;能够独立管理任务优先级,尽早暴露阻塞问题,并持续推动工作落地;适合喜欢处理复杂数据问题并对解决方案进行端到端负责的候选人。职位信息中未明确列出具体工作年限要求。