岗位描述
岗位描述:负责分析离线大数据调度系统的诊断需求,设计并开发高效的智能诊断工程;分析大数据任务开发平台的答疑需求,设计并开发高效的智能答疑工程;设计并开发智能调度系统,支持离线任务和 K8s 任务的智能调度需求;设计并开发智能基线告警能力,支持离线和实时任务链路的有效告警需求;分析实时业务数据的异动发现需求,设计并开发高效的智能诊断工程;统一设计并开发高效的异常检测、归因算法和解决方案,解决复杂调度系统下的诊断及多种内外部因素导致的问题诊断。 岗位要求:本科及以上学历,计算机科学、数据科学、统计学或相关专业;具备扎实的算法、数据结构、数据处理和特征工程基础,熟悉常见的数据预处理、特征提取、算法设计和统计分析方法;深入理解机器学习和深度学习的基本原理与算法,熟悉 TensorFlow、PyTorch、MXNet 等主流机器学习和深度学习框架;熟练掌握至少一种编程语言,如 Python、Java、C++ 等;具备特定领域的算法工程经验,如时间序列分析;具备多 LLM Agent 应用或知识库构建经验;具备严密的逻辑思维、问题分析能力,以及优秀的沟通协作能力。加分项包括:熟悉 Hadoop、Spark、Flink 等大数据处理技术;具备分布式计算和大规模数据处理经验;有 GPU 编程(如 CUDA)经验,并具备在高性能计算环境下优化算法的经验;在相关领域发表过论文者优先。