岗位描述
岗位描述:负责大模型后训练阶段训练引擎相关系统建设与性能优化,重点面向 SFT、RL 等训练场景,提升训练效率、资源利用率、稳定性与训推一致性。具体包括:负责后训练阶段 SFT、RL 等训练引擎建设与分布式训练性能优化,支撑不同后训练任务的高效接入、稳定运行与规模化迭代;负责低精度训练能力建设,提升低精度训练场景下的效率、精度与稳定性;负责长上下文训练能力建设,支撑长序列后训练任务的高效训练;负责后训练中的训推协同优化,提升 RL 等场景下训练与推理链路的整体效率;负责训练稳定性与可观测性建设,提升大规模训练过程中的问题发现、定位与恢复效率。 岗位要求:熟悉 PyTorch、Megatron、FSDP 等大模型训练框架,理解分布式训练基本原理;具备大模型训练性能优化经验,熟悉通信优化、显存优化、重计算、算子融合、通信计算重叠等优化方法;熟悉低精度训练、量化训练、长上下文训练、Sparse Attention、投机采样等方向者优先;熟悉 SFT、PPO、GRPO、DPO 等后训练算法原理,理解后训练算法对训练系统的需求;熟悉 Nsight、PyTorch Profiler 等性能分析工具,具备独立定位训练性能、精度和稳定性问题的能力。