GLM团队-预训练算法工程师

岗位描述：参与数学或代码大模型预训练研发工作，包括模型预训练、对齐和评测等；负责构建和优化数学或代码方向的预训练与对齐数据，提升模型在相关任务上的效果；探索面向数学或代码任务的数据合成方法，提升模型在相关任务上的泛化能力。 岗位要求：自然语言处理、机器学习等相关专业，硕士及以上学历；具备较强算法开发能力，熟悉常用机器学习、深度学习算法；熟练使用 Pytorch、Huggingface、DeepSpeed 等框架；对 Transformer 架构有较深入理解，了解其各种变体，有相关研究经验者优先；在 ACL、NeurIPS、ICLR、EMNLP 等顶级会议或期刊发表过论文者优先；熟悉并行训练框架、有多机多卡训练经验者优先；熟悉 CUDA 编程或 Triton 编程，并有相关算子加速经验者优先。