大语言模型架构研究员（预训练方向）

岗位描述：深度参与 LLM 的模型结构设计，包括 MLP 和 Attention 模块改进，以及训练方法设计，涵盖模型并行策略优化、优化算法改进、量化算法改进、目标损失函数改进等方向，目标是在模型训练以及大规模推理效率上取得 SOTA 级领先水平；深入调研科学实验设计方法，利用 scaling law 验证模型设计，积累从头开始、端到端的大模型训练经验。 岗位要求：本科及以上学历，计算机、人工智能、自动化、数学专业优先；具备扎实的编程基础，对数据结构和算法设计有深入理解，熟练使用 PyTorch 或其他深度学习框架；有丰富的深度学习训练实操和参数调优经验；有 LLM 模型训练经验者优先；有高性能计算经验者优先，具备 Triton、CUDA 等 GPU kernel 编码经验者优先；有 ACM、IOI、NOI、Top Coder 等算法竞赛获奖经历者优先；在顶级学术会议发表论文，或在机器学习、人工智能领域取得优异成绩者优先；责任心强，积极主动，具备良好的沟通与合作能力。