独角兽面壁智能
文本训练优化高级工程师
北京 / 上海 / 深圳 / 成都 / 西安/人工智能/社会招聘
负责大模型预训练加速算法的研究与优化,涵盖MoE、多模态及创新架构等方向;针对MoE架构开展专项优化,包括Expert并行、负载均衡、通信优化等;研究并优化文本模型训练效率;探索Linear Attention、Memory Layer等新型架构的高效训练方案;设计并实现TP/PP/DP/EP/SP等并行策略,提升大规模训练的吞吐量与资源利用率;与算法团队协作,快速支持新模型架构的训练需求。要求硕士及以上学历,计算机、人工智能等相关专业...