大语言模型架构研究员(预训练方向)
深度参与 LLM 预训练方向的模型结构与训练方法研究,包括 MLP、Attention 模块改进,以及模型并行策略优化、优化算法改进、量化算法改进、目标损失函数改进等;通过科学实验设计和 scaling law 验证模型设计,积累从头开始、端到端的大模型训练经验,并提升模型训练效果与大规模推理效率。要求具备扎实的编程、数据结构与算法基础,熟练使用 PyTorch 或其他深度学习框架,具备深度学习训练和参数调优经验;有 LLM 训练、高性...
第 54 页,共 112 页
深度参与 LLM 预训练方向的模型结构与训练方法研究,包括 MLP、Attention 模块改进,以及模型并行策略优化、优化算法改进、量化算法改进、目标损失函数改进等;通过科学实验设计和 scaling law 验证模型设计,积累从头开始、端到端的大模型训练经验,并提升模型训练效果与大规模推理效率。要求具备扎实的编程、数据结构与算法基础,熟练使用 PyTorch 或其他深度学习框架,具备深度学习训练和参数调优经验;有 LLM 训练、高性...
负责设计稳健运行的分布式服务架构,优化超大规模线上推理集群的运行效率。要求热爱编程,熟悉编译原理、操作系统、计算机网络等计算机基础知识;熟练掌握一种编程语言,Python、Golang、Rust、TypeScript 优先;对 AI 技术和分布式系统有强烈学习热情,具备良好的团队协作与沟通能力。加分项包括维护或参与 GitHub 开源项目、熟练使用 AI 编码工具并保持良好代码质量,以及具备大模型推理系统、分布式、网络、数据库相关研究、...
深度参与 LLM 创新模型架构的设计与改进,包括 MLP 和 Attention 模块;优化模型并行策略、优化算法和目标函数,提升模型训练效率与推理效果,推动上下文长度、参数规模和前沿性能达到领先水平;与 Infra 团队紧密合作,优化训练框架,提高 GPU 使用效率和训练任务稳定性;高效获取、清洗、构造和合成高质量预训练数据,持续探索可规模化的数据合成方法;参与模型训练任务监控,设计关键评测指标,确保模型训练效果符合预期。要求具备大模...
负责机器学习大规模训练数据处理的设计,构建高效的数据流转、训练与测试系统;通过工程与模型结合的设计加速研发过程;沉淀研发中的共性模式,通过合理抽象和良好设计构建便捷、鲁棒、可复用的库与服务。要求具备数据处理、清洗、标注,或推荐系统、搜索、广告排序等相关开发经验,并在项目中承担重要角色;熟练使用 Python,具备较强架构能力和良好代码规范;熟悉分布式系统,能够设计大规模离线分布式系统,具备大规模存储经验,熟练使用 Spark 或 Ray...
负责葡萄牙语、日语、西班牙语、阿拉伯语等小语种市场的用户增长策略制定、落地执行与跨部门协同,推动 Kimi 产品在巴西、日本、西班牙、墨西哥、中东等海外市场实现用户增长。制定目标市场社媒渠道长期增长策略,包括平台选择、内容定位和增长机制设计;结合当地文化、宗教、语言习惯和用户行为,制定深度本地化运营策略,确保内容与品牌调性一致并规避文化禁忌;联合内容与创意团队,通过精准投放、本地 KOL/KOC 合作、垂直社群运营和社交裂变传播等手段驱...
负责在多模态 AIGC 产品中进行开发与维护;对 ToC 产品保持高度兴趣,以用户价值为导向推进项目;与团队成员紧密协作,高质量按期完成任务;排查用户反馈问题,持续优化系统并提升关键指标;持续学习和探索前沿 AI 系统能力,并将其转化为实用产品能力。要求具备计算机科学或相关领域背景,具有良好的英语读写与快速学习能力;了解大模型底层原理,能够跟踪语言模型和多模态领域最新技术动态;熟练使用 AIGC 工具、具备图片或音视频编解码优化经验、大...
参与多模态大模型对齐与强化学习算法研发及数据构造,提升大模型在实际应用场景中的效果;与 Kimi 产品、Kimi 开放平台等团队合作,推动大模型能力在真实产品中的功能落地;评估并持续跟踪大模型在实际应用中的表现,通过优化模型性能提升产品用户满意度。要求具备计算机科学、人工智能、数学等相关背景,具备扎实编程基础、机器学习与 Python 开发能力,熟悉各类深度学习框架;有大语言模型相关产品和算法开发经验,能够跟踪并复现前沿研究成果者优先。
负责参与 Kimi VLM 的科学化 scaling 实验设计,构建经济高效的训练数据方案,探索数据配比与模型 scaling 相关前沿技术,深入参与多模态大语言模型基座模型训练;参与 Kimi VLM 数据清洗与优化,提升预训练和对齐阶段的数据质量,进行筛选、配比与优化,覆盖图片、视频、视觉常识、视觉推理及多语种多模态数据;构建可支撑 PB 级数据量的基础平台与工具,并具备较强的工程实现与数据处理能力。要求具备扎实编程基础,熟悉 Py...
负责公司产品在各类广告渠道(包括但不限于主流信息流、厂商、搜索)的推广投放;定期分析各投放渠道效果,优化广告投放策略,控制预算和成本,确保广告效果最大化;与创意团队紧密沟通,确保广告创意及素材文案与市场策略匹配;监控广告数据,对渠道及广告创意表现进行分析总结,持续优化产品详情页及推广效果;根据产品计划和市场情况及时调整投放计划,完成目标KPI;定期提交周报,总结投放情况并提出改进方案;对接广告平台和内部技术部门,确保投放流程顺畅。要求本...