高级推理平台工程师(大模型推理云平台基础设施)
参与面向大模型场景的新一代推理云平台建设,负责平台核心系统的架构设计与关键模块开发,建设服务控制面、配置管理、发布变更、运行治理等平台能力;面向大规模IDC与云上环境设计并演进平台基础设施架构,提升系统在复杂部署场景下的稳定性、扩展性与可运维性;基于Kubernetes持续建设和优化平台能力,支持服务编排、资源管理、弹性扩缩容、集群治理与多环境交付;推动云上网络、服务接入与存储系统的对接整合,支撑模型服务高可用访问与高效运行;建设监控、...
第 133 页,共 161 页
参与面向大模型场景的新一代推理云平台建设,负责平台核心系统的架构设计与关键模块开发,建设服务控制面、配置管理、发布变更、运行治理等平台能力;面向大规模IDC与云上环境设计并演进平台基础设施架构,提升系统在复杂部署场景下的稳定性、扩展性与可运维性;基于Kubernetes持续建设和优化平台能力,支持服务编排、资源管理、弹性扩缩容、集群治理与多环境交付;推动云上网络、服务接入与存储系统的对接整合,支撑模型服务高可用访问与高效运行;建设监控、...
独立负责语音大模型(如语音识别、语音合成、端到端语音对话等)及其对应产品的能力规划、测评和数据体系搭建,以及产品迭代和发布的全生命周期管理;与商业化团队协作,分析归纳客户和用户需求,向解决方案团队提供支持,参与模型开源、发布、定价、上架等过程;与算法和数据团队协作,基于用户反馈和模型测评结果提出针对性的模型优化方向,持续优化模型表现和性能;与研发团队协作,推动模型迭代与工程落地,帮助模型应用快速落地。要求本科及以上学历,具备 2-3 年...
负责端侧(手机、驾舱、智能硬件)大模型的部署工作,包括框架开发、算子优化、硬件适配等;负责端侧大模型前沿优化技术的调研与落地;参与模型、系统与硬件的协同优化与联合设计。要求熟悉 Linux,熟悉 C/C++/Python,具有良好编程风格;熟悉主流 LLM、VLM 模型架构及常用优化技术,如 Continuous-Batching、Speculative-Decoding、Quantization;熟悉至少一款主流推理引擎框架,如 ll...
负责端侧大模型在手机、驾舱及智能硬件等终端的压缩部署;开展端侧大模型前沿压缩算法研究,推动剪枝、量化、蒸馏、稀疏化等技术的创新与应用;探索并攻关端侧大模型低精度训练技术,从训练阶段提升模型对低精度计算的适应性;研究与设计硬件友好的低精度量化算法,协同底层算子团队实现异构硬件上的极致性能优化。要求精通模型压缩理论,深入理解剪枝、量化、知识蒸馏、稀疏化、低秩分解等技术的数学原理与工程权衡;具备大模型量化研究与工程经验,熟悉 SmoothQu...