岗位描述
岗位描述：参与下一代多模态大模型（Vision-Language Model, VLM）的系统研发工作，与团队共同探索大模型从训练到推理部署的完整技术链路。参与 VLM 训练系统研发与优化，基于 PyTorch、Megatron 等框架构建大规模分布式训练系统，深入理解并优化 TP、PP、CP、SP、EP、MoE 等并行训练策略，并参与多模态数据 pipeline（image、video、text）的构建与优化；参与设计与实现大模型推理系统，基于 vLLM、SGLang 等推理框架构建高性能推理服务，探索 KV Cache、batching、scheduling 等关键推理技术，并支持多模态模型推理部署，同时探索 FP8、INT8、AWQ、GPTQ 等量化推理与性能优化；参与 RLHF、RLAIF、GRPO 等大模型对齐算法的工程实现，构建训推分离的 RL 训练系统，参考 slime、verl 等框架构建 RL pipeline，并优化 rollout、sampling、reward 与 trainer 等核心模块；参与大模型系统工程研发，进行 CUDA、NCCL、GPU 计算性能优化，通过 profiling 与性能分析工具定位系统瓶颈，提升大规模训练与推理系统的稳定性与性能。 岗位要求：熟练使用 Python，具备良好的代码习惯与工程能力；熟悉 PyTorch 或深度学习基础；熟悉 Linux 开发环境；对大模型系统技术有浓厚兴趣。加分项包括：熟悉 Megatron、DeepSpeed、FSDP 等大模型训练框架；熟悉 vLLM、SGLang、TensorRT-LLM 等推理框架；熟悉 RLHF、PPO、GRPO 等强化学习算法；使用过 slime、verl 或类似 RL 框架；有大模型训练或推理系统开发经验；熟悉 CUDA、GPU 编程或性能优化；熟悉分布式系统或分布式训练；有开源项目经验（GitHub、技术博客等）。希望候选人对大模型系统技术充满热情，喜欢研究系统底层原理与性能优化，有较强的自驱力与工程能力，并能稳定实习 3-6 个月及以上。