岗位描述
岗位描述：参与大模型推理框架的设计与开发，协助团队研发支撑大语言模型、图像生成等复杂模型推理的高性能框架，推动算法到产品落地的全链路优化，确保推理的高效性、稳定性和低延迟；参与性能优化与调优，在资深工程师指导下优化内存管理、计算资源分配与调度策略，提升模型推理速度和资源利用率，并学习使用性能分析工具（如 Nvidia Nsight）进行瓶颈定位和优化；学习并应用业界前沿的模型推理加速技术，包括 KV Cache 优化、模型量化、剪枝以及跨机分布式推理优化等。 岗位要求：熟练掌握 C++ 和 Python 编程语言，具备扎实的数据结构、算法和操作系统基础；熟悉至少一种主流深度学习框架，如 PyTorch、TensorFlow，并了解其基本实现原理；了解 GPU 编程（如 CUDA）或并行计算，并具备相关课程项目或实验经验；对 Transformer 架构及主流大模型（如 GPT、Llama、Qwen 等）的推理特性有基本理解；了解大模型推理的基本流程和常见挑战，如延迟、吞吐和内存占用。具备以下任一条件优先：有大模型推理框架（如 vLLM、TensorRT-LLM、SGLang、llama.cpp 等）的使用或初步研究经验；对 AI 编译器技术（如 TVM、MLIR、Triton）有初步接触或浓厚兴趣；了解 FlashAttention、PageAttention、量化、LoRA 微调等大模型推理优化技术；在相关领域顶会（如 MLSys、ASPLOS）或开源项目中有贡献，或有相关论文者优先。