岗位描述
岗位描述：跟进学术界和企业界前沿的大模型评测基准，持续完善世界级 SOTA 模型观测榜单，关注 OpenAI、Anthropic 等主流模型在 AIME、GPQA、HLE、Codeforces、SWE、MultiChallenge、BrowseComp、Tau-Bench、Aider、MMMU、MathVista、charXiv-Reasoning 等榜单上的能力表现；建设可与开源社区及头部闭源模型对比的评测体系，完善点对点对齐机制，保障评测结果可靠性；日常维护评测榜单，健全评测工程体系，提升评测效率；分析模型迭代过程中在榜单中暴露的能力短板，研究主流 SOTA 模型在评测中的差异点。 岗位要求：熟悉大模型相关研究前沿进展，了解市面主流 benchmarks，具备大模型评测经验；对数据敏感，熟悉开源社区各类数据来源，具备数据处理经验和认知；有大模型后训练研发经验或模型训练/推理框架工程经验者优先；具备扎实的编程基础和优秀的工程能力，NOI、ACM/ICPC 等编程竞赛金牌获得者优先；有相关研究经历并发表过顶级会议论文者优先；具备基础团队协作能力和沟通能力，自驱且追求极致。