Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒
人工智能智能体能否自己动手搭建和强化 AI 研发基础设施,正在成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等机构的研究人员近日推出了 Singularity-Bench 基准测试,专门设置六道与 AI 研发相关的考题,考察智能体自主构建 AI 研发能力的水平。在这场测试中,Claude Opus5.5搭配 Claude Code 交出了一份亮眼的成绩单。
延迟大幅压缩,调度优化提升硬件产出
在模型推理性能层面,这套组合展现出了相当突出的工程优化效果。面对相同硬件条件,Claude 自研的推理引擎将 P90首 token 延迟从成熟推理引擎 SGLang 的约12秒大幅压缩至0.48秒。
除了首字响应速度实现跨越式缩短之外,该推理引擎还通过优化调度等方式,进一步提升了整体处理效率与显卡产出表现。
六题五胜一平反超人类基线,自我改进仍处早期探索
在 Singularity-Bench 设定的六项 AI 研发考题中,Claude Opus5.5与 Claude Code 的组合最终取得了 五胜一平 的战绩,成为唯一总分超过人类基线的参赛组合。
不过,研究人员也指出了当前测试的边界:现阶段测试的任务范围仍由人类划定,距离真正意义上的 AI 递归自我改进,还有待后续持续探索与验证。
via AI新闻资讯 (author: AI Base)
人工智能智能体能否自己动手搭建和强化 AI 研发基础设施,正在成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等机构的研究人员近日推出了 Singularity-Bench 基准测试,专门设置六道与 AI 研发相关的考题,考察智能体自主构建 AI 研发能力的水平。在这场测试中,Claude Opus5.5搭配 Claude Code 交出了一份亮眼的成绩单。
延迟大幅压缩,调度优化提升硬件产出
在模型推理性能层面,这套组合展现出了相当突出的工程优化效果。面对相同硬件条件,Claude 自研的推理引擎将 P90首 token 延迟从成熟推理引擎 SGLang 的约12秒大幅压缩至0.48秒。
除了首字响应速度实现跨越式缩短之外,该推理引擎还通过优化调度等方式,进一步提升了整体处理效率与显卡产出表现。
六题五胜一平反超人类基线,自我改进仍处早期探索
在 Singularity-Bench 设定的六项 AI 研发考题中,Claude Opus5.5与 Claude Code 的组合最终取得了 五胜一平 的战绩,成为唯一总分超过人类基线的参赛组合。
不过,研究人员也指出了当前测试的边界:现阶段测试的任务范围仍由人类划定,距离真正意义上的 AI 递归自我改进,还有待后续持续探索与验证。
via AI新闻资讯 (author: AI Base)