无变化机柜内 CXL 通道能否跟上 GPU 的 KV 需求
何时见分晓:第三方推理实测未到
Astera Labs 与 Ben Bajarin 说法不一
Astera Labs · 9月17日
称 Leo X 加 Scorpio 让首 token 快 62%、每秒多 22%
Ben Bajarin · 9月16日
称 Leo X 让 GPU 绕过 CPU 内存子系统直连更多内存
Astera Labs · 9月17日 Astera Labs 称 Leo X-Series + Scorpio 为 KV cache 提供独立通道,首 token 时间快 62%、每秒 token 数多 22%𝕏
Astera Labs · 9月15日 Astera Labs 称 Leo X-Series 与 Scorpio Fabric Switches 面向 KV cache 负载实现 TTFT 快 62%、TPS 高 22%𝕏
Ben Bajarin · 9月16日 Ben Bajarin:Leo X-series 让 GPU 绕过 CPU 内存子系统直连更多内存,PCIe 可选性成设计变量𝕏