有变化推理机柜该加主机CPU还是旁路CPU内存
AMD · 8月22日 AMD 称 GPU 生成 token 越多越需 CPU 资源,CPU 与 GPU 配比随 GPU 能力增长而演变𝕏
Astera Labs · 9月17日 Astera Labs 称 Leo X-Series + Scorpio 为 KV cache 提供独立通道,首 token 时间快 62%、每秒 token 数多 22%𝕏
Astera Labs · 9月15日 Astera Labs 的 Leo 智能内存控制器已向多家超大规模客户送样,并与 CPU、GPU、内存厂商合作𝕏
Ben Bajarin · 9月4日 Ben Bajarin:推理场景 CPU 瓶颈被低估,需更多 CPU𝕏
Ben Bajarin · 9月16日 Ben Bajarin:Leo X-series 让 GPU 绕过 CPU 内存子系统直连更多内存,PCIe 可选性成设计变量𝕏
AMD · 9月22日 AMD 称第 6 代 EPYC「Venice」支持 agentic AI 从延迟敏感任务到高吞吐的多样性能需求𝕏
Ben Bajarin · 9月23日 Ben Bajarin:CXL 放量在缓解内存墙的同时会带来更多 CPU 需求,因为二者都是规模化推理的服务方案𝕏