近日，美国初创公司d-Matrix在Hot Chips 2026大会上详细展示了其Raptor 3D-DRAM生成式AI推理加速器。这款芯片采用台积电N4工艺，将逻辑芯片与3D-DRAM进行垂直堆叠，内存直接位于计算核心下方。每张Raptor卡配备32GB的3D-DRAM，带宽超过100TB/s。单个芯片模块提供4GB内存和约12.5TB/s带宽，8个芯片模块构成一张完整的加速卡。相比之下，192GB的HBM4配置的带宽仅为18TB/s。

在能效方面，Raptor的垂直IO实测功耗仅为0.37pJ/bit，约为HBM方案的十分之一。单位面积带宽达到32.6GB/s/mm²，是HBM4和英伟达Rubin R200的约20倍，每GB/s的功耗仅为2.96mW，相较于HBM的40mW改善了13.5倍。Raptor旨在解决AI推理中的内存壁垒问题。在大模型解码过程中，每个token都会频繁读取权重和KV缓存，内存带宽成为关键瓶颈。在64个并发用户使用100万token的情况下，KV缓存的占用高达935GB。尽管SRAM可以提供数百TB/s的带宽，但容量有限且漏电功耗高。HBM虽然具备高容量，但其带宽受到封装边缘空间的限制，100TB/s的带宽使内存功耗高达1.92kW。3D-DRAM则恰好填补了这两者之间的空白。

Raptor将逻辑芯片直接置于DRAM上方，信号传输路径缩短至毫米级，无需PHY接口。此外，单层堆叠的功率密度控制在0.5W/mm²以下时，可以通过液冷技术将DRAM温度保持在100°C以下。d-Matrix预计Raptor商用产品将在2027年发布，其在大规模应用中的表现将决定3D-DRAM能否成功改造AI推理的内存架构。 球友会登录

感情纠葛中的冰冷对峙

GTA 6改变角色冲刺操作，采用L3键代替传统按键