苹果新发布的Mac mini和Mac Studio再次刷新了AI电脑的性能预期,小米也公布了端侧AI加速芯片玄戒O100。这些产品有一个共同的关键参数——内存带宽。标准版M6统一内存带宽达到170GB/s,M5 Pro推至307GB/s,M5 Ultra更是跨过TB级大关,达到1.2TB/s。小米玄戒O100同样做到1.22TB/s,而英伟达RTX 5090凭借32GB GDDR7显存,带宽接近1.8TB/s。桌面SoC、端侧NPU与独立GPU架构路径迥异,但都在做同一件事:让内存里的数据跑得更快。
事件概览:内存带宽成为AI硬件新战场
苹果在Mac mini上直接将其定义为“全天候跑Agent的生产力工具”,Mac Studio则提供最高512GB统一内存。小米在玄戒O100上采用晶圆级垂直堆叠,将DRAM直接压在NPU计算晶圆上方,实现1.22TB/s端侧带宽。英伟达消费级旗舰RTX 5090则用512-bit位宽配合GDDR7,硬把显存带宽拉到1.8TB/s。这三家厂商分别代表了桌面SoC、端侧专用芯片和独立GPU的不同路线,但核心诉求一致——解决AI计算中“数据搬运”的瓶颈。
核心信息:内存带宽为何比容量更关键
带宽与容量的本质区别
很多人以为内存“大就是好”,但容量和带宽完全是两码事。容量决定能装下多大的模型,带宽决定数据每秒能多快喂给计算核心。大模型运行时,最消耗资源的不是计算本身,而是“搬数据”。在自回归生成阶段,每生成一个新token,计算单元就必须把内存里几十亿甚至上百亿的参数权重完整读取一遍。这就像后厨里的大厨翻炒只需两分钟,但配菜师傅半天才送来一盘食材——大厨炒得再快,也只能干等。
“内存墙”的历史与现实
早在1995年,计算机科学家William A. Wulf和Sally A. McKee就在论文《Hitting the Memory Wall》中指出,处理器算力增速远快于内存带宽增速,两者剪刀差持续扩大,处理器终将把大量时间耗在等待数据上。三十年过去,这堵墙从未消失。大模型的爆发以前所未有的速度将整个行业推到了它面前。算力再高,只要数据送不过来,芯片只能空转。
内存的昂贵代价
内存带宽的提升代价极高。越大的内存越贵,但越快的内存贵得呈指数级上升。AI服务器标配的HBM(高带宽内存)需要多层DRAM芯片垂直打孔堆叠,制造难度和面积远超传统内存。TrendForce数据显示,AI数据中心对HBM和服务器DDR5需求暴增,三大存储巨头正将有限先进晶圆产能向企业级倾斜,挤压消费级PC DRAM供给。美光已宣布逐步退出Crucial消费级内存业务,SK海力士第三方品牌授权店也终止运营——消费者加装内存条的预算,无形中正与全球AI数据中心争夺同一批先进晶圆。
影响与观察:突破内存墙的四大路径
物理加宽车道:GDDR7与HBM
最直观的办法是“大力出奇迹”。RTX 5090采用512-bit超宽位宽配合GDDR7,硬把显存带宽拉到1.8TB/s。AI数据中心则在GPU旁紧挨着塞进8层、12层的HBM堆栈。这条路简单粗暴,但代价高昂,属于用最贵的工艺换取极致吞吐。
把存储搬到计算隔壁:3D堆叠
小米玄戒O100采用晶圆级垂直堆叠,直接把两层DRAM晶圆压在NPU计算晶圆正上方,物理距离缩短到微米级,用超短垂直互联换来了1.22TB/s的端侧带宽。这避免了数据在电路板上长途跋涉,效率大幅提升。
消除冗余搬运:统一内存与高速扩展
苹果的统一内存解决的是“避免无谓倒手”。传统PC中CPU内存与GPU显存各占一边,数据需在两块内存间复制;Apple Silicon下所有核心共享同一块内存池,省去跨总线拷贝。而当单设备内存不够时,雷雳5端口(最高120Gb/s)和RDMA技术可将多台Mac Studio串成集群,实现接近单机3倍的吐字吞吐。
把计算搬到内存旁边:PIM与存内计算
更前沿的颠覆是PIM(Processing-in-Memory)和存内计算(CIM)。工程师尝试将部分计算单元直接塞进内存颗粒附近,甚至利用存储介质本身的物理特性完成矩阵乘加,从而避免数据反复回传。尽管这类架构在通用性和编译器生态上仍待成熟,但它指明了一个方向:未来的芯片设计必须想方设法让数据少走几步路。
结语:AI时代,数据搬运比计算更紧迫
苹果为Mac mini拍摄的宣传片,展示了小盒子上长出粗壮肌肉手臂的意象,象征着人们对“性能”最朴素的想象——芯片变强就是肌肉变大。但在AI时代,肌肉再大,如果原料和养料供不上,也只能原地干等。有趣的是,苹果这次宣传片罕见地采用了“古法手作”,从草图到手工雕刻微缩模型,背后大多有真实可拿的实体道具。这恰如芯片底层的处境:无论上层AI模型如何神乎其神,底层硬件系统依然无法逃避最朴素的物理法则——想要数据跑得快,那些实实在在的通道、走线和晶圆工艺,一步都偷不了懒。过去几十年,我们想尽办法让计算机算得更快;而AI带来的新命题,则是如何让数据跟得上它。
信息来源:爱范儿,查看原始信息。本文由 AI ONLINE 基于公开资料整理,信息可能随时间变化,请以官方发布为准。
