|
核心背景:冯诺依曼瓶颈与类脑灵感
传统芯片因 “计算与存储分离” 导致数据搬运能耗高、速度受限(“冯诺依曼瓶颈”),而 AI 推理(如图像识别、大模型响应)需频繁数据调用,问题更突出。NorthPole 受大脑 “记忆与运算一体” 启发,研发 19 年(含 DARPA 支持),采用存算一体架构:12nm 制程(落后于 4nm GPU)、256 核心网格,每核心配本地 SRAM(共 224MB),模型常驻芯片内,消除数据长途搬运,实测内存带宽达 13TB/s。
性能突破:能效与速度 “双封神”
图像识别:ResNet-50/YOLOv4 任务中,能效比 4nm GPU 高约 22 倍(每焦耳工作量);
大语言模型:16 芯片服务器运行 30 亿参数 Granite 模型,单 Token 延迟 < 1ms(比最节能 GPU 快 46.9 倍),能效高 72.7 倍,总功耗仅 672 瓦;
系统级部署:288 芯片机架(18 服务器)跑 80 亿参数模型,风冷兼容常规机房,并发 28 用户且延迟 2.8ms。
关键代价:专为推理优化,应用受限
无法训练模型:无动态调度 / 分支,仅支持静态编译流程,不具备训练所需灵活性;
片上存储有限:单芯片 224MB SRAM 需模型量化压缩(如 4 位权重),依赖 GPU 预处理;
生态门槛高:需定制工具链重构模型,无法直接运行开源模型。
现状与意义:原型价值与行业启示
IBM 未将其商业化,而是推出商用 Spyra 芯片;NorthPole 的价值在于验证 “架构超越制程”:证明存算一体可打破传统瓶颈,为自动驾驶、数据中心低功耗推理提供新范式,是 AI 硬件演进的重要里程碑。 |