算力 FLOPS 完整解析｜大模型训练推理硬件选型避坑指南

沐光而行

导语

      看 GPU、AI 芯片宣传资料，到处充斥 TFLOPS、PFLOPS、TOPS 等巨大数字。很多开发者直接拿峰值纸面算力作为选型唯一标准，上线之后发现真实训练、推理速度远达不到宣传效果。本期通俗拆解 FLOPS 算力单位定义，厘清 FLOPS 与 FLOPs 概念，区分 FP32/FP16/BF16/INT8 不同精度算力差异，剖析显存带宽、多卡互联、软件框架对有效算力的影响，提供一套可落地的硬件选型四步法，帮助分辨宣传话术，把纸面参数转化为工程可用的评估标尺。

一、算力 FLOPS 基础定义与通俗类比

FLOPS（Floating‑Point Operations Per Second）：每秒浮点运算次数，衡量硬件每秒可以完成多少次带小数点的浮点数学运算，是 AI 训练最核心性能指标。
生活化搬运工类比：把芯片比作仓库搬运工人，FLOPS 就是工人每秒可以搬运货物的次数，代表干活速度；而 FLOPs（不带 S）代表总的运算工作量，是完成一项任务从头到尾一共需要多少次运算，属于总量概念。

关键区分：

• FLOPS：速度，每秒多少次运算；
• FLOPs：总工作量，整个任务全部运算总和。总任务耗时 ≈ 总 FLOPs ÷ 硬件有效 FLOPS。
  

传统 PC 性能习惯看 CPU 主频 GHz，但是大模型神经网络由海量矩阵乘加并行运算构成，CPU 少数核心并不擅长大规模并行；GPU/NPU 靠成千上万个计算单元并行干活，因此 AI 领域优先看 FLOPS 算力，而不是 CPU 主频。

算力量级单位对照表

单位	全称	数量级	典型应用场景
GFLOPS	GigaFLOPS	\(10^9\)	CPU、小型边缘模型
TFLOPS	TeraFLOPS	\(10^{12}\)	消费级 GPU、中端 AI 任务
PFLOPS	PetaFLOPS	\(10^{15}\)	数据中心高端 GPU 集群
EFLOPS	ExaFLOPS	\(10^{18}\)	超大规模智算中心、万亿参数模型训练

TOPS：Tera Operations Per Second，每秒万亿次整数运算，多用于 INT8/INT4 推理，常见于 NPU、边缘芯片；训练看 FLOPS 浮点算力，推理场景看 TOPS 整数算力。

二、数值精度对算力的巨大影响

同一块硬件，切换不同数据精度，理论算力可以相差数倍，厂商宣传材料经常在这里制造数字陷阱。

精度	位宽	适用场景	算力相对倍率
FP32 单精度	32bit	传统科学计算，现在大模型训练极少使用	基准 1 倍
BF16 / FP16 半精度	16bit	大模型主流训练、SFT 微调	FP32 的 2 倍
FP8	8bit 浮点	新一代 GPU 训练与高并发推理	FP32 的 4 倍
INT8 整型	8bit	量化推理，端侧、vLLM 服务	FP32 的 4‑8 倍
INT4 整型	4bit	边缘端侧极致压缩推理	FP32 的 8‑16 倍

工程提醒：宣传页面巨大的 TOPS 数字大多来自 INT8 低精度推理算力，不能直接拿来评估模型训练性能，选型必须确认算力对应的精度类型。

三、峰值算力 ≠ 实际有效算力

厂商白皮书给出的 TFLOPS 属于理论峰值算力，实验室极限理想条件下测出；真实大模型训练、推理环境，几乎不可能跑满峰值。真实场景会被下面几个关键条件约束，造成算力利用率 MFU 下降，工业环境分布式训练普遍只能跑到峰值的 30%‑40%：

• 显存带宽瓶颈就算计算单元空闲，如果显存不能快速把权重、激活数据源源不断喂给计算核心，GPU 计算单元就会等待数据，大量算力白白闲置。大模型 Transformer 对显存带宽非常敏感，带宽跟不上，再高算力也发挥不出来。
• 多卡通信开销多 GPU 做分布式训练，卡和卡之间需要同步梯度。
  

• NVLink 高速互联带宽极高，通信损耗小；
• 如果只用普通 PCIe 总线，卡间数据传输慢，大量时间消耗在等待通信，整体有效算力大幅下跌；跨服务器集群还要受 InfiniBand / 以太网网络质量制约。
  

• 软件框架与算子实现质量PyTorch、DeepSpeed、vLLM 等框架实现、算子优化水平直接影响实际性能，同样硬件，框架写的差，算力利用率直接腰斩。
• 显存容量限制显存不够，需要频繁做重计算、梯度分片，额外引入开销，进一步压低有效算力。
  

现实案例：GPT‑3 训练总计算量约\(3.14\times10^{23}\) FLOPs，就算使用大量 A100，受带宽、通信约束，无法跑满纸面峰值，仍然需要几十天完成训练。

训练与推理场景算力关注点区分

• 大模型训练 / 微调：重点看 FP16/BF16 算力、HBM 显存带宽、NVLink 高速互联、显存大小；
• 线上推理部署（vLLM/Ollama）：重点看 INT8/FP8 算力、显存容量，吞吐量 QPS、TTFT 延迟，峰值算力只是参考。
  

四、算力硬件选型四步法（实战可用）

不要只对比宣传页上的巨大数字，按照四步评估硬件是否匹配业务需求：

• 明确业务任务类型区分是训练、微调，还是线上推理；确定模型规模、使用精度 BF16 / FP8 / INT8，锁定算力评估标准。
  

做训练不要拿 INT8 的 TOPS 指标作为参考。

• 核对对应精度下标称峰值算力过滤宣传中其他精度的漂亮数字，只看自己业务用到精度对应的 TFLOPS / TOPS。
• 评估配套硬件约束，预估有效算力
  

• 显存带宽 HBM/GDDR；
• 单卡显存大小，能否放下模型权重 + KV 缓存 + 激活；
• 多卡场景确认互联方案：NVLink 还是普通 PCIe；跨节点确认 InfiniBand 高速网络。
  

纸面峰值打个 0.3‑0.4 系数，作为工程上保守预估有效算力。

• 软件生态验证确认框架、算子对硬件支持程度；条件允许优先做小规模实测，拿到真实 MFU 利用率、吞吐、延迟，不要完全依赖理论参数。
  

五、新手高频认知误区澄清

误区 1：算力数字越大，硬件一定越强

纠正：必须绑定精度。把 INT8 推理 TOPS 拿来评估训练，会得到完全错误结论。
误区 2：峰值算力就等于实际跑出来的性能

纠正：现实受带宽、通信、软件算子限制，大模型任务 MFU 经常只有 30‑40%，纸面参数仅供上限参考。
误区 3：CPU 主频越高 AI 计算越快

纠正：大模型是海量并行矩阵运算，CPU 擅长串行逻辑，不适合大规模神经网络运算，不能用 GHz 主频衡量 AI 算力。
误区 4：TOPS 越高，跑大语言模型推理就越快

纠正：TOPS 是整数运算指标，还取决于内存带宽、算子适配、量化质量，部分芯片纸面 TOPS 很高，实际推理速度很差。
误区 5：多卡堆叠算力可以线性叠加

纠正：分布式训练会产生通信开销，卡数量越多，叠加效率会逐步衰减，不是 8 卡就等于单卡 8 倍速度。

六、本期全文总结

1 FLOPS 代表每秒浮点运算次数（速度），FLOPs 代表任务总运算量，二者概念要区分；训练看 FLOPS，端侧推理常看 TOPS 整数算力。2 不同数值精度（FP32、BF16、FP8、INT8）算力差距巨大，看硬件宣传必须核对精度条件，避免被营销数字误导。3 纸面峰值算力不等于真实有效算力；显存带宽、多卡互联 NVLink、算子软件框架都会显著降低实际可利用算力。4 选型四步法：确认业务场景与精度 → 核对对应精度标称算力 → 评估带宽 / 显存 / 互联硬件条件 → 优先小规模实测获取真实性能。5 训练、微调重点关注 BF16 算力、显存、高速互联；推理业务更看重显存容量、QPS、延迟，算力仅作为辅助参考。