CUDA 编程系列之三：内存墙与分块（tiling）的诞生
一张 H100 显卡的纸面算力是 66.9 TFLOPS（FP32）。 现在请它跑一个最简单的程序——向量加法 C[i] = A[i] + B[i]——然后测量它实际达到了多少 TFLOPS。 你会得到一个让人怀疑人生的数字：个位数都不到。用直觉说，就是这张卡只发挥了百分之几的力气。 ...
一张 H100 显卡的纸面算力是 66.9 TFLOPS（FP32）。 现在请它跑一个最简单的程序——向量加法 C[i] = A[i] + B[i]——然后测量它实际达到了多少 TFLOPS。 你会得到一个让人怀疑人生的数字：个位数都不到。用直觉说，就是这张卡只发挥了百分之几的力气。 ...