https://mayulu.co/tags/%E5%85%B1%E4%BA%AB%E5%86%85%E5%AD%98/Recent content in 共享内存 on mayulu的AI笔记HugozhcnCopyright © 2025–2026 mayulu All Rights ReservedSat, 03 Oct 2026 10:00:00 +0800https://mayulu.co/posts/cuda-series-03-memory-and-tiling/Sat, 03 Oct 2026 10:00:00 +0800https://mayulu.co/posts/cuda-series-03-memory-and-tiling/本文是 CUDA 编程读书笔记系列第三篇，解释为什么算力强悍的 GPU 依然会被内存带宽卡住。文章从 H100 的 66.9 TFLOPS 与 3.35 TB/s 出发，引出算术强度（FLOP/Byte）与 Roofline 模型这套判断框架，并用向量加法 1 FLOP 对 12 字节、比值仅 0.083 FLOP/B 的算例说明什么是深陷带宽受限。随后梳理寄存器、共享内存、常量内存、全局内存的层级，完整还原分块（tiling）技术的推导过程：矩阵乘法如何把 2N³ 次全局读取降到约 2N³/TILE，以及 __syncthreads 屏障、halo、占用率这三项代价。适合想建立 GPU 性能分析直觉的读者。