CUDA 编程系列之二：SM、warp 与那个反直觉的占用率
当你写下这行代码： myKernel<<<1000, 256>>>(...); 你其实是在说：“给我 25.6 万个线程，去把这件事干了。” 问题来了：这 25.6 万个线程，具体在哪里跑？谁决定谁先谁后？有多少个是同时真的在跑的？ ...
高性能计算
CUDA 编程系列之一：网格、线程与数据的对位
写 CUDA 的人，遇到的第一个真正意义上的门槛，往往不是语法，而是空间感。 CPU 上写循环写惯了，你的脑子里是一条线：for (int i = 0; i < n; i++)，从头到尾，一件事接一件事。而 CUDA 要求你换一副眼镜：你要把一整个数组，一次性地摊开在几千、几万个执行单元面前，然后回答一个问题—— ...