CUDA 编程系列之三：内存墙与分块（tiling）的诞生
一张 H100 显卡的纸面算力是 66.9 TFLOPS（FP32）。 现在请它跑一个最简单的程序——向量加法 C[i] = A[i] + B[i]——然后测量它实际达到了多少 TFLOPS。 你会得到一个让人怀疑人生的数字：个位数都不到。用直觉说，就是这张卡只发挥了百分之几的力气。 ...
AI亲和之旅
LLM、Agentic AI、编程相关的分享最新文章
CUDA 编程系列之二：SM、warp 与那个反直觉的占用率
当你写下这行代码： myKernel<<<1000, 256>>>(...); 你其实是在说：“给我 25.6 万个线程，去把这件事干了。” 问题来了：这 25.6 万个线程，具体在哪里跑？谁决定谁先谁后？有多少个是同时真的在跑的？ ...
CUDA 编程系列之一：网格、线程与数据的对位
写 CUDA 的人，遇到的第一个真正意义上的门槛，往往不是语法，而是空间感。 CPU 上写循环写惯了，你的脑子里是一条线：for (int i = 0; i < n; i++)，从头到尾，一件事接一件事。而 CUDA 要求你换一副眼镜：你要把一整个数组，一次性地摊开在几千、几万个执行单元面前，然后回答一个问题—— ...
Jev模型技术的原理和启示
从ChatGPT诞生以来，我们被一个固有认知绑定：AI模型就该生成文字。各类大模型所有的技术迭代、场景落地、商业化探索，都围绕着自回归文本生成展开。行业默认：统一的文本输入、文本输出，是通用人工智能的唯一标准。 ...
异星心智
我们尚未完全理解的智能 2023 年年中，在 “RLSlow” 研究项目中，我们拿到第一批实验结果。这些结果让我们确信，我们可以扩大推理模型的训练规模，释放预训练模型构建自身思维链的能力。当晚，我与希蒙（Szymon）留在办公室。我们没有畅想这项技术将会带来惊艳的基准测试分数、各类产品或是科研突破，而是在消化一个令人清醒的现实：在我们的有生之年，就会出现显著超越人类智慧的机器，而这类系统的雏形已经出现。我们也在思索，该如何向世人点明这件事的重大意义。 ...