https://mayulu.co/tags/gpu/Recent content in GPU on mayulu的AI笔记HugozhcnCopyright © 2025–2026 mayulu All Rights ReservedWed, 22 Jul 2026 07:56:01 +0800https://mayulu.co/posts/attention-is-logarithmic/Wed, 22 Jul 2026 07:56:01 +0800https://mayulu.co/posts/attention-is-logarithmic/本文提出 Work-Depth 工作量 - 深度模型，指出传统时间复杂度不适用于多核并行硬件，以张量、矩阵乘、Softmax 等算子逐层推导，论证标准 Transformer 注意力机制并行计算深度为对数计算复杂度O(logn)。文章拆解各类深度学习基础运算并行瓶颈，分析缓存溢出导致实际性能退化的原因，结合 FlashAttention 分块思路给出工程解释，同时探讨该理论对 GPU、AI 芯片等下一代算力硬件设计的指导价值，适合大模型、高性能计算从业者阅读。