https://mayulu.co/tags/%E9%AB%98%E6%80%A7%E8%83%BD%E6%8E%A8%E7%90%86/Recent content in 高性能推理 on mayulu的AI笔记HugozhcnCopyright © 2025–2026 mayulu All Rights ReservedWed, 29 Jul 2026 10:53:39 +0800https://mayulu.co/posts/rasbt-kimi-k3-arch/Wed, 29 Jul 2026 08:53:39 +0800https://mayulu.co/posts/rasbt-kimi-k3-arch/本文全文翻译 Sebastian Raschka 解读的开源超大模型 Kimi K3 架构，该模型由 48B 参数扩容至 2.8T，沿用前代 Kimi Linear 核心设计，新增 LatentMoE 提升效率，搭配多头隐注意力、注意力残差模块优化性能。模型摒弃 RoPE，全域采用 NoPE，原生支持多模态；该设计小幅提升任务效果，仅轻微增加训练与推理开销，是兼顾性能与效率的前沿大模型。https://mayulu.co/posts/attention-is-logarithmic/Wed, 22 Jul 2026 07:56:01 +0800https://mayulu.co/posts/attention-is-logarithmic/本文提出 Work-Depth 工作量 - 深度模型，指出传统时间复杂度不适用于多核并行硬件，以张量、矩阵乘、Softmax 等算子逐层推导，论证标准 Transformer 注意力机制并行计算深度为对数计算复杂度O(logn)。文章拆解各类深度学习基础运算并行瓶颈，分析缓存溢出导致实际性能退化的原因，结合 FlashAttention 分块思路给出工程解释，同时探讨该理论对 GPU、AI 芯片等下一代算力硬件设计的指导价值，适合大模型、高性能计算从业者阅读。