https://mayulu.co/tags/k3/Recent content in K3 on mayulu的AI笔记HugozhcnCopyright © 2025–2026 mayulu All Rights ReservedWed, 29 Jul 2026 10:53:39 +0800https://mayulu.co/posts/rasbt-kimi-k3-arch/Wed, 29 Jul 2026 08:53:39 +0800https://mayulu.co/posts/rasbt-kimi-k3-arch/本文全文翻译 Sebastian Raschka 解读的开源超大模型 Kimi K3 架构，该模型由 48B 参数扩容至 2.8T，沿用前代 Kimi Linear 核心设计，新增 LatentMoE 提升效率，搭配多头隐注意力、注意力残差模块优化性能。模型摒弃 RoPE，全域采用 NoPE，原生支持多模态；该设计小幅提升任务效果，仅轻微增加训练与推理开销，是兼顾性能与效率的前沿大模型。