https://mayulu.co/tags/c/c++/Recent content in C/C++ on mayulu的AI笔记HugozhcnCopyright © 2025–2026 mayulu All Rights ReservedThu, 23 Jul 2026 11:09:39 +0800https://mayulu.co/posts/llama-cpp-series-03/Fri, 24 Jul 2026 17:00:54 +0800https://mayulu.co/posts/llama-cpp-series-03/本文为 llama.cpp 源码系列第三篇，完整梳理项目全量目录结构，自问自答拆解 GGML 独立、tools 隔离、极简对外头文件、硬件后端解耦等目录划分逻辑。结合洋葱架构、单一职责、实用演进式设计三大思想，解读其通过物理目录隔离控制代码耦合的 C/C++ 工程实践，适合研究本地大模型推理框架底层架构设计。https://mayulu.co/posts/llama-cpp-series-02/Thu, 23 Jul 2026 11:04:39 +0800https://mayulu.co/posts/llama-cpp-series-02/本文为 llama.cpp 架构解析系列第二篇，自上而下拆解完整分层体系，划分工具层、C 公共 API、libllama 运行时、计算图构建器、图调度器、GGML 张量 IR、硬件后端、底层计算内核八大模块，明确各层职责与代码归属。文章厘清 Graph 算子调度、服务请求调度等易混淆概念，梳理从 GGUF 模型加载到 token 生成的完整推理流程，并给出新增模型、硬件后端、量化格式对应的源码修改层级，帮助开发者快速区分模块边界、定位源码，适合深耕本地大模型推理引擎底层设计。https://mayulu.co/posts/llama-cpp-series-01/Thu, 23 Jul 2026 08:18:57 +0800https://mayulu.co/posts/llama-cpp-series-01/本文是 llama.cpp 源码解析系列开篇，不直接切入代码，先剖析项目核心使命与七大底层设计目标。作者复盘最初本地大模型推理生态痛点，点明 llama.cpp 核心定位：跨多平台、零依赖、高性能本地离线推理引擎。文章拆解跨平台、无第三方依赖、极致性能、轻量化运行时、硬件解耦、可扩展后端、易嵌入七大设计准则，剖析目标间工程取舍矛盾，解答自研 GGUF、手写矩阵乘等代码设计疑问，为后续源码架构解读铺垫底层设计逻辑，适合开发者理解端侧大模型推理底层设计思路。