AI 模型知识库

本地跑 AI 模型，这些知识你得知道

什么是 GGUF？AI 模型量化格式入门指南

GGUF 是目前最流行的本地 AI 模型格式。本文介绍 GGUF 的由来、结构、优势，以及如何选择合适的量化版本。

显存（VRAM）是决定你能否本地运行 AI 模型的关键因素。本文解释显存的概念、如何计算模型所需显存，以及不同显卡的显存对比。

MoE 是当前大模型的主流架构之一。本文解释 MoE 的工作原理、为什么 DeepSeek 和 Qwen 都在用它，以及它对本地部署的影响。

量化是让大模型跑在消费级硬件上的关键技术。本文用通俗的语言解释量化的原理、不同量化等级的区别，以及如何选择。

本地跑模型和调用云端 API 各有优劣。本文从成本、隐私、速度、质量等维度对比两种方案，帮你做出选择。

大语言模型是当下 AI 的核心技术。本文用最通俗的语言解释 LLM 是什么、怎么工作、开源和闭源的区别，以及为什么你可以在自己电脑上跑。

上下文长度决定了 AI 模型一次能「看到」多少内容。本文解释上下文的概念、对使用体验的影响，以及它如何额外消耗显存。

tok/s 是衡量 AI 模型运行速度的核心指标。本文解释推理速度的含义、影响因素，以及不同速度下的实际体验。

不同显存能跑什么模型？本文按显存档位给出具体的模型推荐和量化方案，帮你快速找到最适合自己硬件的 AI 模型。

Ollama 让本地运行 AI 模型变得像安装 App 一样简单。本文介绍 Ollama 的安装、使用和常见问题。