Windows: C:\Users\<用户名>\.cache\lm-studio\models
macOS:   ~/.cache/lm-studio/models
Linux:   ~/.cache/lm-studio/models

目录结构：
~/.cache/lm-studio/models/
├── lmstudio-community/
│   ├── Qwen2.5-7B-Instruct-GGUF/
│   │   ├── qwen2.5-7b-instruct-q4_k_m.gguf
│   │   ├── qwen2.5-7b-instruct-q5_k_m.gguf
│   │   └── qwen2.5-7b-instruct-q8_0.gguf
│   └── Llama-3.1-8B-Instruct-GGUF/
│       └── llama-3.1-8b-instruct-q4_k_m.gguf
└── TheBloke/
    └── ...

Settings → Model Storage Path → 选择新路径

建议：
├── 使用 SSD 加速模型加载
├── 预留足够空间（50 GB 以上）
├── 避免使用 OneDrive / iCloud 等同步目录
└── 路径避免包含中文或空格

GGUF 格式特点：
├── 单文件存储：模型权重、配置、词汇表都在一个文件中
├── 量化支持：内置多种量化方案
├── 跨平台：Windows / macOS / Linux 通用
├── 自描述：文件头部包含模型元信息
└── 兼容性：被 llama.cpp、LM Studio、Ollama 等广泛支持

┌─────────────────────────────────────┐
│           GGUF 文件结构              │
├─────────────────────────────────────┤
│ Header (文件头)                      │
│ ├── Magic Number: "GGUF"           │
│ ├── Version: 3                     │
│ ├── Tensor Count: 数量              │
│ └── Metadata Key-Value Count       │
├─────────────────────────────────────┤
│ Metadata (元数据)                    │
│ ├── general.architecture: "llama"  │
│ ├── general.name: "Qwen2.5 7B"    │
│ ├── llama.context_length: 32768    │
│ ├── llama.embedding_length: 3584   │
│ └── tokenizer.ggml.tokens: [...]   │
├─────────────────────────────────────┤
│ Tensor Info (张量信息)               │
│ ├── 名称、形状、数据类型              │
│ └── 偏移量                           │
├─────────────────────────────────────┤
│ Tensor Data (权重数据)               │
│ └── 实际的模型权重（量化后）           │
└─────────────────────────────────────┘

K-Quant（推荐）：
├── 对不同层使用不同的量化位数
├── 重要层（如 attention）使用更高精度
├── 通常以 _K_S / _K_M / _K_L 后缀标识
└── 质量/大小比更优

非 K-Quant（Q4_0 等）：
├── 所有层使用统一的量化位数
├── 实现更简单，兼容性更好
└── 质量可能略低于同位数的 K-Quant

imatrix 量化示例：
Q4_K_M.gguf          → 标准 K-Quant
Q4_K_M-imatrix.gguf  → 使用 imatrix 的 K-Quant（质量可能更好）

imatrix 的原理：
1. 使用校准数据集分析模型各层的重要性
2. 重要性高的层保留更高精度
3. 重要性低的层使用更低精度

步骤：
1. 点击左侧 🔍 搜索图标
2. 输入模型名称（如 "qwen2.5-7b"）
3. 在结果列表中找到目标模型
4. 选择量化版本（推荐 Q4_K_M 或 Q5_K_M）
5. 点击下载图标 ⬇️
6. 等待下载完成

# 将 GGUF 文件复制到 LM Studio 的模型目录
# Windows
copy model.gguf "C:\Users\<用户名>\.cache\lm-studio\models\my-models\"

# macOS / Linux
cp model.gguf ~/.cache/lm-studio/models/my-models/

手动导入后，在 LM Studio 中：
1. 点击左侧聊天图标
2. 在顶部模型选择器中，应该能看到导入的模型
3. 选择并加载

在 LM Studio 左侧导航栏点击聊天图标 →
顶部模型选择器展开 →
可以看到所有已下载的模型列表

信息包括：
├── 模型名称
├── 量化类型
├── 文件大小
└── 下载状态

方法一：在 LM Studio 内删除
Settings → My Models → 选择模型 → 删除

方法二：手动删除文件
找到模型存储路径，直接删除对应的 .gguf 文件

测试条件：Qwen2.5-7B-Instruct，Apple M2 Pro 16GB

┌──────────┬──────────┬──────────┬──────────┬──────────┐
│ 量化级别  │ 文件大小  │ 加载时间  │ 生成速度  │ 质量评分  │
├──────────┼──────────┼──────────┼──────────┼──────────┤
│ Q4_K_M   │ 4.5 GB   │ ~3 秒    │ ~45 tok/s│ 8.5/10   │
│ Q5_K_M   │ 5.3 GB   │ ~4 秒    │ ~38 tok/s│ 9.0/10   │
│ Q8_0     │ 7.8 GB   │ ~5 秒    │ ~28 tok/s│ 9.5/10   │
│ F16      │ 14 GB    │ ~8 秒    │ ~18 tok/s│ 10/10    │
└──────────┴──────────┴──────────┴──────────┴──────────┘

结论：Q4_K_M 是性价比最高的选择

测试条件：Q4_K_M 量化，NVIDIA RTX 4070 12GB

┌──────────┬──────────┬──────────┬──────────┬──────────┐
│ 参数量   │ 文件大小  │ VRAM 占用 │ 生成速度  │ 质量     │
├──────────┼──────────┼──────────┼──────────┼──────────┤
│ 3B       │ 2.0 GB   │ 2.5 GB   │ ~90 tok/s│ 简单任务OK│
│ 7B       │ 4.5 GB   │ 5.5 GB   │ ~60 tok/s│ 多数任务OK│
│ 14B      │ 8.9 GB   │ 10 GB    │ ~35 tok/s│ 高质量   │
│ 32B      │ 20 GB    │ 24 GB    │ ~15 tok/s│ 非常高   │
│ 72B      │ 42 GB    │ 需>48GB  │ 部分offl │ 极高     │
└──────────┴──────────┴──────────┴──────────┴──────────┘

测试条件：Qwen2.5-7B-Instruct Q4_K_M

┌──────────────────┬──────────────┬──────────────┐
│ 配置             │ 生成速度     │ 首 token 时间 │
├──────────────────┼──────────────┼──────────────┤
│ 纯 CPU (R7 7800) │ ~8 tok/s    │ ~2 秒        │
│ GPU offload 全部  │ ~60 tok/s   │ ~0.3 秒      │
│ 部分 GPU offload  │ ~30 tok/s   │ ~0.8 秒      │
└──────────────────┴──────────────┴──────────────┘

结论：GPU 加速可提升 5-8 倍速度

LM Studio 不支持：
├── SafeTensors 格式（需要转换为 GGUF）
├── PyTorch (.bin) 格式
├── 训练 / 微调功能
├── 多模态输入（图像/音频）（部分模型有限支持）
└── 分布式推理