开源与开放权重模型正成为AI工程的主流选择。它们允许你本地运行、微调甚至修改模型权重，无需依赖单一供应商的API，在数据隐私、定制成本和延迟控制上具有天然优势。2025年以来，多个高质量开源模型在基准上追平甚至超越闭源模型，使得“自建”从边缘选项变成核心策略。
当前格局中，Meta的Llama系列、Mistral的开放模型、以及 Thinking Machines Lab 的 Inkling 等组成三个重要阵营。同时，开源工具链（如 Ollama、vLLM、Hugging Face Transformers）大幅降低了部署门槛。但模型许可、硬件需求、社区生态和实际推理性能差异巨大，需要系统性评估。
怎么上手、怎么选
上手第一步：明确你的场景。如果是聊天/问答，优先试 Llama 3.1 8B/70B 或 Mistral 7B；如果是代码生成，DeepSeek Coder 系列或 CodeGemma 是稳妥选择；若需要多模态，InternVL 2 或 LLaVA 可覆盖图像理解。使用 Ollama 或 llama.cpp 可在消费级硬件上快速测试。
选型核心维度：① 许可——Apache 2.0（如 Inkling、Mistral 7B）最宽松，Llama 社区许可限制月活超7亿场景；② 硬件——70B 模型至少需要 2×A100 或 Mac Studio 128GB，7B 模型可在 RTX 3090 上推理；③ 社区——看 Hugging Face 下载量、GitHub Stars 和论文引用数。
常见坑：① 只看基准分数，忘记实际端到端延迟——相同参数量下，Mamba 架构在长序列上比 Transformer 快 2-3x；② 忽略 tokenizer 对多语言性能的影响（比如日语/中文场景避免使用 Llama 原版 tokenizer）；③ 部署时低估内存带宽需求——70B 模型在量化后仍需 30 GB/s 以上带宽才能流畅交互。
生产化路径：从 Hugging Face 下载模型后，用 vLLM 或 TGI 搭建推理服务，支持 PagedAttention 和持续批处理。微调推荐 LoRA（用 unsloth 加速）；评估用 lm-evaluation-harness 或自定义数据集。监控指标：首Token时间、吞吐量和显存峰值。
常见问题
开源模型能否商用，有什么限制？
取决于许可证。Apache 2.0 和 MIT 允许商用，仅需保留版权声明。Llama 社区许可要求月活超7亿用户时需特别许可，Grok 模型采用 Apache 2.0。务必阅读完整的许可证文件。
7B 和 70B 模型应该怎么选？
7B 适合单 GPU 快速推理，延迟低（<10ms/token），但复杂推理能力弱。70B 在数学/代码等任务上显著更强，但需要多 GPU 集群或量化后仍占用大内存。建议先用 7B 做原型，验证后再用更大模型。
本地部署需要什么硬件？
7B 模型量化后约 4GB 显存，INT4 可在 RTX 3060 上运行。13B 需 8GB，70B 量化后需 40GB（如双A6000）。纯 CPU 推理可用 llama.cpp，但非常慢。Mac 统一内存可跑 70B（需64GB以上内存）。
开源模型真的能替代 GPT-4 或 Claude吗？
在特定领域（如代码生成、简单问答、分类）已接近或超越。但复杂推理、长上下文理解、安全对齐仍有差距。可组合多个开源模型（如 8B 做分类+70B 做生成）缩小差距。
微调和 RAG 哪个更适合我？
RAG 更适合需要利用最新/专用知识的场景，部署成本低。微调用于学习新的行为模式或风格。通常建议先做 RAG，效果不足再微调。组合使用（如RAG检索+微调后模型）往往最佳。
怎么量化模型以减少显存？
使用 llama.cpp 或 AutoGPTQ 进行INT4/INT8 量化，通常保留 95%-98% 质量。GPTQ 需校准数据集，GGUF 格式更通用。vLLM 支持 FP8/INT4 动态量化，无需预量化即可用。