模型

Llama (Meta)

Meta 发布的 open-weight 大型语言模型家族,权重可免费下载且许可证宽松;是开源社区微调、领域适配、本地推理部署和学术研究的默认起点,催生庞大生态。

Llama 是 Meta 推出的 open-weight 大型语言模型家族,最初于 2023 年 2 月以 LLaMA 之名发布,随后通过 Llama 2(2023 年中)、Llama 3(2024)和 Llama 4 一代不断演进。每次发布都包含多个规模——通常为 7B / 8B、70B 以及一个更大的旗舰版本——同时提供面向聊天和助手场景的指令微调(instruction-tuned)版本。

Llama 的独特之处在于其许可证:权重可免费下载,许可条款足够宽松,覆盖大多数商业用途。这使 Llama 成为社区微调、领域适配、本地推理和学术研究的默认起点。围绕 Llama 形成了庞大的生态系统——Hugging Face、Ollama、llama.cpp、vLLM、LM Studio——其存在的首要目的就是承载和适配 Llama 类模型。

在架构上,Llama 是仅解码器(decoder-only)的 Transformer,与其他现代 LLM 类似,并融入了 RMSNorm、旋转位置编码(RoPE)、分组查询注意力(grouped-query attention)和 SwiGLU 激活等改进。Llama 4 引入了多模态和混合专家(MoE)架构。Llama 与 Mistral、DeepSeek 和 Qwen 一起定义了 open-weight 前沿,也是当今大量 AI 工具能够在超大规模云之外运行的原因。

来源

另见