甲骨文云基础设施 (OCI) Generative AI 服务迎来了一个激动人心的新成员：Meta Llama 4 模型系列，包括 Scout 和 Maverick。这些模型融合了独特的专家混合 (MoE) 架构，大幅提升了处理能力和效率。它们经过专门优化，能够在多模态理解、多语言任务、代码生成和工具调用等多个领域发挥卓越性能，并且能够驱动先进的代理系统。
目前，这些模型已在以下区域的正式发布 (GA) 版本中提供：
- 按需：ORD（芝加哥）
- 专用 AI 集群：ORD（芝加哥），GRU（瓜鲁柳斯），LHR（伦敦），KIK（基科约）
Llama 4 系列的主要亮点
多模态能力：打破数据类型的界限
Llama 4 Scout 和 Maverick 并非仅仅是语言模型，它们是真正的多模态大师。它们能够原生处理和整合各种类型的数据，包括文本和图像，从而实现更丰富和更全面的 AI 应用。你可以设想一下，一个 AI 系统能够同时理解一段文字描述和一张相关的图片，从而更好地把握上下文并做出更明智的决策。这种多模态能力为诸如图像字幕生成、视觉问答等任务开辟了全新的可能性。更具体地说，这意味着模型不仅能够读懂文本中的含义，还能够“看到”图像中的内容，并将两者结合起来进行理解和推理。例如，用户可以上传一张包含图表的报告，并用文字提问关于图表趋势的问题，模型就能结合图像和文本信息给出准确的答案。这种能力在分析报告、理解设计图纸、甚至在医疗影像分析等领域都有着巨大的应用潜力。通过整合不同来源的信息，Llama 4 模型能够提供更全面和深刻的见解，从而帮助用户做出更明智的决策。
多语言支持：沟通无国界
Llama 4 系列的另一大亮点是其强大的多语言支持能力。这些模型在包含 200 种语言的数据集上进行了训练，并且针对 12 种主要语言（阿拉伯语、英语、法语、德语、印地语、印度尼西亚语、意大利语、葡萄牙语、西班牙语、塔加禄语、泰语和越南语）进行了微调。这意味着它们能够理解和生成多种语言的文本，从而为全球范围内的应用打开了大门。值得注意的是，图像理解功能目前仅支持英语。多语言支持的价值在于它消除了语言障碍，使得AI应用能够服务于更广泛的用户群体。例如，一个客户服务聊天机器人可以使用 Llama 4 模型理解用户的母语并用同样的语言进行回复，从而大大提升用户体验。此外，多语言支持也方便了跨国合作，使得不同国家的人们可以使用AI模型进行翻译、总结和信息提取，从而更好地进行沟通和协作。随着全球化的不断深入，多语言支持将成为AI模型不可或缺的功能。未来的发展方向包括支持更多的语言、提升翻译的准确性和流畅性，以及开发基于不同语言文化背景的AI应用。
高效开发：更小的 GPU 占用空间
对于开发者而言，Llama 4 Scout 的设计初衷就是为了实现更高的可访问性。它可以在较小的 GPU 占用空间上高效运行，这使得它成为资源有限的环境下的理想选择。这意味着即使没有强大的硬件设备，开发者也能够利用 Llama 4 Scout 的强大功能，加速 AI 应用的开发和部署。在资源有限的环境下运行AI模型是一项重要的挑战。Llama 4 Scout 的高效设计使得开发者能够以更低的成本进行AI开发和部署，从而降低了AI技术的门槛。例如，小型初创公司可以使用 Llama 4 Scout 在云服务器上运行AI应用，而无需购买昂贵的 GPU 服务器。此外，Llama 4 Scout 也适合在边缘设备上运行，例如智能手机、物联网设备等，从而实现本地化的AI处理，提高响应速度和数据安全性。未来，随着边缘计算的普及，高效的AI模型将发挥越来越重要的作用。
开源模型：赋能社区
Meta 选择了开放的姿态，以 Llama 4 社区许可协议发布了这两个模型。这意味着开发者可以自由地对它们进行微调和部署，只需遵守特定的许可条款即可。这种开放的模式能够促进 AI 社区的创新和协作，让更多的人能够参与到 AI 技术的开发和应用中来。开源模式是推动 AI 技术发展的重要动力。通过开放模型的源代码和数据，Meta 允许开发者自由地进行研究、修改和改进，从而加速了 AI 技术的创新。社区成员可以共同发现模型的优点和不足，并分享自己的经验和成果，从而形成一个良性的循环。此外，开源模式也促进了技术的标准化和互操作性，使得不同的AI系统能够更好地协同工作。值得注意的是，开源并不意味着没有限制。Llama 4 社区许可协议规定了使用模型的条款，包括商业用途的限制、attribution的要求等。开发者需要仔细阅读并遵守这些条款，才能合法地使用模型。
知识截止日期
需要注意的是，Llama 4 模型的知识截止日期为 2024 年 8 月。这意味着它们可能无法提供在此日期之后发生的事件或信息的最新信息。模型知识截止日期是所有AI模型都存在的问题。由于模型是基于训练数据进行学习的，因此它们无法了解训练数据之外的信息。这意味着 Llama 4 模型可能无法回答关于 2024 年 8 月之后发生的事件的问题。为了解决这个问题，开发者可以定期更新模型的训练数据，或者使用知识图谱等外部知识来源来补充模型的信息。此外，还可以开发一些技术，使得模型能够从互联网上检索最新的信息，从而实现实时更新。
重要提示： Llama 可接受使用政策限制其在欧盟 (EU) 内的使用。在使用 Llama 4 模型时，务必遵守所有的法律法规和使用政策。
Llama 4 Scout：轻量级冠军
架构：巧妙的参数设计
Llama 4 Scout 采用了一种巧妙的架构设计，它在总共约 1090 亿个参数中，仅激活了 170 亿个参数。这种设计利用了 16 个专家的混合，从而在性能和效率之间实现了良好的平衡。通过只激活一部分参数，Scout 能够显著减少计算需求，使其能够在资源有限的环境中运行。专家混合 (MoE) 架构是一种近年来备受关注的新型神经网络架构。与传统的神经网络不同，MoE 模型包含多个“专家”网络，每个专家网络负责处理不同类型的数据或任务。在处理一个输入时，模型会根据输入的特征选择激活一部分专家网络，然后将这些专家网络的输出进行组合，得到最终的输出。这种架构的优点在于它可以在保持模型性能的同时，大大减少计算量。Llama 4 Scout 的 MoE 架构使其能够在保持较高精度的同时，显著降低 GPU 的使用率，从而使得模型能够在资源有限的环境中运行。
上下文窗口：处理长文本的能力
Llama 4 Scout 支持高达 1000 万个 token 的上下文长度（需要多个 GPU）。不过，在正式发布 (GA) 时，OCI Generative AI 服务将支持 192k 个 token 的上下文长度。即使是 192k 的上下文窗口也足以处理相当长的文本，例如书籍章节或详细的报告。上下文窗口是指模型在处理文本时能够考虑的最大文本长度。更长的上下文窗口使得模型能够更好地理解文本的上下文信息，从而提高其生成文本的质量。传统的语言模型的上下文窗口通常只有几千个 token，这限制了它们处理长文本的能力。Llama 4 Scout 支持 192k 的上下文窗口，这意味着它能够处理相当长的文本，例如书籍章节、详细的报告、甚至是一系列的对话。这使得 Llama 4 Scout 能够应用于更广泛的场景，例如长文本摘要、长篇小说创作、以及复杂对话系统。
部署：小巧而强大
Llama 4 Scout 的设计目标之一就是在较小的 GPU 占用空间上高效运行。这使得它成为各种部署场景的理想选择，包括边缘设备和资源有限的云环境。Llama 4 Scout 的小巧和高效使得它能够部署在各种不同的硬件平台上。它可以在云服务器上运行，提供强大的 AI 服务；也可以在边缘设备上运行，实现本地化的 AI 处理。这为 Llama 4 Scout 提供了广泛的应用场景，例如智能家居、智能工厂、以及自动驾驶汽车。此外，Llama 4 Scout 还可以被嵌入到其他的软件系统中，例如聊天机器人、搜索引擎等，从而提升这些系统的智能化水平。
性能：超越竞争对手
Llama 4 Scout 在多个基准测试中都表现出色，超越了 Google 的 Gemma 3 和 Mistral 3.1 等模型。这证明了 Scout 在性能方面的卓越能力，使其成为各种 AI 任务的强大工具。基准测试是评估 AI 模型性能的重要手段。通过在标准化的数据集上进行测试，可以客观地比较不同模型的性能差异。Llama 4 Scout 在多个基准测试中都超越了竞争对手，例如 Google 的 Gemma 3 和 Mistral 3.1 等模型，这证明了 Llama 4 Scout 在性能方面的优势。这些基准测试涵盖了各种不同的 AI 任务，例如文本生成、文本分类、问答等，从而全面地评估了 Llama 4 Scout 的能力。
Llama 4 Maverick：重量级选手
架构：更大的规模，更强大的力量
与 Scout 相比，Llama 4 Maverick 采用了更大的架构规模。它同样激活了 170 亿个参数，但它是在一个总共约 4000 亿个参数的更大框架内实现的，并且利用了 128 个专家。这种更大的规模赋予了 Maverick 更强大的能力，使其能够在更复杂的 AI 任务中表现出色。Llama 4 Maverick 的架构规模比 Llama 4 Scout 更大，这使得它能够处理更复杂的 AI 任务。虽然 Maverick 和 Scout 都激活了 170 亿个参数，但是 Maverick 是在一个更大的框架内实现的，这意味着它拥有更多的潜在能力。此外，Maverick 还使用了 128 个专家，而 Scout 只使用了 16 个专家，这使得 Maverick 能够更好地处理不同类型的数据或任务。更大的架构规模和更多的专家赋予了 Maverick 更强大的能力，使其能够在生成更流畅和更准确的文本、理解更复杂的文本含义、以及解决更困难的 AI 问题。
上下文窗口：超长的记忆力
Llama 4 Maverick 支持高达 100 万个 token 的上下文长度。在正式发布 (GA) 时，OCI 部署将支持 512k 个 token 的上下文长度。如此长的上下文窗口使得 Maverick 能够处理极其复杂的文本，例如完整的书籍或多个文档的集合。Llama 4 Maverick 拥有超长的上下文窗口，使其能够“记住”更多的信息。这意味着 Maverick 能够更好地理解文本的上下文，从而生成更连贯和更准确的文本。超长的上下文窗口使得 Maverick 能够处理更复杂的任务，例如总结长篇小说、分析多个文档之间的关系、以及构建更智能的对话系统。例如，Maverick 可以阅读整本小说，然后回答关于小说情节、人物和主题的问题；或者它可以分析多个法律文件，然后找出其中的关键条款和潜在风险。
部署：需要更大的空间
由于其更大的规模，Llama 4 Maverick 需要比 Scout 更大的部署空间。在 GA 时，OCI 上的 Maverick 部署大约需要 Scout 的两倍空间。Llama 4 Maverick 的更大规模意味着它需要更多的计算资源和存储空间。在部署 Maverick 时，需要确保有足够的 GPU 内存和磁盘空间来支持模型的运行。此外，还需要考虑网络的带宽，因为 Maverick 在处理数据时需要传输大量的数据。虽然 Maverick 需要更多的资源，但是它也能够提供更强大的性能，因此对于需要处理复杂任务的应用来说，Maverick 是一个值得考虑的选择。
性能：与顶级模型相媲美
在代码生成和推理任务中，Llama 4 Maverick 的性能可以与 OpenAI 的 GPT-4o 和 DeepSeek-V3 等顶级模型相媲美。这证明了 Maverick 在 AI 领域的领先地位。Llama 4 Maverick 在代码生成和推理任务中表现出色，可以与 OpenAI 的 GPT-4o 和 DeepSeek-V3 等顶级模型相媲美。这意味着 Maverick 能够生成高质量的代码，并且能够进行准确的逻辑推理。这使得 Maverick 能够应用于各种需要代码生成和推理的场景，例如软件开发、数据分析、以及科学研究。例如，Maverick 可以根据用户的描述生成代码，从而加速软件开发过程；或者它可以根据数据进行推理，从而发现隐藏的模式和规律。
总而言之，Llama 4 系列代表了 AI 模型开发的重大进步。它们在性能、多功能性和可访问性方面都得到了显著提升，为各种应用场景提供了强大的支持。
OCI 客户现在可以轻松地利用这些强大的模型，而无需担心基础设施管理的复杂性。他们可以通过聊天界面、API 或专用端点来访问这些模型，从而简化 AI 应用的开发和部署流程。
Llama 4 模型的发布标志着 OCI Generative AI 服务进入了一个新的时代。通过提供这些先进的模型，OCI 正在帮助客户释放 AI 的全部潜力，并推动各行各业的创新。