Nvidia Corp. 正式发布了 NeMo 微服务，这是一套精心打造的工具，旨在帮助开发者加速部署复杂的 AI Agent。这些微服务旨在大规模利用 AI 推理和信息系统的强大功能，标志着 AI 驱动的自动化和生产力领域向前迈出了重要一步。
AI Agent 的崛起：现代职场中的数字化队友
AI Agent 正在迅速成为现代职场中不可或缺的资产，它们有望彻底改变知识和服务型员工的工作方式。这些数字化队友旨在无缝集成到现有的工作流程中，能够执行各种任务，包括：
- 订单处理： 有效管理和处理客户订单，简化运营并减少人工干预。
- 信息发现： 从海量数据集中快速识别和检索相关信息，从而实现数据驱动的决策和洞察。
- 主动任务执行： 预测并主动解决潜在问题或机会，从而提高整体运营效率和敏捷性。
与传统的 AI 聊天机器人不同，AI Agent 具有独特的自主行动能力，几乎不需要人工监督。这种自主性水平需要强大的数据处理能力，以确保准确高效的决策。Agent 依赖于持续的数据流来为其推理提供信息，但在处理专有知识或快速变化的实时信息时，这可能尤其具有挑战性。
应对数据挑战：确保 Agent 的准确性和可靠性
开发和部署 AI Agent 的一个关键挑战是确保高质量数据的持续流动。如果没有来自各种来源的相关且最新的信息，Agent 的理解能力可能会下降，从而导致不可靠的响应和生产力下降。当 Agent 需要访问公司防火墙后面的专有知识或利用快速变化的实时信息时，尤其如此。
Nvidia 企业生成式 AI 软件高级总监 Joey Conway 强调了数据质量的重要性，他表示：“如果没有来自数据库、用户交互或真实世界信号的持续高质量输入，Agent 的理解能力可能会减弱，从而使响应的可靠性降低，进而降低 Agent 的生产力。”
NeMo 微服务：AI Agent 开发的综合工具包
为了应对这些挑战并加速 AI Agent 的开发和部署，Nvidia 推出了 NeMo 微服务。这套工具包括五个关键组件：
Customizer（定制器）： 促进大型语言模型 (LLM) 的微调，提供高达 1.8 倍的更高训练吞吐量。这使开发者能够快速地将模型适应特定的数据集，从而优化性能和准确性。Customizer 提供了一个应用程序编程接口 (API)，使开发者能够在部署之前高效地管理模型。
Evaluator（评估器）： 简化了基于自定义和行业基准的 AI 模型和工作流程的评估。只需五个 API 调用，开发者就可以全面评估其 AI 解决方案的性能，确保它们符合要求的标准。
Guardrails（防护栏）： 充当安全网，防止 AI 模型或 Agent 以不安全或超出范围的方式运行。这确保了合规性和道德行为，同时仅增加半秒的延迟，并提供 1.4 倍的效率。
Retriever（检索器）： 使开发者能够构建可以从各种系统提取数据并准确处理数据的 Agent。这支持创建复杂的 AI 数据管道，例如检索增强生成 (RAG)，从而增强 Agent 访问和利用相关信息的能力。
Curator（管理者）： 使开发者能够过滤和优化用于训练 AI 模型的数据，从而提高模型准确性并减少偏差。通过确保仅使用高质量数据，Curator 有助于创建更可靠和有效的 AI Agent。
Conway 表示：“NeMo 微服务易于操作，并且可以在任何加速计算基础设施（包括本地和云）上运行，同时提供企业级的安全性、稳定性和支持。”
实现 AI Agent 开发的大众化：人人皆可访问
Nvidia 在设计 NeMo 工具时考虑到了可访问性，确保具有通用 AI 知识的开发者可以通过简单的 API 调用来利用它们。AI Agent 开发的大众化使企业能够构建复杂的多 Agent 系统，其中数百个专门的 Agent 协同工作以实现统一的目标，同时与人类队友一起工作。
广泛的模型支持：拥抱开放 AI 生态系统
NeMo 微服务拥有对各种流行的开放 AI 模型的广泛支持，包括：
- Meta Platforms Inc. 的 Llama 模型系列
- Microsoft Phi 系列的小型语言模型
- Google LLC 的 Gemma 模型
- Mistral 模型
此外，Nvidia 的 Llama Nemotron Ultra 被公认为是科学推理、编码和复杂数学基准测试领域的领先开放模型，也可以通过微服务访问。
行业采用：不断增长的合作伙伴生态系统
许多领先的 AI 服务提供商已经将 NeMo 微服务集成到其平台中，包括：
- Cloudera Inc.
- Datadog Inc.
- Dataiku
- DataRobot Inc.
- DataStax Inc.
- SuperAnnotate AI Inc.
- Weights & Biases Inc.
这种广泛的采用突显了 NeMo 微服务在 AI 生态系统中的价值和多功能性。开发者可以立即开始通过流行的 AI 框架（如 CrewAI、Deepset 的 Haystack、LangChain、LlamaIndex 和 Llamastack）来利用这些微服务。
实际应用：驱动业务价值
Nvidia 的合作伙伴和科技公司已经在利用新的 NeMo 微服务来构建创新的 AI Agent 平台并启用数字化队友，从而驱动切实的业务价值。
AT&T Inc.： 利用 NeMo Customizer 和 Evaluator 微调 Mistral 7B 模型，以实现个性化服务、欺诈预防和网络性能优化，从而提高 AI Agent 的准确性。
BlackRock Inc.： 正在将微服务集成到其 Aladdin 技术平台中，以通过通用的数据语言统一投资管理，从而提高效率和决策能力。
深入了解 NeMo 微服务组件
为了充分了解 NeMo 微服务的变革潜力，必须更深入地研究每个组件：
Customizer：为特定任务定制 LLM
Customizer 微服务对于寻求根据其特定需求调整大型语言模型 (LLM) 的组织来说是一个改变游戏规则的工具。它解决了通用 LLM 并不总是最适合利基应用或专有数据集的挑战。
主要特点：
- 微调能力： 使开发者能够使用自己的数据微调 LLM，从而根据特定任务调整模型的知识和行为。
- 更高的训练吞吐量： 与传统的微调方法相比，提供高达 1.8 倍的更高训练吞吐量，从而加快了模型定制过程。
- API 驱动的界面： 提供了一个用户友好的 API，使开发者能够快速地管理模型，确保它们针对部署进行了优化。
优点：
- 提高准确性： 使用相关数据微调 LLM 可以显著提高特定应用中的准确性和性能。
- 缩短开发时间： 加速的训练吞吐量和简化的 API 减少了定制模型所需的时间。
- 提高效率： 优化的模型可以带来更高效的 AI Agent，能够以更少的资源提供更好的结果。
Evaluator：自信地评估模型性能
Evaluator 微服务旨在简化通常复杂的评估 AI 模型性能的过程。它提供了一个标准化的框架，用于根据自定义和行业基准评估模型，确保它们符合要求的标准。
主要特点：
- 简化的评估： 使开发者能够通过五个 API 调用来评估 AI 模型和工作流程，从而简化评估过程。
- 自定义和行业基准： 支持针对特定应用定制的自定义基准和用于更广泛比较的行业标准基准。
- 综合报告： 生成有关模型性能的详细报告，从而提供有关改进领域的见解。
优点：
- 数据驱动的决策： 提供客观数据，为有关模型选择、训练和部署的决策提供信息。
- 提高模型质量： 识别需要改进的领域，从而提高 AI 模型的质量和可靠性。
- 降低风险： 确保模型在部署之前满足性能要求，从而降低出现意外问题的风险。
Guardrails：确保安全和道德的 AI 行为
Guardrails 微服务是一个关键组件，用于确保 AI 模型以安全、道德和合规的方式运行。它充当实时监控系统，防止模型生成不适当或有害的内容。
主要特点：
- 实时监控： 持续监控模型输出，识别并阻止潜在的有害内容。
- 可定制的规则： 使开发者能够定义自定义规则和策略，以符合其特定的道德和合规性要求。
- 效率和低延迟： 提供额外的合规性，效率提高 1.4 倍，延迟仅增加半秒，从而最大限度地减少对性能的影响。
优点：
- 降低危害风险： 防止模型生成可能有害、冒犯或歧视的内容。
- 确保合规性： 帮助组织遵守相关法规和道德准则。
- 提高声誉： 表明对负责任的 AI 开发的承诺，从而提高信任度和声誉。
Retriever：释放数据访问的力量
Retriever 微服务使 AI Agent 能够访问和处理来自各种来源的数据，从而使它们能够做出更明智的决策并提供更准确的响应。
主要特点：
- 数据提取： 使 Agent 能够从各种系统提取数据，包括数据库、API 和非结构化文档。
- 数据处理： 使 Agent 能够将数据处理和转换为适合分析和决策的格式。
- 检索增强生成 (RAG)： 支持创建复杂的 AI 数据管道，例如 RAG，从而增强 Agent 访问和利用相关信息的能力。
优点：
- 提高准确性： 访问更广泛的数据来源可以带来更准确和更明智的决策。
- 增强上下文： 使 Agent 能够更深入地了解用户查询周围的上下文，从而实现更相关的响应。
- 提高效率： 自动化数据提取和处理过程，从而释放人力资源以执行更具战略意义的任务。
Curator：优化数据以实现最佳模型训练
Curator 微服务在确保 AI 模型在高质量、无偏见的数据上进行训练方面起着至关重要的作用。它使开发者能够过滤和优化数据，删除不相关或有害的信息，并降低所得模型中出现偏差的风险。
主要特点：
- 数据过滤： 使开发者能够根据各种标准（例如内容、来源和相关性）过滤数据。
- 偏差检测： 识别并减轻数据中的潜在偏差，确保模型结果的公平性和公正性。
- 数据丰富： 使开发者能够使用其他信息来丰富数据，从而提高训练数据集的准确性和完整性。
优点：
- 提高模型准确性： 在高质量数据上进行训练可以带来更准确和更可靠的 AI 模型。
- 减少偏差： 减轻数据中的偏差可以确保模型结果的公平性和公正性。
- 增强信任： 在无偏见的数据上构建模型可以增强对 AI 系统及其决策的信任。
结论：AI 赋能自动化的新时代
Nvidia 的 NeMo 微服务代表了 AI Agent 开发领域的重大进步。通过提供一套全面的工具来应对数据访问、模型定制和道德行为的关键挑战，Nvidia 正在帮助开发者构建创新的 AI 解决方案，从而驱动切实的业务价值。随着越来越多的组织采用 AI Agent，NeMo 微服务无疑将在塑造工作和自动化的未来方面发挥关键作用。