Nvidia正式发布了NeMo平台，这是一个全面的微服务套件，专为简化高级AI代理系统的开发而设计。该平台于4月23日星期三宣布，支持各种大型语言模型 (LLMs)，并利用一种名为“数据飞轮”的机制。这种创新方法使AI代理能够不断从现实世界的经验中学习，从而提高其性能和适应性。
NeMo平台的核心组件
NeMo平台是一个相互连接的微服务生态系统，每个微服务都旨在解决AI代理开发的特定方面。这些组件协同工作，为开发人员提供一个强大的工具包，用于创建复杂的AI解决方案。
NeMo Customizer：加速LLM微调
NeMo Customizer是一个关键组件，旨在加速大型语言模型的微调。此微服务简化了为特定任务或数据集定制LLM的过程，使开发人员能够以最小的努力实现最佳性能。通过简化微调过程，NeMo Customizer减少了将LLM适应各种应用程序所需的时间和资源。
NeMo Customizer的核心功能在于其用户友好的界面和强大的算法。开发人员可以通过简单的配置参数来指定微调的目标，例如特定的行业领域、语言风格或所需的情感色彩。该组件还提供了自动化的超参数优化功能，可以智能地调整微调过程中的各种参数，以获得最佳的性能提升。此外，NeMo Customizer还支持各种先进的微调技术，例如低秩适应 (LoRA) 和量化感知训练 (QAT)，这些技术可以在不牺牲模型精度的情况下显著减少计算成本和内存占用。通过这些功能的结合，NeMo Customizer使得即使是没有深厚机器学习背景的开发人员也能够轻松地将大型语言模型定制到其特定的应用场景中。
NeMo Evaluator：简化AI模型和工作流评估
NeMo Evaluator提供了一种简化的方法，用于根据定制的和行业特定的基准来评估AI模型和工作流。此微服务使开发人员能够快速评估其AI代理的性能，识别需要改进的领域，并确保其解决方案符合要求的标准。只需五个API调用，开发人员就可以获得关于其AI模型有效性的宝贵见解。
NeMo Evaluator不仅仅是一个简单的性能指标计算器。它提供了一套全面的评估工具，可以从多个维度对AI模型的性能进行分析。例如，它可以评估模型的准确性、精确度、召回率、F1值等常见指标，还可以评估模型的鲁棒性、公平性和可解释性。此外，NeMo Evaluator还支持自定义评估指标，允许开发人员根据其特定应用场景的需求来定义评估标准。该组件还提供了可视化的评估报告，可以清晰地展示模型的性能表现，帮助开发人员快速定位问题并进行改进。通过这些强大的评估功能，NeMo Evaluator可以帮助开发人员构建更加可靠和高效的AI解决方案。
NeMo Guardrails：增强合规性和保护
NeMo Guardrails旨在增强AI系统的合规性和保护，而不会显著影响性能。此微服务确保AI代理遵守道德准则和法规要求，从而降低意外后果的风险。通过仅增加半秒的延迟，NeMo Guardrails可以将合规性保护提高多达1.4倍。
NeMo Guardrails的核心在于其基于规则的策略引擎。开发人员可以定义一系列规则，以约束AI代理的行为，防止其产生有害或不当的输出。这些规则可以基于各种因素，例如用户输入、模型输出或上下文信息。例如，可以定义一条规则来阻止AI代理生成仇恨言论或歧视性内容。NeMo Guardrails还支持动态规则更新，允许开发人员根据不断变化的法规和道德标准来调整其策略。此外，该组件还提供了审计日志功能，可以记录AI代理的所有交互，以便进行事后分析和合规性验证。通过这些强大的合规性保护机制，NeMo Guardrails可以帮助企业构建更加负责任和可信赖的AI系统。
NeMo Retriever：促进知识检索
NeMo Retriever协助AI代理访问和检索来自数据库的准确信息。此微服务使AI代理能够快速定位正确的知识，从而提高其回答问题、解决问题和做出明智决策的能力。通过简化知识检索过程，NeMo Retriever提高了AI代理的整体有效性。
NeMo Retriever的核心功能在于其高效的索引和搜索算法。该组件可以快速地对大量的文档和数据进行索引，并提供亚秒级的检索速度。NeMo Retriever还支持各种不同的数据源，包括文本文件、数据库、知识图谱等。该组件还提供了语义搜索功能，可以根据用户查询的含义来检索相关的信息，而不仅仅是简单的关键词匹配。此外，NeMo Retriever还支持上下文感知检索，可以根据用户的历史行为和当前上下文来提供更加个性化的搜索结果。通过这些强大的知识检索功能，NeMo Retriever可以帮助AI代理更好地理解用户需求并提供更加准确和有用的信息。
NeMo Curator：训练高度准确的生成式AI模型
NeMo Curator旨在训练高度准确的生成式AI模型。此微服务为开发人员提供创建能够生成逼真且连贯的文本、图像和其他类型内容的AI代理所需的工具和资源。通过优化训练过程，NeMo Curator支持开发前沿的生成式AI解决方案。
NeMo Curator的核心在于其高效的训练框架和强大的数据处理能力。该组件可以处理大规模的数据集，并提供各种先进的训练技术，例如分布式训练、混合精度训练和梯度累积。NeMo Curator还支持各种不同的生成式模型架构，例如变分自编码器 (VAE)、生成对抗网络 (GAN) 和Transformer。该组件还提供了自动化的模型评估和调优功能，可以帮助开发人员快速找到最佳的模型配置。此外，NeMo Curator还支持数据增强技术，可以增加训练数据的多样性，提高模型的泛化能力。通过这些强大的训练功能，NeMo Curator可以帮助开发人员构建更加逼真和创造性的生成式AI模型。
数据飞轮机制
数据飞轮是NeMo平台的一个核心概念，旨在实现AI模型的持续学习和改进。这种机制创建了一个积极的反馈循环，AI代理从与环境的交互中学习，随着时间的推移变得更加智能和有效。
积极的反馈循环
数据飞轮通过交互、数据收集、评估和改进的持续循环运作。当AI代理与用户和环境交互时，它们会生成大量数据，包括对话记录和使用模式。然后，这些数据由NeMo Curator处理，以识别相关的见解和模式。NeMo Evaluator评估AI代理的性能，识别其擅长的领域和需要改进的领域。最后，NeMo Customizer根据此评估对模型进行微调，从而提高其准确性和有效性。
数据飞轮的每一个环节都至关重要。交互环节产生原始数据，数据收集环节将这些数据转化为可用的格式，评估环节分析数据的质量和有效性，改进环节则利用评估结果来优化模型。这个循环不断重复，AI代理的性能也随之不断提升。
最小的人工干预和最大的自主性
数据飞轮旨在以最小的人工干预和最大的自主性运行。这使得AI代理能够持续学习和改进，而无需持续监督。通过自动化学习过程，数据飞轮减轻了开发人员的负担，并使AI代理能够适应不断变化的条件和用户需求。
数据飞轮的自主性是其关键优势之一。开发人员可以设置初始的训练参数和规则，然后让数据飞轮自动运行。AI代理会不断地从经验中学习，并根据反馈进行自我调整。这种自主学习能力使得AI代理能够适应新的环境和用户需求，而无需人工干预。
集成和部署
NeMo平台旨在轻松地集成和部署到各种计算基础设施中，包括本地和云环境。这种灵活性使组织能够以最适合其需求和资源的方式利用该平台。
Nvidia AI Enterprise软件平台
NeMo平台部署在Nvidia AI Enterprise软件平台上，该平台提供了一套全面的工具和资源，用于开发和部署AI应用程序。该平台简化了管理和扩展AI解决方案的过程，使组织能够专注于创新和业务价值。
Nvidia AI Enterprise软件平台提供了一系列强大的功能，例如容器化、自动化部署、监控和管理。这些功能使得开发人员可以轻松地构建、部署和管理AI应用程序。该平台还提供了对各种Nvidia GPU的支持，从而可以充分利用GPU的强大计算能力来加速AI模型的训练和推理。
在加速计算基础设施上执行
NeMo可以在任何加速计算基础设施上执行，从而使组织能够利用GPU和其他专用硬件的强大功能来优化其AI代理的性能。这确保了AI代理可以轻松处理复杂的任务和大型数据集。
加速计算基础设施可以显著提高AI模型的训练和推理速度。Nvidia GPU是加速计算的理想选择，因为它们具有强大的并行计算能力。NeMo平台可以充分利用GPU的优势，从而可以更快地训练和部署AI模型。
实际应用
NeMo平台旨在支持跨各个行业的广泛应用。大型企业可以构建数百个具有不同功能的AI代理，例如自动欺诈检测、购物助手、预测性机器维护和文档审查。
AT&T的实施
AT&T已与Arize和Quantiphi合作，利用NeMo开发一种高级AI代理，该代理能够处理每周更新的近10,000个企业知识文档。通过结合NeMo Customizer和Evaluator，AT&T已对Mistral 7B进行了微调，以实现个性化的客户服务、欺诈预防和网络性能优化。此实施使整体AI响应准确率提高了40%。
AT&T的案例展示了NeMo平台在实际应用中的强大能力。通过利用NeMo的各种组件，AT&T可以构建更加智能和高效的AI代理，从而提高客户满意度、降低运营成本和提高网络性能。
开源模型支持和集成
NeMo微服务支持各种流行的开源模型，包括Llama、Microsoft Phi、Google Gemma、Mistral和Llama Nemotron Ultra。这使开发人员能够利用最佳的可用AI模型并对其进行自定义以满足其特定需求。
NeMo平台对开源模型的支持使得开发人员可以轻松地集成现有的AI模型到NeMo生态系统中。这大大降低了开发成本和时间，并提高了AI解决方案的灵活性和可扩展性。
Meta的集成
Meta已通过将连接器添加到Llamastack来集成NeMo。此集成使开发人员能够将NeMo的功能无缝地集成到其现有的AI工作流程中。
Meta的集成展示了NeMo平台与其他AI生态系统的互操作性。通过与其他平台的集成，NeMo可以更好地服务于开发人员，并促进AI技术的普及和应用。
AI软件提供商集成
AI软件提供商（例如Cloudera，Datadog，Dataiku，DataRobot，DataStax，SuperAnnotate和Weights＆Biases）已将NeMo集成到其平台中。这种广泛的集成使NeMo可以被广泛的开发人员和组织使用。
AI软件提供商的集成进一步扩大了NeMo平台的影响力。通过与这些平台的集成，NeMo可以更容易地被开发人员使用，并促进AI技术的创新和应用。NeMo平台正在成为AI开发领域的一个重要组成部分。