我们很高兴再次参加Build大会,每年都有这样一个特别的时刻来与全球开发者社区交流。分享我们一直在努力的事情,并了解开发者如何使用微软平台构建下一代创新技术,这令人振奋不已。
在微软,我们相信人工智能的未来正在云端、边缘和Windows上构建。Windows现在是,并且将来仍然是一个开放的平台,它赋予开发者完成最佳工作的能力,并提供极致的灵活性。
我们的北极星很明确:让Windows成为最适合开发者的平台,专为人工智能的新时代而打造,在这个时代,智能被集成到软件、芯片和硬件中。从在客户端上使用Windows 11到在云中使用Windows 365,我们正在构建一个支持广泛场景的平台,从人工智能开发到核心IT工作流程,所有这些都以安全第一为原则。
在过去的一年中,我们花时间倾听开发者的意见,了解他们最看重的东西,以及我们有机会继续使Windows成为更好的开发环境的地方,特别是在人工智能开发的时代。这些反馈塑造了我们对Windows开发者平台的看法以及我们今天介绍的更新。
Build大会上Windows的新功能:
Windows AI Foundry是Windows Copilot Runtime的演进,它提供了一个统一且可靠的平台,支持从模型选择、优化、微调到跨客户端和云的部署的人工智能开发生命周期。Windows AI Foundry包括以下几种能力:
Windows ML是人工智能平台的基础,也是Windows上内置的人工智能推理运行时。这使开发者能够自带模型,并在包括AMD、英特尔、英伟达和高通在内的芯片合作伙伴生态系统中高效地部署这些模型,从而覆盖CPU、GPU和NPU。
Windows AI Foundry集成了Foundry Local和其他模型目录,如Ollama和NVIDIA NIMs,从而为开发者提供对各种Windows芯片上现成的开源模型的快速访问。这使开发者能够在其本地应用中浏览、测试、交互和部署模型。
此外,Windows AI Foundry还提供了由Copilot+ PC上的Windows内置模型驱动的现成可用的AI API,用于关键的语言和视觉任务,例如文本智能、图像描述、文本识别、自定义提示和对象擦除。我们正在宣布一些新功能,例如LoRA (low-rank-adaption),用于使用自定义数据微调我们的内置SLM Phi Silica。我们还在宣布用于语义搜索和知识检索的新的API,以便开发者可以使用其自定义数据在其应用程序中构建自然语言搜索和RAG(检索增强生成)场景。
通过对模型上下文协议(MCP)的原生支持,为未来的Agentic环境发展Windows 11。MCP与Windows的集成将为AI代理提供一个标准化的框架来连接到原生Windows应用程序,使应用程序能够无缝地参与到Agentic交互中。Windows应用程序可以公开特定的功能,以增强安装在Windows PC上的代理的技能和能力。在接下来的几个月中,我们将与选定的合作伙伴一起提供一个私有开发者预览版,以开始收集反馈。
Windows上的应用程序操作,这是一种新的应用程序开发者功能,可以为应用程序中的特定功能构建操作并提高可发现性,从而为开发者解锁新的入口点以吸引新用户。
新的Windows安全功能,如基于虚拟化的安全(VBS)Enclave SDK和后量子密码学(PQC),为开发者提供了额外的工具,使他们能够随着威胁形势的不断演变,更轻松地开发安全解决方案。
Windows Subsystem for Linux (WSL) 开源,邀请开发者贡献、定制并帮助我们将Linux更无缝地集成到Windows中。
对流行的Windows开发者工具的新改进,包括终端、WinGet和PowerToys,使开发者能够提高生产力并专注于他们最擅长的事情——编码。
新的Microsoft Store增长功能,现在包括免费开发者注册、用于Win32应用程序的Web Installer、分析报告、应用程序推广计划等等,以帮助应用程序开发者增加在Windows上的用户获取、发现和参与度。
Windows AI Foundry
我们希望 democratize 开发者构建、实验和通过突破性人工智能体验接触用户的能力。我们从刚刚开始人工智能开发的开发者那里听说,他们更喜欢现成的解决方案,用于特定任务能力,以加速人工智能在应用程序中的集成。开发者还告诉我们,他们需要一种简单的方法来浏览、测试和集成其应用程序中的开源模型。构建自己的高级模型的开发者告诉我们,他们更喜欢快速且功能强大的解决方案,以便跨各种芯片高效地部署模型。为了满足各种开发需求,我们开发了Windows Copilot Runtime,使其成为Windows AI Foundry,它提供了许多强大的功能。
开发者可以更轻松地访问现成的开源模型
Windows AI Foundry集成了Foundry Local和其他模型目录,如Ollama和NVIDIA NIMs,从而为开发者提供对各种Windows芯片上现成的开源模型的快速访问。通过Foundry Local模型目录,我们已经完成了跨CPU、GPU和NPU优化这些模型的繁重工作,使其可以立即使用。
在预览期间,开发者可以通过从WinGet安装(winget install Microsoft.FoundryLocal)和Foundry Local CLI来访问Foundry Local,以浏览、下载和测试模型。Foundry Local将自动检测设备硬件(CPU、GPU和NPU),并列出开发者可以尝试的兼容模型。开发者还可以利用Foundry Local SDK轻松地将Foundry Local集成到其应用程序中。在接下来的几个月中,我们将直接在Windows 11和Windows App SDK中提供这些功能,从而优化使用Foundry Local发布生产应用程序的开发者体验。
虽然我们提供现成的开源模型,但我们有越来越多的开发者正在构建自己的模型,并为最终用户带来突破性的体验。 Windows ML是人工智能平台的基础,也是内置的人工智能推理运行时,可在CPU、GPU和NPU上简化并高效地部署模型。
Windows ML是在Windows中直接构建的高性能本地推理运行时,可以简化开源或专有模型(包括我们自己的Copilot+ PC体验)的生产应用程序的运输。它从一开始就被构建为针对模型性能和敏捷性进行优化,并响应模型架构、运算符和跨堆栈所有层的优化的创新速度。Windows ML是基于我们过去一年的经验教训(倾听众多开发者、我们的芯片合作伙伴以及我们自己的团队开发 Copilot+ PC的人工智能体验的反馈)的DirectML (DML) 的演变。Windows ML旨在考虑到这些反馈,从而使我们的芯片合作伙伴(AMD、英特尔、英伟达、高通)能够利用执行提供程序合同来优化模型性能,并与创新步伐保持一致。
Windows ML提供了以下几个好处:
简化部署:使开发者能够发布生产应用程序,而无需将ML运行时、硬件执行提供程序或驱动程序与其应用程序打包在一起。Windows ML检测客户端设备上的硬件,提取相应的执行提供程序,并根据开发者提供的配置选择用于推理的正确执行提供程序。
**自动适应未来几代人工智能硬件:**Windows ML使开发者能够在快速发展的芯片生态系统中自信地构建人工智能应用程序。随着新硬件的推出,Windows ML会使所有必需的依赖项保持最新,并适应新芯片,同时保持模型准确性和硬件兼容性。
**准备和发布高性能模型的工具:**AI Toolkit for VS Code 中包含的用于各种任务(从模型转换、量化到优化)的强大工具简化了准备和发布高性能模型的过程。
我们正在与所有芯片合作伙伴(AMD、英特尔、英伟达、高通)紧密合作,以将其执行提供程序与Windows ML无缝集成,从而为其特定芯片提供最佳模型性能。
许多应用程序开发人员(如Adobe、Bufferzone、McAfee、Reincubate、Topaz Labs、Powder和Wondershare)已经与我们合作,利用Windows ML跨AMD、英特尔、英伟达和高通芯片部署模型。要了解有关Windows ML的更多信息,请访问此博客。
使用由Windows内置模型提供支持的API快速轻松地集成人工智能
我们正在提供由Windows内置模型提供支持的现成可用的人工智能API,用于关键任务,例如文本智能和图像处理。这些包括语言 API(如文本摘要和重写)和视觉 API(如图像描述、文本识别 (OCR)、图像超分辨率和图像分割),所有这些都在Windows App SDK 1.7.2的最新版本中以稳定版本提供。这些API消除了模型构建或部署的开销。这些API在设备本地运行,有助于以零额外成本提供隐私、安全性和合规性,并且针对Copilot+ PC上的NPU进行了优化。应用程序开发人员(如Dot Vista、Wondershare的Filmora、开发者的Pieces、Powder、iQIYI等)已经在其应用程序中利用我们的现成可用的人工智能API。
我们还从开发者那里了解到,他们需要使用其自定义数据微调LLM,以获得特定场景所需的输出。许多人还表示,微调基本模型是一项艰巨的任务。这就是我们宣布为Phi Silica提供LoRA(low-rank-adaption)支持的原因。
引入LoRA(low-rank-adaption) for Phi Silica使用自定义数据微调我们的内置SLM
LoRA通过仅使用自定义数据更新模型的一小部分参数来提高微调效率。这允许提高所需任务的性能,而不会影响模型的整体能力。这从今天开始在 Snapdragon X 系列 NPU 上公开预览,并将在未来几个月内用于 Intel 和 AMD Copilot+ PC。开发者可以在Windows App SDK 1.8 Experimental 2 中访问 Phi Silica 的 LoRA。
开发者可以通过 AI Toolkit for VS Code 开始使用 Phi Silica 的 LoRA 训练。选择微调工具、选择 Phi Silica 模型、配置项目并在 Azure 中启动使用自定义数据集的训练。训练完成后,开发人员可以下载 LoRA 适配器,将其用于 Phi Silica API 之上并进行实验,以了解使用 LoRA 适配器和不使用 LoRA 适配器的响应差异。
介绍用于LLM的语义搜索和知识检索
我们正在引入新的语义搜索API,以帮助开发者使用自己的应用程序数据创建强大的搜索体验。这些API为语义搜索(按含义搜索,包括图像搜索)和词汇搜索(按确切的单词搜索)提供支持,从而使用户能够以更直观和灵活的方式找到他们需要的内容。
这些搜索API在所有设备类型上本地运行,并提供无缝的性能和隐私。在Copilot+ PC上,语义功能已启用,可获得优质体验。
除了传统的搜索之外,这些API还支持RAG(检索增强生成),使开发者可以使用其自己的自定义数据来支持LLM输出。
这些API目前以私有预览版提供。
总之,Windows AI Foundry为开发者提供了许多功能,可以满足他们人工智能旅程的需求。它提供由内置模型提供支持的现成可用API、用于自定义Windows内置模型的工具以及高性能的推理运行时,以帮助开发者交付自己的模型并将其部署到芯片上。通过Foundry Local集成到Windows AI Foundry中,开发者还可以访问丰富的开源模型目录。
Windows AI Foundry ISV 采用
我们很高兴能庆祝我们今天在 Windows 11 上使用设备上人工智能构建体验的令人难以置信的开发者社区,并且我们迫不及待地想看看开发者将使用 Windows AI Foundry 提供的这些丰富功能构建哪些其他内容。
引入用于为 Windows 11 上的 Agentic 生态系统提供支持的本机模型上下文协议 (MCP) 支持
随着世界朝着 Agentic 未来发展,Windows 正在发展,以提供工具、功能和安全范例,供代理在其中运行并增强他们的技能,从而为客户提供有意义的价值。
Windows 上的 MCP 平台将为 AI 代理提供一个标准化的框架来连接到本机 Windows 应用程序,这些应用程序可以公开特定的功能来增强 Windows 11 PC 上那些代理的技能和能力。此基础架构将在未来几个月内与选定的合作伙伴一起提供一个私有开发人员预览版,以开始收集反馈。
**安全和隐私第一:**通过新的 MCP 功能,我们认识到,随着我们继续扩展 MCP 和其他 Agentic 功能,我们将不断学习,而我们的首要任务是确保我们建立在一个安全的基础之上。以下是一些指导我们负责任地在Windows 11上开发MCP的原则:
我们致力于使Windows的MCP注册表成为一个值得信赖的MCP服务器生态系统,该生态系统符合强大的安全基准标准。
用户控制是我们在开发此集成时的指导原则。默认情况下,代理对MCP服务器的访问已关闭。启用后,代理代表用户执行的所有敏感操作都将是可审核且透明的。
MCP服务器访问将遵循最低特权原则进行管理,该原则通过声明性功能和隔离(如果适用)来强制执行,从而确保用户可以控制授予MCP服务器的特权,并有助于限制对任何特定服务器的任何攻击的影响。
安全不是一次性功能,而是一种持续的承诺。随着我们扩展MCP和其他Agentic功能,我们将继续发展我们的防御。要了解有关安全方法的更多信息,请访问保护模型上下文协议:在Windows上构建安全的 Agentic 未来。
我们正在Windows上的MCP平台中引入以下组件:
**Windows的 MCP 注册表:**这是使AI代理可以在Windows访问MCP服务器的单一、安全且值得信赖的来源。代理可以通过Windows的MCP注册表发现客户端设备上安装的MCP服务器,利用他们的专业知识并为最终用户提供有意义的价值。
**Windows的 MCP 服务器:**这将包括Windows系统功能,如文件系统、窗口和Windows Subsystem for Linux,作为代理进行交互的MCP服务器。
开发人员可以将应用程序中的所需功能和功能包装为MCP服务器,并通过Windows的MCP注册表使其可用。我们正在引入Windows上的应用程序操作,这是一种新的开发人员功能,它也可以作为内置的MCP服务器使用,使应用程序能够向代理提供其功能。
Windows上MCP架构
我们正在与应用程序开发人员(如Anthropic、Perplexity、OpenAI和Figma)合作构建此平台,这些开发人员正在为Windows上的应用程序集成其MCP功能。
正如Anthropic战略联盟主管Rich O’Connell所分享的那样,“我们很高兴看到对模型上下文协议的持续采用,以及由流行的服务和社区构建的蓬勃发展的集成生态系统。LLM受益于连接到您的数据和工具世界,并且我们希望看到用户通过将 Claude 连接到Windows所体验到的价值。”
Perplexity的联合创始人兼首席执行官Aravind Srinivas分享说:“在Perplexity,与Microsoft一样,我们专注于真正有用的值得信赖的体验。Windows中的MCP将辅助AI体验带到了世界上最具影响力的操作系统之一。”
OpenAI的首席产品官Kevin Weil分享说:“我们很高兴看到Windows通过采用模型上下文协议来拥抱AI代理体验。这为ChatGPT无缝连接到用户每天使用的Windows工具和服务铺平了道路。我们期待授权开发者和用户通过此集成创建强大的、上下文丰富的体验。”
这些早期合作为我们致力于保持Windows作为开放平台并为agentic未来发展它奠定了基础。MCP背后的动力为开发者提供了增加应用程序发现和参与度的绝佳机会。
推出了 Windows 应用操作,这是一项开发者增加其应用的可发现性的新功能
我们从开发者那里了解到,让用户对他们的应用保持印象,并提高使用率对于他们的增长至关重要。我们自己就是一家开发者公司,因此我们深刻理解这个核心需求。因此,我们推出了 Windows 应用操作。应用操作 为开发者提供了一项新功能,用于增加其应用的功能的可发现性,从而为开发者解锁新的入口点,以吸引新用户。
目前,各行各业(包括生产力、创造力与沟通)的领先应用都在使用应用操作,以解锁新的参与界面。Zoom、Filmora、Goodnotes、Todoist、Raycast、开发者的 Pieces 和 Spark Mailare 是第一批加入此功能的开发者。
开发者可以使用:
应用操作 API 为其所需的功能创作操作。开发者还可以使用其他相关应用开发的操作,以提供互补功能,从而增加他们在应用中的互动时间。开发者可以通过 Windows SDK 10.0.26100.4188 或更高版本访问这些 API。
应用操作测试环境 测试其应用操作的功能和用户体验。开发者可以通过 Microsoft Store 下载测试工具。
用于满足高计算量和本地推理工作负载需求的强大 AI 开发者工作站
构建高计算量 AI 工作负载的开发者告诉我们,他们不仅需要可靠的软件,还需要强大的硬件来支持本地 AI 开发。我们已经与一系列 OEM 和芯片合作伙伴合作,以提供强大的 AI 开发者工作站。
类似于戴尔、惠普和联想的 OEM 合作伙伴提供了一系列基于 Windows 的系统,以在硬件规格和预算方面提供灵活性。The Dell Pro Max Towe 提供令人印象深刻的硬件规格,以实现强大的性能,这是在 GPU 或 CPU 上进行 AI 模型演绎以及进行本地模型微调的绝佳选择。为了实现具有空间效率的处理能力,HP Z2 Mini G1a 是一款功能强大的迷你工作站。新款 Dell Pro Max 16 Premium、HP Zbook Ultra G1a 和联想 P14s/P16s 均为 Copilot+ PC,为开发者提供令人难以置信的移动性。
Windows 平台安全的新功能
推出适用于安全计算需求的 VBS Enclave SDK(预览版)
安全是 Microsoft 在创新和所做一切工作的最前沿。在人工智能时代,越来越多的应用程序需要保护其数据免受恶意软件甚至恶意用户和管理员的攻击。2024 年,我们推出了基于虚拟化的安全 (VBS) Enclave 技术,以提供一个可信执行环境,应用程序可以在其中执行安全计算 (包括密码运算),从而防止管理级别的攻击。这与保护我们在 Copilot+ PC 上的 Recall 经验的基础相同。我们现在正在使开发人员可以使用此安全基础功能。VBS Enclave SDK 现在可用于公开发布预览版,其中包括一组可通过更自然的体验进行编程的安全区域的库和工具,开发者可以在此处克隆存储库。
它从创建 API 投影层的工具开始。开发人员现在可以定义主机应用程序与安全区域之间的接口,而该工具会完成所有繁琐的工作,以验证参数并处理内存管理和安全检查。这允许开发者专注于他们的业务逻辑,而安全区域则保护参数、数据和内存。此外,这些库使开发者可以轻松处理常见任务,例如安全区域创建、加密和解密数据、管理线程池和报告遥测。
后量子密码学进入 Windows Insiders 和 Linux
我们之前讨论过量子计算的进步带来的安全挑战,并已采取措施来为整个行业的量子安全性做出贡献,包括将 PQC 算法添加到我们的核心加密库 SymCrypt。
我们将很快为 Windows Insiders 和 Linux(SymCrypt-OpenSSL 1.9.0 版)提供 PQC 功能。此集成是使开发人员能够在他们的环境中试验 PQC 并评估与现有安全系统的兼容性、性能和集成的重要第一步。提前访问 PQC 功能有助于安全团队识别挑战、优化策略并在行业标准不断发展时简化转换。通过主动解决当前密码标准的安全问题,我们正在努力为实现量子利益并降低安全风险的数字未来铺平道路。
旨在使每位开发者能够在 Windows 11 上提高工作效率的新体验
Windows Subsystem for Linux (WSL) 通过使同时运行 Windows 和 Linux 工作负载变得容易,从而为 Windows 上的 AI 开发提供了一个强大的平台。开发者可以轻松地通过 Windows 和 Linux 环境共享文件、GUI 应用程序、GPU 等,而无需其他设置。
宣布 Windows Subsystem for Linux 现在已开源
我们很高兴地宣布我们要开源 Windows Subsystem for Linux。通过这个,我们将开放创建和支持 WSL 发行版背后虚拟机,并将其与 Windows 功能和资源集成的代码,以供社区贡献。这将解锁新的性能和可扩展性增益。这是对开发者社区的公开邀请,可帮助我们将 Linux 更无缝地集成到 Windows 中,并使 Windows 成为现代跨平台开发的首选平台。
事实上,回顾一下,开源 WSL 是在该存储库中提交的第一个问题。当时,该项目的所有逻辑都无法与 Windows 映像本身分离,但从那时起,我们已对 WSL 2 发行版进行了更改,并将 WSL 作为其自己的独立应用程序提供。有了它,我们就可以关闭第一个请求!感谢出色的 WSL 社区提供的所有反馈、想法和努力。
对流行的 Windows 开发者工具进行的新改进
我们知道构建优秀的 AI 体验始于开发者的生产力,从更快地设置设备和环境到在一个地方获得所有需要的工具。因此,我们将宣布对流行的 Windows 开发者工具(如 WinGet、PowerToys 和终端)进行改进。
通过 WinGet Configuration 更快地准备好代码
开发者可以使用单个可靠的 WinGet Configure 命令轻松地设置和复制开发环境。开发者现在可以将他们的设备的当前状态(包括他们的应用程序、软件包和工具 (在配置的 WinGet 来源中提供))捕获到 WinGet Configuration 文件中。WinGet Configuration 现在已更新为支持 Microsoft DSC V3。 如果安装的应用程序和软件包已启用 DSC V3,则应用程序的设置也将包含在生成的配置文件中。它将于下个月全面上市。请访问 winget-dsc GitHub 存储库,了解更多信息。
推出高级 Windows 设置以帮助开发者控制和个性化他们的 Windows 体验
由于隐藏或晦涩的设置,开发者和高级用户经常面临自定义 Windows 以满足其独特需求的挑战。高级 Windows 设置允许开发者轻松控制和个性化他们的 Windows 体验。他们只需点击几下就可访问和配置强大的高级设置,所有这些都来自 Windows 设置中的一个中心位置。其中包括强大的设置,如通过 GitHub 版本控制详细信息启用文件资源管理器。这将很快在预览版中提供给 Windows Insider 计划。
高级 Windows 设置
在 PowerToys 中推出命令调色板
命令调色板是 PowerToys Run 的下一个发展,使开发者能够通过提供一种易于访问其所有常用命令、应用程序和工作流的方式来减少其上下文切换工作。它是可自定义、完全可扩展且高性能的,从而使开发者能够有效地管理与其喜爱工具的交互。它现在已全面上市。
Edit,Windows 上的新命令行文本编辑器
我们推出了 Windows 上的命令行文本编辑器 Edit,可以通过在命令行中运行“edit”来访问它。这使开发者能够直接在命令行中编辑文件,保持在他们当前的工作流程中并最大限度地减少上下文切换。它目前是开源的,将在未来几个月内以预览版形式在 Windows Insider 计划中提供。转到 GitHub 存储库 了解更多信息。
Microsoft Store:应用开发者的战略增长机会
Microsoft Store 是一种安全且可扩展的 Windows 应用分发渠道。Store 拥有超过 2.5 亿的月活跃用户和一个迅速扩展的目录 — 包括最近添加的 ChatGPT、Perplexity、Fantastical、Day One、Docker 和即将推出的 Notion — 成为 Windows 上规模最大的应用市场。并且,通过重新构思的 AI 中心,我们正在使 Windows 上的 Microsoft Store 成为人们发现如何在他们的设备上利用 AI 的 go-to 目的地。对于那些拥有 Copilot+ PC 的人,我们推出了新的 AI 中心体验和 AI 徽章,以突出 Windows 和开发者生态系统的体验。
今天,我们将为开发者推出令人激动的新功能:
面向个人开发者的免费帐户注册 — 使每个人都可以比以往更轻松地发布应用。
Microsoft Store FastTrack,一项面向符合条件的公司提交他们的第一个 Win32 应用的新免费预览计划。
应用活动(App Campaigns)公开测试版,这是一项新的开发者计划