Мы рады снова принять участие в конференции Build, что стало особенным моментом, в течение которого можно общаться с глобальным сообществом разработчиков. Это действительно захватывающе - поделиться тем, над чем мы работали, и узнать, как разработчики используют платформы Microsoft для создания инновационных технологий следующего поколения.
В Microsoft мы верим, что будущее искусственного интеллекта строится в облаке, на границе и на Windows. Windows была, есть и будет открытой платформой, которая дает разработчикам возможность выполнять свою работу наилучшим образом и предлагать максимальную гибкость.
Наша путеводная звезда ясна: сделать Windows лучшей платформой для разработчиков, созданной для новой эры искусственного интеллекта, в которой интеллект интегрирован в программное обеспечение, чипы и оборудование. От использования Windows 11 на стороне клиента до использования Windows 365 в облаке, мы создаем платформу, поддерживающую широкий спектр сценариев, от разработки искусственного интеллекта до основных ИТ-процессов, и все это с приоритетом безопасности.
В течение последнего года мы потратили время, слушая разработчиков, выясняя, что для них наиболее важно и где у нас есть возможность продолжать делать Windows лучшей средой разработки, особенно в эпоху разработки искусственного интеллекта. Эти отзывы сформировали наш взгляд на платформу разработчиков Windows и те обновления, которые мы представляем сегодня.
Новые возможности Windows на конференции Build:
Windows AI Foundry - это эволюция Windows Copilot Runtime, которая предоставляет унифицированную и надежную платформу, поддерживающую жизненный цикл разработки искусственного интеллекта от выбора модели, оптимизации, точной настройки до развертывания на клиентах и в облаке. Windows AI Foundry включает в себя следующие возможности:
Windows ML является основой платформы искусственного интеллекта и встроенной средой выполнения искусственного интеллекта на Windows. Это позволяет разработчикам приносить свои собственные модели и эффективно развертывать эти модели по всей экосистеме партнеров по чипам, включая AMD, Intel, NVIDIA и Qualcomm, охватывая CPU, GPU и NPU.
Windows AI Foundry интегрирует Foundry Local и другие каталоги моделей, такие как Ollama и NVIDIA NIMs, предоставляя разработчикам быстрый доступ к широкому спектру готовых моделей с открытым исходным кодом на различных чипах Windows. Это позволяет разработчикам просматривать, тестировать, взаимодействовать и развертывать модели в своих локальных приложениях.
Кроме того, Windows AI Foundry предоставляет готовые к использованию AI API, работающие на встроенных моделях Windows на Copilot+ PC, для ключевых задач языка и зрения, таких как текстовый интеллект, описание изображений, распознавание текста, пользовательские подсказки и удаление объектов. Мы объявляем о новых функциях, таких как LoRA (low-rank-adaption) для тонкой настройки нашего встроенного SLM Phi Silica с использованием пользовательских данных. Мы также объявляем о новых API для семантического поиска и получения знаний, чтобы разработчики могли использовать свои пользовательские данные для создания поиска на естественном языке и сценариевRAG (генерация с расширенным извлечением) в своих приложениях.
Развитие Windows 11 для будущей среды Agentic с помощью собственной поддержки Model Context Protocol (MCP). Интеграция MCP с Windows предоставит AI-агентам стандартизированную структуру для подключения к собственным приложениям Windows, позволяя приложениям беспрепятственно участвовать во взаимодействиях Agentic. Приложения Windows могут раскрывать определенные функции для расширения навыков и возможностей агентов, установленных на Windows PC. В ближайшие месяцы мы предоставим частную предварительную версию для разработчиков с избранными партнерами, чтобы начать сбор отзывов.
Application Actions on Windows, новая функция для разработчиков приложений, которая позволяет создавать действия для определенных функций в приложениях и повышать их обнаруживаемость, таким образом, открывая новые точки входа для разработчиков для привлечения новых пользователей.
Новые функции безопасности Windows, такие как виртуализированная безопасность (VBS) Enclave SDK и постквантовая криптография (PQC), предоставляют разработчикам дополнительные инструменты, которые облегчают разработку безопасных решений по мере развития ситуации с угрозами.
Открытие исходного кода Windows Subsystem for Linux (WSL), приглашает разработчиков вносить вклад, настраивать и помогать нам беспрепятственно интегрировать Linux в Windows.
Новые улучшения популярных инструментов Windows для разработчиков, включая Terminal, WinGet и PowerToys, позволяют разработчикам повысить производительность и сосредоточиться на том, что у них получается лучше всего - кодировании.
Новые функции роста Microsoft Store, теперь включают бесплатную регистрацию для разработчиков, Web Installer для приложений Win32, аналитические отчеты, программу продвижения приложений и многое другое, чтобы помочь разработчикам приложений увеличить привлечение, обнаружение и вовлечение пользователей в Windows.
Windows AI Foundry
Мы хотим демократизировать возможность для разработчиков создавать, экспериментировать и охватывать пользователей с помощью прорывных технологий искусственного интеллекта. Мы услышали от разработчиков, которые только начинают разработку искусственного интеллекта, что они предпочитают готовые решения для определенных задач, чтобы ускорить интеграцию искусственного интеллекта в приложения. Разработчики также сказали нам, что им нужен простой способ просматривать, тестировать и интегрировать модели с открытым исходным кодом в свои приложения. Разработчики, создающие свои собственные расширенные модели, сказали нам, что они предпочитают быстрое и мощное решение для эффективного развертывания моделей на различных чипах. Чтобы удовлетворить различные потребности разработчиков, мы разработали Windows Copilot Runtime, чтобы сделать его Windows AI Foundry, который предлагает множество мощных функций.
Разработчики могут легче получить доступ к готовым моделям с открытым исходным кодом
Windows AI Foundry интегрирует Foundry Local и другие каталоги моделей, такие как Ollama и NVIDIA NIMs, предоставляя разработчикам быстрый доступ к широкому спектру готовых моделей с открытым исходным кодом на различных чипах Windows. Через каталог моделей Foundry Local мы уже проделали тяжелую работу по оптимизации этих моделей для CPU, GPU и NPU, делая их готовыми к немедленному использованию.
Во время предварительного просмотра разработчики могут получить доступ к Foundry Local, установив его из WinGet (winget install Microsoft.FoundryLocal) и Foundry Local CLI для просмотра, загрузки и тестирования моделей. Foundry Local автоматически определяет аппаратное обеспечение устройства (CPU, GPU и NPU) и перечисляет совместимые модели, которые разработчики могут попробовать. Разработчики также могут использовать Foundry Local SDK для легкой интеграции Foundry Local в свои приложения. В ближайшие месяцы мы предоставим эти функции непосредственно в Windows 11 и Windows App SDK, чтобы оптимизировать опыт разработчиков, использующих Foundry Local для публикации производственных приложений.
Хотя мы предлагаем готовые модели с открытым исходным кодом, у нас растет число разработчиков, создающих свои собственные модели и предоставляющих конечным пользователям прорывные возможности. Windows ML является основой платформы искусственного интеллекта и встроенной средой выполнения искусственного интеллекта, которая упрощает и эффективно развертывает модели на CPU, GPU и NPU.
Windows ML - это высокопроизводительная локальная среда выполнения умозаключений, встроенная непосредственно в Windows, которая может упростить транспортировку производственных приложений с открытым исходным кодом или проприетарных моделей, включая наш собственный опыт Copilot+ PC. Она была построена с самого начала для оптимизации производительности и гибкости модели и реагирует на скорость инноваций в архитектурах моделей, операторах и оптимизации во всех слоях стека. Windows ML является эволюцией DirectML (DML), основанной на наших уроках за последний год - прослушивании многочисленных разработчиков, наших партнеров по чипам и нашей собственной команды, разрабатывающей опыт искусственного интеллекта Copilot+ PC. Windows ML предназначен для учета этих отзывов, позволяянашим партнерам по чипам (AMD, Intel, NVIDIA, Qualcomm) использовать контракты поставщиков выполнения для оптимизации производительности модели и соответствия темпам инноваций.
Windows ML предлагает несколько преимуществ:
Упрощенное развертывание: позволяет разработчикам публиковать производственные приложения без необходимости упаковывать ML runtime, поставщиков выполнения оборудования или драйверы со своим приложением. Windows ML обнаруживает оборудование на клиентском устройстве, извлекает соответствующего поставщика выполнения и выбирает правильного поставщика выполнения для умозаключения на основе конфигурации, предоставленной разработчиком.
Автоматическая адаптация к будущим поколениям аппаратного обеспечения искусственного интеллекта: Windows ML позволяет разработчикам с уверенностью создавать приложения искусственного интеллекта в быстро развивающейся экосистеме чипов. По мере появления нового оборудования Windows ML поддерживает все необходимые зависимости в актуальном состоянии и адаптируется к новым чипам, сохраняя при этом точность модели и совместимость с оборудованием.
Инструменты для подготовки и публикации высокопроизводительных моделей: мощные инструменты для различных задач, от преобразования модели, квантования до оптимизации, входящие в состав AI Toolkit for VS Code, упрощают процесс подготовки и публикации высокопроизводительных моделей.
Мы тесно сотрудничаем со всеми партнерами по чипам (AMD, Intel, NVIDIA, Qualcomm), чтобы беспрепятственно интегрировать их поставщиков выполнения с Windows ML, обеспечивая тем самым оптимальную производительность модели для их конкретного чипа.
Многие разработчики приложений, такие как Adobe, Bufferzone, McAfee, Reincubate, Topaz Labs, Powder и Wondershare, уже сотрудничают с нами для использования Windows ML для развертывания моделей на чипах AMD, Intel, NVIDIA и Qualcomm. Чтобы узнать больше о Windows ML, посетите этот блог.
Быстрая и легкая интеграция искусственного интеллекта с использованием API, работающих на встроенных моделях Windows
Мы предоставляем готовые к использованию API искусственного интеллекта, работающие на встроенных моделях Windows, для ключевых задач, таких как текстовый интеллект и обработка изображений. К ним относятся языковые API (такие как обобщение текста и перефразировка) и визуальные API (такие как описание изображений, распознавание текста (OCR), суперразрешение изображений и сегментация изображений), все из которых доступны в стабильной версии в последней версии Windows App SDK 1.7.2. Эти API устраняют накладные расходы на создание или развертывание модели. Эти API работают локально на устройстве, помогая обеспечить конфиденциальность, безопасность и соответствие требованиям без дополнительных затрат и оптимизированы для NPU на Copilot+ PC. Разработчики приложений, такие как Dot Vista, Filmora от Wondershare, Pieces от разработчиков, Powder, iQIYI и другие, уже используют наши готовые к использованию API искусственного интеллекта в своих приложениях.
Мы также узнали от разработчиков, что им необходимо тонко настроить LLM с использованием своих пользовательских данных, чтобы получить желаемый результат для определенных сценариев. Многие также выразили, что тонкая настройка базовых моделей является сложной задачей. Вот почему мы объявляем о поддержке LoRA (low-rank-adaption) для Phi Silica.
Представляем LoRA (low-rank-adaption) для Phi Silica для тонкой настройки нашего встроенного SLM с использованием пользовательских данных
LoRA повышает эффективность тонкой настройки за счет обновления лишь небольшой части параметров модели с использованием пользовательских данных. Это позволяет повысить производительность для необходимых задач, не влияя на общую емкость модели. Это доступно в общедоступной предварительной версии на Snapdragon X Series NPU с сегодняшнего дня и будет доступно для Intel и AMD Copilot+ PC в ближайшие месяцы. Разработчики могут получить доступ к LoRA для Phi Silica в Windows App SDK 1.8 Experimental 2.
Разработчики могут начать обучение с LoRA для Phi Silica через AI Toolkit for VS Code. Выберите инструмент тонкой настройки, выберите модель Phi Silica, настройте проект и запустите обучение с использованием пользовательского набора данных в Azure. После завершения обучения разработчики могут загрузить адаптер LoRA, использовать его поверх API Phi Silica и экспериментировать, чтобы увидеть разницу в ответах с адаптером LoRA и без него.
Представляем семантический поиск и поиск знаний для LLM
Мы представляем новые API семантического поиска, чтобы помочь разработчикам создавать мощные возможности поиска с использованием своих собственных данных приложений. Эти API обеспечивают поддержку как семантического поиска (поиск по смыслу, в том числе поиск изображений), так и лексического поиска (поиск по точным словам), позволяя пользователям находить то, что им нужно, более интуитивно понятным и гибким способом.
Эти API работают локально на всех типах устройств и обеспечивают бесперебойную производительность и конфиденциальность. На Copilot+ PC семантические функции включены для обеспечения премиального опыта.
Помимо традиционного поиска, эти API также поддерживают RAG (генерацию с расширенным извлечением), позволяя разработчикам использовать свои собственные пользовательские данные для поддержки результатов LLM.
Эти API в настоящее время доступны в частной предварительной версии.
В целом, Windows AI Foundry предоставляет разработчикам множество функций для удовлетворения потребностей их путешествия по искусственному интеллекту. Он предоставляет готовые к использованию API, работающие на встроенных моделях, инструменты для настройки встроенных моделей Windows и высокопроизводительную среду выполнения умозаключений, помогающую разработчикам доставлять свои собственные модели и развертывать их на чипах. Благодаря интеграции Foundry Local в Windows AI Foundry разработчики также могут получить доступ к богатому каталогу моделей с открытым исходным кодом.
Принятие Windows AI Foundry ISV
Мы рады отметить невероятное сообщество разработчиков, которые сегодня создают опыт, основанный на искусственном интеллекте на устройствах в Windows 11, и нам не терпится увидеть, что еще разработчики создадут с помощью этих богатых функций, предоставляемых Windows AI Foundry.
Представляем собственную поддержку Model Context Protocol (MCP) для обеспечения поддержки экосистемы Agentic в Windows 11
По мере того, как мир движется к будущему Agentic, Windows развивается, чтобы предоставить инструменты, функции и безопасные парадигмы, в которых агенты могут работать и расширять свои навыки, предоставляя клиентам значимую ценность.
Платформа MCP в Windows предоставит AI-агентам стандартизированную структуру для подключения к собственным приложениям Windows, которые могут раскрывать определенные функции для расширения навыков и возможностей этих агентов на ПК с Windows 11. Эта инфраструктура будет доступна в частной предварительной версии для разработчиков с избранными партнерами в ближайшие месяцы, чтобы начать сбор обратной связи.
Безопасность и конфиденциальность прежде всего: благодаря новым функциям MCP мы понимаем, что, поскольку мы продолжаем расширять MCP и другие функции Agentic, мы будем постоянно учиться, и нашим главным приоритетом является обеспечение того, чтобы мы строили на безопасной основе. Ниже приведены некоторые принципы, которыми мы руководствуемся при ответственной разработке MCP в Windows 11:
Мы стремимся сделать реестр MCP Windows надежной экосистемой MCP-серверов, которая соответствует строгим стандартам безопасности.
Управление пользователем является нашим руководящим принципом при разработке этой интеграции. По умолчанию доступ агентов к MCP-серверам отключен. После включения все конфиденциальные действия, выполняемые агентами от имени пользователя, будут проверяемыми и прозрачными.
Доступ к MCP-серверу будет управляться в соответствии с принципом наименьших привилегий, который обеспечивается посредством декларативных возможностей и изоляции, где это применимо, гарантируя, что пользователи могут контролировать привилегии, предоставленные MCP-серверу, и помогая ограничить влияние любой атаки на любой конкретный сервер.
Безопасность - это не единовременная функция, а постоянное обязательство. По мере того, как мы расширяем MCP и другие функции Agentic, мы будем продолжать развивать нашу защиту. Чтобы узнать больше о методах безопасности, посетите Защита протокола контекста модели: построение безопасного будущего Agentic в Windows.
Мы представляем следующие компоненты в платформе MCP в Windows:
Реестр MCP Windows: это единый, безопасный и надежный источник, который позволяет AI-агентам получать доступ к MCP-серверам в Windows. Агенты могут обнаруживать MCP-серверы, установленные на клиентском устройстве, через реестр MCP Windows, используя свой опыт и предоставляя пользователям значимую ценность.
MCP-сервер Windows: он будет включать в себя системные функции Windows, такие как файловая система, окна и Windows Subsystem for Linux, в качестве MCP-серверов для взаимодействия агентов.
Разработчики могут упаковывать необходимые функции и возможности своих приложений в MCP-серверы и делать их доступными через реестр MCP Windows. Мы представляем Application Actions в Windows, новую функцию для разработчиков, которая также может использоваться в качестве встроенного MCP-сервера, что позволяет приложениям предоставлять свои возможности агентам.
Архитектура MCP в Windows
Мы сотрудничаем с разработчиками приложений, такими как Anthropic, Perplexity, OpenAI и Figma, в создании этой платформы, которые интегрируют свои функции MCP в приложения для Windows.
Как поделился Рич О’Коннелл, глава стратегических альянсов Anthropic: “Мы рады видеть постоянное внедрение протокола контекста модели и процветающую экосистему интеграции, созданную популярными сервисами и сообществом. LLM выигрывают от подключения к вашим данным и миру инструментов, и мы надеемся увидеть ценность, которую пользователи испытают, подключив Claude к Windows.“
Аравинд Сринивас, соучредитель и генеральный директор Perplexity, поделился: “В Perplexity, как и в Microsoft, мы сосредоточены на действительно полезном и надежном опыте. MCP в Windows выводит вспомогательный опыт искусственного интеллекта в одну из самых влиятельных операционных систем в мире.“
Кевин Вейл, главный директор по продуктам OpenAI, поделился: “Мы рады видеть, что Windows поддерживает опыт AI-агента, внедрив протокол контекста модели. Это открывает путь для ChatGPT для беспрепятственного подключения к инструментам и услугам Windows, которые пользователи используют каждый день. Мы надеемся предоставить разработчикам и пользователям возможность создавать мощные, контекстно-зависимые возможности с помощью этой интеграции.“
Эти ранние сотрудничества закладывают основу для нашей приверженности поддержанию Windows в качестве открытой платформы и развитию ее для будущего агентов. Мотивация MCP предоставляет разработчикам отличную возможность увеличить обнаружение и вовлечение приложений.
Представлены действия приложений Windows, новая функция для разработчиков, позволяющая увеличить обнаруживаемость их приложений
Мы узнали от разработчиков, что поддержание интереса пользователей к их приложениям и повышение использования имеют решающее значение для их роста. Мы сами являемся компанией-разработчиком, поэтому мы глубоко понимаем эту основную потребность. Поэтому мы представляем действия приложений Windows. Действия приложений предоставляют разработчикам новую функцию для увеличения обнаруживаемости функций их приложений, тем самым открывая новые точки входа для разработчиков для привлечения новых пользователей.
В настоящее время ведущие приложения в различных отраслях, включая производительность, творчество и общение, используют действия приложений, чтобы разблокировать новые интерфейсы взаимодействия. Zoom, Filmora, Goodnotes, Todoist, Raycast, Pieces от разработчиков и Spark Mailare - одни из первых разработчиков, присоединившихся к этой функции.
Разработчики могут использовать:
API actions для приложений для создания действий для необходимых функций. Разработчики также могут использовать действия, разработанные другими связанными приложениями, чтобы предоставить дополнительные функции, тем самым увеличивая время взаимодействия в своих приложениях. Разработчики могут получить доступ к этим API через Windows SDK 10.0.26100.4188 или более поздней версии.
Среда тестирования actions для приложений для тестирования функциональности и удобства использования actions для своих приложений. Разработчики могут загрузить тестовые инструменты через Microsoft Store.
Мощные рабочие станции для разработчиков искусственного интеллекта для удовлетворения потребностей высокопроизводительных вычислений и локального умозаключения
Разработчики, создающие высокопроизводительные вычислительные рабочие нагрузки искусственного интеллекта, сказали нам, что им нужно не только надежное программное обеспечение, но и мощное оборудование для поддержки локальной разработки искусственного интеллекта. Мы сотрудничали с рядом OEM-производителей и партнеров по чипам, чтобы предоставить мощные рабочие станции для разработчиков искусственного интеллекта.
Партнеры-производители OEM, такие как Dell, HP и Lenovo, предлагают ряд систем на базе Windows, обеспечивающих гибкость с точки зрения аппаратных характеристик и бюджета. Dell Pro Max Tower предлагает впечатляющие аппаратные характеристики для обеспечения высокой производительности, что является отличным выбором для проведения вычетов моделей искусственного интеллекта на графическом процессоре или ЦП, а также для проведения локальной тонкой настройки моделей. Для обеспечения возможности обработки с высокой пространственной эффективностью HP Z2 Mini G1a является мощной мини-рабочей станцией. Новые Dell Pro Max 16 Premium, HP Zbook Ultra G1a и Lenovo P14s/P16s - все это Copilot+ PC, предоставляющие разработчикам невероятную мобильность.
Новые функции безопасности платформы Windows
Представлен VBS Enclave SDK (предварительная версия) для безопасных вычислительных потребностей
Безопасность является приоритетом для Microsoft в инновациях и во всем, что мы делаем. В эпоху искусственного интеллекта все больше и больше приложений должны защищать свои данные от вредоносных программ и даже вредоносных пользователей и администраторов. В 2024 году мы представили технологию безопасности на основе виртуализации (VBS) Enclave, чтобы предоставить доверенную среду выполнения, в которой приложения могут выполнять безопасные вычисления (включая криптографические операции), предотвращая атаки на уровне администратора. Это та же основа, которая защищает наш опыт Recall на Copilot+ PC. Теперь мы предоставляем разработчикам возможность использовать эту основную функцию безопасности. VBS Enclave SDK теперь доступен для общедоступной предварительной версии, которая включает в себя набор библиотек и инструментов для безопасных областей, которые можно запрограммировать с более естественным опытом, где разработчики могут клонировать репозиторий.
Все начинается с инструментов, создающих уровень проекции API. Теперь разработчики могут определять интерфейс между хост-приложением и безопасной областью, и инструмент выполняет всю утомительную работу по проверке параметров и обработке управления памятью и проверок безопасности. Это позволяет разработчикам сосредоточиться на своей бизнес-логике, в то время как безопасная область защищает параметры, данные и память. Кроме того, эти библиотеки позволяют разработчикам легко обрабатывать общие задачи, такие как создание безопасной области, шифрование и дешифрование данных, управление пулом потоков и отчетность о телеметрии.
Постквантовая криптография входит в Windows Insiders и Linux
Ранее мы обсуждали проблемы безопасности, связанные с прогрессом в квантовых вычислениях, и приняли меры для внесения вклада в квантовую безопасность во всей отрасли, включая добавление алгоритмов PQC в нашу основную криптографическую библиотеку SymCrypt.
Вскоре мы предоставим функции PQC для Windows Insiders и Linux (версия SymCrypt-OpenSSL 1.9.0). Эта интеграция является важным первым шагом, позволяющим разработчикам экспериментировать с PQC в своей среде и оценивать совместимость, производительность и интеграцию с существующими системами безопасности. Заблаговременный доступ к функциям PQC помогает группам безопасности выявлять проблемы, оптимизировать стратегии и упрощать переход по мере развития отраслевых стандартов. Активно решая проблемы безопасности текущих криптографических стандартов, мы работаем над тем, чтобы проложить путь к цифровому будущему, которое реализует квантовые преимущества и снижает риски безопасности.
Новые возможности, призванные позволить каждому разработчику повысить продуктивность в Windows 11
Windows Subsystem for Linux (WSL) предоставляет мощную платформу для разработки искусственного интеллекта на Windows, упрощая одновременную работу с рабочими нагрузками Windows и Linux. Разработчики могут легко обмениваться файлами, графическими приложениями, графическими процессорами и т. д. между средами Windows и Linux без дополнительной настройки.
Объявляем, что Windows Subsystem for Linux теперь имеет открытый исходный код
Мы рады объявить, что мы открываем исходный код Windows Subsystem for Linux. Благодаря этому мы откроем код, который создает и поддерживает виртуальную машину, лежащую в основе дистрибутивов WSL, и интегрирует ее с функциями и ресурсами Windows, для вклада сообщества. Это позволит открыть новые возможности повышения производительности и масштабируемости.