Секретное оружие Windows 11: Foundry AI Local, меняющее правила игры
Когда речь заходит об искусственном интеллекте (AI), в воображении часто возникают такие модели, как ChatGPT или Google Gemini, работающие в облаке. Тем не менее, Microsoft представила чрезвычайно простой способ запуска локального AI на персональных компьютерах (PC), и его удобство определенно заслуживает вашего внимания.
На прошедшей на прошлой неделе конференции Microsoft Build для разработчиков, Microsoft объявила о выпуске Microsoft Foundry AI Local. Это локальная большая языковая модель (LLM) для разработчиков, но она имеет большое значение для всех, кто хочет испытать потенциал локального AI. Давайте углубимся в этот инструмент и посмотрим, почему он так привлекателен.
Foundry AI Local: Новая эра локального AI
Microsoft Foundry AI Local, по сути, представляет собой инструмент командной строки, который позволяет запускать LLM локально на вашей машине. Хотя изначально он был ориентирован на разработчиков, это один из самых простых способов попробовать локальный AI, поскольку он делает почти все за вас. Более того, он также оптимизирует производительность вашего PC.
Представьте, что вы хотите установить новое приложение. Традиционно вам нужно перейти на веб-сайт или в Microsoft Store, найти ссылку для скачивания, а затем указать Windows, куда следует поместить все содержимое. Теперь с помощью “winget” все становится намного проще. “winget” похож на DoorDash для приложений. Вам просто нужно открыть командную строку и ввести название нужного приложения, и “winget” автоматически сделает все остальное за вас. Вам даже не нужно входить на сторонние веб-сайты.
Foundry AI Local работает аналогичным образом. Вам нужно всего лишь скопировать и вставить две команды из этой статьи, и вы можете сразу же начать использовать его. Хотя Microsoft явно не указала, что вам нужна выделенная графическая карта (GPU) или нейронный процессор (NPU), они действительно могут помочь. В основном, вам нужна система Windows 10 или 11, не менее 8 ГБ оперативной памяти (RAM) и 3 ГБ дискового пространства (рекомендуется 16 ГБ оперативной памяти и 15 ГБ дискового пространства). Copilot+ PC является необязательным, но если у вас есть устройство, оснащенное процессором Qualcomm Snapdragon X Elite, графическим процессором Nvidia RTX 2000 серии или AMD Radeon 6000 серии или более новыми моделями, вы получите лучший опыт.
Быстрый старт: Шаги по использованию Foundry AI Local
Вот подробные шаги о том, как начать использовать Foundry AI Local:
Откройте терминал командной строки: Нажмите клавишу Windows и начните вводить “terminal”. Вы должны увидеть приложение Windows Terminal в списке предлагаемых приложений, оно также может отображаться как Windows PowerShell. Это не имеет значения, можно использовать оба.
Введите команды: В командной строке введите следующие команды:
1 | powershell -i -ExecutionPolicy bypass -Command "irm https://aka.ms/ai/install | iex" |
Первая команда загружает и устанавливает Foundry AI Local. -ExecutionPolicy bypass дает согласие на запуск скрипта, так как обычно Windows Terminal не позволяет выполнять любые скрипты, которые вы скачиваете из Интернета. Microsoft рекомендует всегда проверять PowerShell-скрипты, прежде чем запускать их, чтобы убедиться, что вы используете только те, которым доверяете. Вы можете сделать это, просто скопировав URL-адрес, вставив его в веб-браузер и прочитав содержимое.
Не беспокойтесь о том, что он говорит, что устанавливает контейнер Docker, это просто способ запуска LLM в изолированной среде. Если у вас его еще нет, инструмент также установит его за вас (поэтому убедитесь, что у вас есть около 15 ГБ дискового пространства).
После завершения установки Foundry AI Local, вы можете загрузить модель Llama 3 от Meta, введя:
1 | ai download llama3 |
Этот процесс может занять некоторое время в зависимости от скорости вашего интернет-соединения, так как это довольно большой файл. После загрузки, вы можете запустить ее, введя:
1 | ai run llama3 |
Локальный AI: Что это значит для будущего
Теперь у вас запущена локальная LLM. Вы можете поговорить с ней, задавая вопросы или давая ей подсказки, как если бы вы использовали ChatGPT. Но вся обработка происходит на вашем PC, а не в облаке. Это означает, что ваши данные остаются конфиденциальными, а ответы могут быть быстрее.
Прелесть этого в том, что это только начало. Microsoft планирует добавить поддержку большего количества моделей, и, поскольку все работает локально, разработчики могут экспериментировать и настраивать LLM, не беспокоясь о стоимости или проблемах конфиденциальности.
Влияние Foundry AI Local
Foundry AI Local может быть особенно полезен в нескольких сценариях:
- Конфиденциальность данных: Обработка данных локально означает, что конфиденциальная информация никогда не покидает вашу машину, что делает его отличным выбором для приложений, требующих конфиденциальности.
- Отсутствие зависимости от Интернета: Локальный AI работает независимо от интернет-соединения, обеспечивая непрерывную функциональность в зонах с ограниченной связью или без нее.
- Быстрая обработка: Локальная обработка может значительно снизить задержку, обеспечивая более быстрые ответы по сравнению с решениями на основе облака.
- Настройка: Разработчики могут настраивать LLM в соответствии с конкретными потребностями, предлагая индивидуальные решения, адаптированные к их требованиям.
Открытие возможностей локального AI
Microsoft Foundry AI Local - это значительный шаг вперед в демократизации AI. Сделав LLM доступными для локального запуска, Microsoft открывает новые возможности для разработчиков и пользователей. От конфиденциальности данных до быстрой обработки и настройки потенциальные приложения огромны и продолжают развиваться.
По мере развития AI, возможность запускать модели локально станет все более важной. Foundry AI Local - это свидетельство этого сдвига, предлагающее проблеск будущего, где AI является более доступным, частным и мощным, чем когда-либо прежде. Легкость использования в сочетании с потенциалом для инноваций делает его инструментом, за которым стоит внимательно следить. Если вы хотите поэкспериментировать с AI, не полагаясь на сервисы на основе облака, Foundry AI Local - это привлекательное и прямое решение.
```