Генеративный искусственный интеллект (Generative AI) коренным образом преобразует бизнес-операции через различные приложения, включая разговорных помощников, таких как Rufus и Amazon Seller Assistant от Amazon. Кроме того, некоторые из наиболее влиятельных приложений генеративного AI работают в фоновом режиме автономно, что является важной функцией, позволяющей предприятиям масштабно трансформировать свои операции, обработку данных и создание контента. Эти недиалоговые реализации часто принимают форму рабочих процессов агентов, основанных на больших языковых моделях (LLM), которые выполняют определенные бизнес-цели в разных отраслях без прямого взаимодействия с пользователем.
В отличие от диалоговых приложений, которые получают выгоду от обратной связи и контроля пользователей в режиме реального времени, недиалоговые приложения предлагают уникальные преимущества, такие как более высокая допустимость задержки, пакетная обработка и кэширование, но их автономный характер требует более надежных мер безопасности и тщательного обеспечения качества.
В этой статье рассматриваются четыре различных примера применения генеративного AI в Amazon:
- Создание информации о продуктах Amazon и улучшение качества данных каталога — показывает, как LLM помогают партнерам по продажам и Amazon создавать больше информации о продуктах более высокого качества в больших масштабах.
- Обработка рецептов в Amazon Pharmacy — демонстрирует реализацию в строго регулируемой среде и декомпозицию задач для рабочих процессов агентов.
- Основные моменты отзывов — иллюстрирует крупномасштабную пакетную обработку, интеграцию традиционного машинного обучения (ML), использование небольших LLM и экономически эффективные решения.
- Генерация креативных изображений и видео для рекламы Amazon — демонстрирует мультимодальный генеративный AI и методы ответственного AI в творческой работе.
Каждый пример из практики раскрывает различные аспекты реализации недиалоговых приложений генеративного AI, от технических архитектур до оперативных соображений. На этих примерах вы узнаете, как полный набор сервисов AWS, включая Amazon Bedrock и Amazon SageMaker, может сыграть решающую роль в успехе. Наконец, мы перечислим ключевые уроки, общие для различных вариантов использования.
Создание высококачественной информации о продуктах на Amazon
Создание высококачественной информации о продуктах с исчерпывающими деталями помогает клиентам принимать обоснованные решения о покупке. Традиционно партнеры по продажам вручную вводят множество атрибутов для каждого продукта. Новое решение генеративного AI, запущенное в 2024 году, меняет этот процесс, активно получая информацию о продуктах с веб-сайтов брендов и других источников для улучшения качества обслуживания клиентов.
Генеративный AI упрощает работу партнеров по продажам, поддерживая ввод информации в различных форматах, таких как URL-адреса, изображения продуктов или электронные таблицы, и автоматически преобразуя ее в нужную структуру и формат. Его использовали более 900 000 партнеров по продажам, и почти 80% сгенерированных черновиков информации о продуктах принимаются с минимальным редактированием. Контент, созданный искусственным интеллектом, предоставляет исчерпывающие сведения о продукте, что помогает повысить ясность и точность, что способствует обнаружению продукта в поисковых запросах клиентов.
Для новой информации о продукте рабочий процесс начинается с предоставления партнером по продажам первоначальной информации. Затем система использует несколько источников информации для создания полной информации о продукте, включая заголовки, описания и подробные атрибуты. Сгенерированная информация о продукте передается партнеру по продажам для утверждения или редактирования.
Для существующей информации о продукте система определяет продукты, которые можно обогатить дополнительными данными.
Интеграция и обработка данных для большого объема вывода
Команда Amazon использовала Amazon Bedrock и другие сервисы AWS для создания надежных коннекторов внутренних и внешних источников для API, удобных для LLM, что обеспечивает бесшовную интеграцию с серверными системами Amazon.com.
Одной из основных задач была интеграция различных данных в связную информацию о продукте по более чем 50 атрибутам, включая текст и цифры. LLM требуют определенных механизмов управления и инструкций для точной интерпретации концепций электронной коммерции, поскольку они могут работать неоптимально с такими сложными и разнообразными данными. Например, LLM может ошибочно интерпретировать «емкость» в подставке для ножей как размер, а не количество слотов, или «Fit Wear» как описание стиля, а не название бренда. Для решения этих проблем широко использовалось проектирование и тонкая настройка подсказок (prompt engineering and fine-tuning).
Генерация и проверка с помощью LLM
Сгенерированная информация о продукте должна быть полной и правильной. Чтобы помочь в достижении этой цели, в решение был реализован многоэтапный рабочий процесс, использующий LLM для генерации и проверки атрибутов. Такой двойной подход LLM помогает предотвратить галлюцинации, что имеет решающее значение при обработке проблем безопасности или технических спецификаций. Команда разработала передовые методы самоанализа, чтобы гарантировать, что процессы генерации и проверки эффективно дополняют друг друга.
Многоуровневое обеспечение качества с помощью обратной связи с человеком
Обратная связь с человеком лежит в основе обеспечения качества решения. Этот процесс включает первоначальную оценку экспертами Amazon.com, а также предоставление партнерами по продажам исходных данных для принятия или редактирования. Это обеспечивает высокое качество вывода и позволяет постоянно улучшать модели искусственного интеллекта.
Процесс обеспечения качества включает автоматизированные методы тестирования, сочетающие ML, алгоритмические или основанные на LLM оценки. Неудачная информация о продукте создается заново, а успешная информация о продукте проходит дальнейшее тестирование. Используя [модели причинно-следственной связи], мы определяем основные характеристики, влияющие на производительность информации о продукте, и возможности обогащения. В конечном итоге информация о продукте, прошедшая проверку качества и принятая партнером по продажам, публикуется, что гарантирует получение клиентами точной и полной информации о продукте.
Системная оптимизация на уровне приложений для точности и стоимости
Учитывая высокие стандарты точности и полноты, команда использовала комплексный экспериментальный подход, оснащенный автоматизированной системой оптимизации. Эта система исследует различные комбинации LLM, подсказок, сценариев, рабочих процессов и инструментов искусственного интеллекта для улучшения более высоких бизнес-показателей, включая стоимость. Благодаря непрерывной оценке и автоматизированному тестированию генератор информации о продуктах может эффективно сбалансировать производительность, стоимость и эффективность, адаптируясь к новым разработкам в области искусственного интеллекта. Такой подход означает, что клиенты могут получить выгоду от высококачественной информации о продуктах, а партнеры по продажам — доступ к передовым инструментам для эффективного создания информации о продуктах.
Обработка рецептов на основе генеративного AI в Amazon Pharmacy
В предыдущем примере с информацией о продавцах, основанном на гибридном человеко-машинном рабочем процессе, Amazon Pharmacy показывает, как эти принципы могут быть применены в отрасли, регулируемой [Законом о передаче и подотчетности медицинского страхования] (HIPAA). В статье [Узнайте, как Amazon Pharmacy использует Amazon SageMaker для создания чат-бота на основе LLM] мы поделились разговорным помощником для специалистов по уходу за пациентами, а теперь основное внимание уделяется автоматической обработке рецептов.
В Amazon Pharmacy мы разработали систему искусственного интеллекта на основе Amazon Bedrock и SageMaker, чтобы помочь фармацевтическим техникам более точно и эффективно обрабатывать инструкции по лекарствам. Это решение объединяет специалистов-людей с LLM в ролях создания и проверки для повышения точности инструкций по лекарствам для пациентов.
Разработка делегированного рабочего процесса для точности в здравоохранении
Система обработки рецептов объединяет человеческий опыт (операторы ввода данных и фармацевты) с поддержкой AI, чтобы предоставлять рекомендации и обратную связь по направлениям. Рабочий процесс начинается с предварительной обработки базы знаний аптеки, которая стандартизирует исходный текст рецепта в [Amazon DynamoDB], а затем использует настроенную небольшую языковую модель (SLM) на SageMaker для идентификации ключевых компонентов (дозировка, частота).
Эта система легко интегрирует экспертов, таких как операторы ввода данных и фармацевты, где генеративный AI дополняет общий рабочий процесс, что приводит к большей гибкости и точности, чтобы лучше обслуживать наших пациентов. Затем система сборки инструкций с мерами безопасности генерирует инструкции для операторов ввода данных для создания вводимых ими инструкций через модуль рекомендаций. Модуль маркировки помечает или исправляет ошибки и обеспечивает дополнительные меры безопасности в качестве обратной связи, предоставляемой операторам ввода данных. Технические специалисты завершают ввод инструкций с высокой точностью и безопасностью, которые фармацевты предоставляют для обратной связи или для выполнения инструкций в последующих службах.
Одной из отличительных особенностей решения является использование декомпозиции задач, которая позволила инженерам и ученым разбить весь процесс на несколько этапов, включающих отдельные модули, состоящие из подэтапов. Команда широко использовала точно настроенные SLM. Кроме того, в процессе использовались традиционные программы ML, такие как [распознавание именованных сущностей (NER)] или использование [регрессионных моделей] для оценки окончательной уверенности. Использование SLM и традиционного ML в этом контролируемом и четко определенном процессе может значительно повысить скорость обработки, сохраняя при этом строгие стандарты безопасности благодаря добавлению соответствующих мер безопасности на определенных этапах.
Система содержит несколько четко определенных подэтапов, каждый из которых работает как специализированный компонент, работающий в рабочем процессе полуавтономно, но совместно для достижения общей цели. Этот декомпозиционный подход, имеющий конкретные проверки на каждом этапе, оказался более эффективным, чем сквозное решение, при этом используются точно настроенные SLM. Команда использовала [AWS Fargate] для координации рабочего процесса, поскольку он в настоящее время интегрирован в существующие серверные системы.
В ходе разработки продукта команда перешла на Amazon Bedrock, который предлагает высокопроизводительные LLM с простыми в использовании функциями, адаптированными для приложений генеративного AI. SageMaker поддерживает дальнейший выбор LLM, более глубокую настройку и традиционные методы ML. Чтобы узнать больше об этой технологии, ознакомьтесь со статьей [Как декомпозиция задач и небольшие LLM могут сделать AI более доступным по цене] и прочитайте [практический пример Amazon Pharmacy].
Создание надежного приложения с мерами безопасности и HITL
Чтобы соответствовать стандартам HIPAA и обеспечивать конфиденциальность пациентов, мы внедрили строгие методы управления данными, используя гибридный подход, сочетающий в себе точно настроенные LLM, использующие API Amazon Bedrock, и [генерацию, дополненную поиском] (RAG) с использованием [Amazon OpenSearch Service]. Эта комбинация обеспечивает эффективное извлечение знаний, сохраняя при этом высокую точность для конкретных подзадач.
Управление галлюцинациями LLM, что имеет решающее значение в здравоохранении, требует больше, чем просто тонкую настройку на больших наборах данных. В нашем решении реализованы меры безопасности для конкретной области, построенные на основе [Amazon Bedrock Guardrails] и дополненные контролем человека в цикле (HITL) для повышения надежности системы.
Команда Amazon Pharmacy продолжает улучшать эту систему с помощью обратной связи от фармацевтов в режиме реального времени и расширенных возможностей для форматов рецептов. Этот сбалансированный подход к инновациям, опыту в этой области, передовым сервисам AI и человеческому контролю не только повышает операционную эффективность, но и означает, что система AI правильно расширяет возможности специалистов здравоохранения, обеспечивая оптимальный уход за пациентами.
Основные моменты отзывов клиентов на основе генеративного AI
В то время как наш предыдущий пример показал, как Amazon Pharmacy интегрирует LLM в рабочие процессы в реальном времени для обработки рецептов, этот вариант использования показывает, как аналогичные технологии (SLM, традиционный ML и продуманный дизайн рабочих процессов) могут быть применены к [офлайн выводу в пакетном режиме] в больших масштабах.
Amazon запустила [Основные моменты отзывов клиентов, созданные искусственным интеллектом], чтобы обрабатывать более 200 миллионов ежегодных отзывов и оценок продуктов. Эта функция преобразует общие мнения клиентов в лаконичные параграфы, выделяющие положительные, нейтральные и отрицательные отзывы о продуктах и их функциях. Покупатели могут быстро уловить консенсус, сохраняя при этом прозрачность, предоставляя доступ к соответствующим отзывам клиентов и сохраняя исходные отзывы.
Система улучшает процесс принятия решений о покупке с помощью интерфейса, в котором клиенты могут изучать основные моменты отзывов, выбирая определенные функции, такие как качество изображения, возможности дистанционного управления или простота установки Fire TV. Эти функции обозначаются зелеными галочками для положительных настроений, оранжевыми знаками минуса для отрицательных настроений и серыми для нейтральных настроений — это означает, что покупатели могут быстро определить сильные и слабые стороны продукта на основе подтвержденных отзывов о покупках.
Экономически эффективное использование LLM для офлайн вариантов использования
Команда разработала экономически эффективную гибридную архитектуру, сочетающую традиционные методы ML со специализированными SLM. Этот подход назначает анализ тональности и извлечение ключевых слов традиционному ML, а сложные задачи генерации текста — оптимизированным SLM, что повышает точность и эффективность обработки.
Эта функция использует [пакетное преобразование SageMaker] для асинхронной обработки, что может значительно снизить затраты по сравнению с конечными точками в реальном времени. Для обеспечения почти нулевой задержки решение [кэширует] полученные сведения и существующие отзывы, что сокращает время ожидания и позволяет нескольким клиентам получать доступ одновременно без дополнительных вычислений. Система обрабатывает новые отзывы постепенно, обновляя сведения без повторной обработки всего набора данных. Для оптимальной производительности и экономической эффективности эта функция использует [экземпляры Amazon Elastic Compute Cloud] (Amazon EC2) [Inf2 instances] для заданий пакетного преобразования, [обеспечивая до 40% более высокую производительность по сравнению с альтернативными решениями].
Придерживаясь этого всестороннего подхода, команда эффективно управляет затратами, обрабатывая при этом огромные объемы отзывов и продуктов, что делает это решение эффективным и масштабируемым.
Искусственный интеллект в рекламе Amazon для создания креативных изображений и видео
В предыдущих примерах мы в основном рассматривали текстоцентричные приложения генеративного AI, а теперь мы переходим к мультимодальному генеративному AI с [Генерацией креативного контента для рекламы Amazon]. Это решение имеет возможности для генерации [изображений] и [видео], и мы поделимся подробной информацией об этих возможностях в этом разделе. В целом, в основе решения лежит [Amazon Nova], модель для генерации креативного контента.
Основываясь на потребностях клиентов, исследование Amazon, проведенное в марте 2023 года, показало, что почти 75% рекламодателей считают создание креативного контента своей основной проблемой при стремлении к успеху рекламной кампании. Многие рекламодатели, особенно те, у кого нет внутренних возможностей или поддержки агентства, сталкиваются со значительными препятствиями из-за опыта и стоимости производства высококачественных визуальных эффектов. Решение Amazon Advertising демократизирует создание визуального контента, делая его доступным и эффективным для рекламодателей любого размера. Влияние огромно: рекламодатели, использующие изображения, созданные искусственным интеллектом, в рекламных кампаниях [Спонсируемые бренды], добиваются [коэффициента кликабельности (CTR)], близкого к 8%, и они отправляют на 88% больше рекламных кампаний, чем пользователи, не использующие его.
В прошлом году в блоге AWS Machine Learning была опубликована статья [с подробным описанием решения для генерации изображений]. С тех пор Amazon использует [Amazon Nova Canvas] в качестве основы для генерации креативных изображений. Используя текстовые или графические подсказки в сочетании с функциями редактирования на основе текста и контролем над цветовыми схемами и макетами, создаются изображения профессионального уровня.
В сентябре 2024 года команда Amazon Advertising добавила возможность создавать [короткие видеоролики из изображений продуктов]. Эта функция использует [базовые модели, доступные на Amazon Bedrock], предоставляя клиентам контроль над визуальным стилем, темпом, движениями камеры, вращением и масштабированием с помощью управления на естественном языке. Он использует рабочий процесс агента для сначала описания раскадровки видео, а затем для создания содержимого истории.
Как обсуждалось в исходной статье, [Ответственный AI] лежит в основе этого решения, и креативная модель Amazon Nova поставляется со встроенными элементами управления для поддержки безопасного и ответственного использования AI, включая водяные знаки и модерацию контента.
Это решение использует [AWS Step Functions] и [функции AWS Lambda] для координации бессерверной координации процессов генерации изображений и видео. Сгенерированный контент хранится в [Amazon Simple Storage Service] (Amazon S3), метаданные хранятся в DynamoDB, а [Amazon API Gateway] обеспечивает клиентам доступ к функциям генерации. В настоящее время в этом решении используются Amazon Bedrock Guardrails в дополнение к сохранению интеграции [Amazon Rekognition] и [Amazon Comprehend] на различных этапах для дополнительных проверок безопасности.
Создание высококачественного рекламного контента в больших масштабах создает сложные задачи. Генеративные модели AI должны создавать привлекательные и соответствующие бренду изображения в различных категориях продуктов и рекламных средах, обеспечивая при этом легкий доступ для рекламодателей всех уровней подготовки. Обеспечение качества и улучшение лежат в основе функций генерации изображений и видео. Эта система постоянно совершенствуется благодаря обширному процессу HITL, реализованному через [Amazon SageMaker Ground Truth]. Эта реализация предоставляет мощный инструмент, который может преобразовать творческий процесс рекламодателей, упростив создание высококачественного визуального контента в каждой категории продуктов и среде.
Это только начало использования Amazon Advertising генеративного AI, чтобы помочь рекламодателям, которым необходимо создавать контент, соответствующий их рекламным целям. Это решение показывает, как снижение творческих барьеров может напрямую улучшить рекламные кампании, сохраняя при этом высокие стандарты ответственного использования AI.
Ключевые технические уроки и обсуждения
Недиалоговые приложения выигрывают от более высокой допустимости задержки, что обеспечивает пакетную обработку и кэширование, но из-за автономности требуют надежных механизмов проверки и более надежных мер безопасности. Эти идеи применимы как к недиалоговым, так и к диалоговым реализациям AI:
- Декомпозиция задач и рабочие процессы агентов — Разложение сложных проблем на более мелкие компоненты оказалось ценным в различных реализациях. Такое продуманное разложение, выполняемое экспертами в этой области, позволяет создавать специализированные модели для конкретных подзадач, как показано в обработке рецептов Amazon Pharmacy, где точно настроенный SLM может обрабатывать дискретные задачи, такие как идентификация дозировки. Эта стратегия позволяет создавать специализированные агенты с четкими этапами проверки, что повышает надежность и упрощает обслуживание. Пример использования информации о продавцах Amazon иллюстрирует это своим многоэтапным рабочим процессом с отдельными процессами генерации и проверки. Кроме того, пример использования основных моментов отзывов демонстрирует экономически эффективное и контролируемое использование LLM, а именно путем использования традиционного ML для предварительной обработки и выполнения частей, которые могут быть связаны с задачами LLM.
- Гибридные архитектуры и выбор модели — Сочетание традиционного ML с LLM обеспечивает лучший контроль и экономическую эффективность по сравнению с чисто LLM-подходом. Традиционный ML отлично справляется с четко определенными задачами, как показано в системе основных моментов отзывов, используемой для анализа тональности и извлечения информации. Команда Amazon стратегически развернула большие и малые языковые модели в зависимости от потребностей, сочетая RAG с тонкой настройкой для эффективных приложений для конкретных областей, таких как реализация Amazon Pharmacy.
- Стратегии оптимизации затрат — Команда Amazon достигла эффективности за счет пакетной обработки, механизмов кэширования для крупномасштабных операций, специализированных типов экземпляров, таких как [AWS Inferentia], и [AWS Trainium], а также оптимизированного выбора модели. Основные моменты отзывов показывают, как инкрементная обработка может снизить вычислительные потребности, а Amazon Advertising использует Amazon Nova [базовые модели] (FM) для экономически эффективного создания креативного контента.
- Механизмы контроля и обеспечения качества — Контроль качества зависит от мер безопасности для конкретных областей через Amazon Bedrock Guardrails и многоуровневой проверки, сочетающей автоматизированное тестирование с оценкой человеком. Двойной подход LLM к генерации и проверке помогает предотвратить появление галлюцинаций в информации о продавцах Amazon, а методы самоанализа повышают точность. Креативные FM Amazon Nova предлагают неотъемлемые элементы управления ответственным AI и дополняются непрерывным A/B-тестированием и измерением производительности.
- Реализация HITL — Подход HITL охватывает несколько уровней, от экспертной оценки фармацевтами до обратной связи с конечными пользователями от партнеров по продажам. Команда Amazon создала структурированные рабочие процессы улучшения, которые уравновешивают автоматизацию и контроль человека в соответствии с конкретными требованиями области и профилями рисков.
- Ответственный AI и соответствие требованиям — Практика ответственного AI включает меры безопасности для приема контента в регулируемых средах и соблюдение таких правил, как HIPAA. Команда Amazon интегрировала модерацию контента для приложений, ориентированных на пользователей, сохранила прозрачность основных моментов отзывов, предоставив доступ к исходной информации, и внедрила управление данными с мониторингом для повышения качества и соответствия требованиям.
Эти шаблоны позволяют создавать масштабируемые, надежные и экономически эффективные решения генеративного AI, поддерживая при этом стандарты качества и ответственности. Эти реализации показывают, что эффективные решения требуют не только передовых моделей, но и тщательного внимания к архитектуре, эксплуатации и управлению, поддерживаемым сервисами AWS и установленными практиками.
Следующие шаги
Примеры Amazon, приведенные в этой статье, показывают, как генеративный AI может создавать ценность, выходящую за рамки традиционных разговорных помощников. Мы предлагаем вам последовать этим примерам или создать собственные решения, чтобы узнать, как генеративный AI может преобразовать ваш бизнес или даже вашу отрасль. Вы можете посетить страницу [Примеры использования генеративного AI AWS], чтобы начать процесс разработки идей.
Эти примеры показывают, что эффективные реализации генеративного AI часто выигрывают от сочетания различных типов моделей и рабочих процессов. Чтобы узнать, какие FM поддерживаются сервисами AWS, ознакомьтесь со статьей [Базовые модели, поддерживаемые в Amazon Bedrock] и [Базовые модели Amazon SageMaker JumpStart]. Мы также рекомендуем вам изучить [Amazon Bedrock Flows], который может упростить путь к созданию рабочих процессов. Кроме того, мы напоминаем вам, что ускорители Trainium и Inferentia обеспечивают значительную экономию средств в этих приложениях.
Как показано в приведенных нами примерах, рабочие процессы агентов оказались особенно ценными. Мы рекомендуем вам просмотреть [Агенты Amazon Bedrock], чтобы быстро создавать рабочие процессы агентов.
Успешная реализация генеративного AI — это больше, чем просто выбор модели, она представляет собой комплексный процесс разработки программного обеспечения от экспериментов до мониторинга приложений. Чтобы начать создание основы для этих основных сервисов, мы предлагаем вам просмотреть [Amazon QuickStart].
Чтобы узнать больше о том, как Amazon использует AI, ознакомьтесь со статьей [AI] в Amazon News.