Генеративният изкуствен интелект (Gen AI) радикално променя бизнес операциите чрез различни приложения, включително конверсационни асистенти като Rufus и Amazon Seller Assistant на Amazon. Освен това, някои от най-влиятелните приложения на Gen AI работят автономно във фонов режим, което е съществена функция, позволяваща на компаниите да трансформират своите операции, обработка на данни и създаване на съдържание в голям мащаб. Тези не-конверсационни реализации често се проявяват под формата на работни потоци на агенти, задвижвани от големи езикови модели (LLM), които изпълняват конкретни бизнес цели в различни индустрии без пряка потребителска интеракция.
За разлика от конверсационните приложения, които се възползват от обратна връзка и надзор в реално време от потребителите, не-конверсационните приложения притежават уникални предимства като по-висока толерантност към забавяне, групова обработка и кеширане, но тяхната автономност изисква по-силни мерки за сигурност и задълбочено осигуряване на качество.
Тази статия проучва четири различни примера за употреба на Gen AI в Amazon:
- Създаване на обяви за продукти в Amazon и подобрения в качеството на данните в каталога – демонстрира как LLM може да помогне на търговските партньори и Amazon да създават обяви за продукти с по-високо качество в голям мащаб.
- Обработка на рецепти в Amazon Pharmacy – показва изпълнението в силно регулирана среда и декомпозицията на задачи за работни потоци на агенти.
- Акценти на отзивите – илюстрира групова обработка в голям мащаб, интегриране на традиционното машинно обучение (ML), използване на малки LLM и рентабилно решение.
- Генериране на креативни изображения и видеоклипове за реклами в Amazon – подчертава мултимодален Gen AI и отговорни AI практики в креативната работа.
Всеки отделен случай разкрива различни аспекти на изпълнението на не-конверсационни приложения на Gen AI, от техническата архитектура до оперативните съображения. Чрез тези примери ще разберете как пълният набор от услуги на AWS, включително Amazon Bedrock и Amazon SageMaker, се превръщат в ключов фактор за успеха. И накрая, сме изброили ключовите научени уроци, които се споделят повсеместно в различните случаи на употреба.
Създаване на висококачествени обяви за продукти в Amazon
Създаването на висококачествени обяви за продукти с изчерпателни детайли помага на клиентите да вземат информирани решения за покупка. Традиционно търговските партньори са въвеждали ръчно много атрибути за всеки продукт. Ново решение за Gen AI, пуснато през 2024 г., променя този процес, като активно извлича информация за продукти от уебсайтове на марки и други източници, което подобрява клиентското изживяване.
Gen AI опростява изживяването на търговските партньори, като позволява въвеждането на информация в различни формати (например URL адреси, изображения на продукти или електронни таблици) и автоматично я трансформира в необходимата структура и формат. Над 900 000 търговски партньори са го използвали, като близо 80% от генерираните чернови на обяви за продукти са приети с минимални редакции. Генерираното от изкуствен интелект съдържание предоставя изчерпателни детайли за продукта, което помага за подобряване на яснотата и точността, и по този начин помага за откриването на продукти в клиентските търсения.
За нови обяви за продукти работният поток започва с предоставянето на първоначална информация от търговските партньори. След това системата използва множество източници на информация, за да генерира изчерпателна обява за продукта, включително заглавие, описание и подробни атрибути. Генерираната обява за продукта се споделя с търговските партньори за одобрение или редакция.
За съществуващи обяви за продукти системата идентифицира продукти, които могат да бъдат обогатени с допълнителни данни.
Интеграция и обработка на данни за масов изход
Екипът на Amazon използва Amazon Bedrock и други AWS услуги, за да изгради стабилни конектори за вътрешни и външни източници за LLM-приятелски API, което позволява безпроблемна интеграция в бекенд системите на Amazon.com.
Основното предизвикателство е да се синтезират разнообразни данни в кохерентна обява за продукт, обхващаща над 50 атрибута, включително текст и числа. LLM се нуждаят от специфични механизми за контрол и инструкции, за да интерпретират точно концепциите за електронна търговия, тъй като може да не работят оптимално с толкова сложни и разнообразни данни. Например, LLM може да интерпретира погрешно “Капацитет” в държач за ножове като размер, а не като брой канали, или да обърка “Fit Wear” като описание на стил вместо име на марка. Инженерингът на подкани и финото настройване се използват широко за справяне с тези случаи.
Генериране и валидиране с помощта на LLM
Генерираните обяви за продукти трябва да бъдат пълни и точни. За да се постигне тази цел, решението реализира многоетапен workflow, който използва LLM както за генериране, така и за валидиране на атрибути. Този двустепенен подход с LLM помага за предотвратяване на халюцинации, което е от решаващо значение при работа със здравни опасности или технически спецификации. Екипът разработи усъвършенствани техники за самоотразяване, за да гарантира, че процесите на генериране и валидиране ефективно се допълват взаимно.
Многослойно осигуряване на качество с обратна връзка от хора
Обратната връзка от хора лежи в основата на осигуряването на качеството на решението. Процесът включва първоначална оценка от експерти на Amazon.com, както и търговски партньори, предоставящи входни данни за приемане или редакция. Това осигурява висококачествени резултати и възможност за непрекъснато подобряване на AI моделите.
Процесът на осигуряване на качество включва автоматизирани методи за тестване, които съчетават ML, алгоритми или оценки, базирани на LLM. Неуспешните обяви за продукти се генерират повторно, докато успешните обяви за продукти се подлагат на допълнителни тестове. Използвайки [каузални модели на разсъждение], ние идентифицираме основните характеристики, които влияят на производителността на обявите за продукти, както и възможности за обогатяване. В крайна сметка обявите за продукти, които преминат проверките за качество и бъдат приети от търговските партньори, се публикуват, като се гарантира, че клиентите получават точна и изчерпателна информация за продукта.
Системна оптимизация на ниво приложение за точност и разходи
Като се имат предвид високите стандарти за точност и пълнота, екипът възприема цялостен експериментален подход, оборудван с автоматизирана система за оптимизация. Тази система изследва различни комбинации от LLM, подкани, playbook, работни потоци и AI инструменти, за да подобри по-високи бизнес показатели, включително разходи. Чрез непрекъснати оценки и автоматизирано тестване, генераторът на обяви за продукти може ефективно да балансира производителността, разходите и ефективността, като същевременно се адаптира към нови развития на AI. Този подход означава, че клиентите могат да се възползват от висококачествена информация за продукти, а търговските партньори имат достъп до авангардни инструменти за ефективно създаване на обяви за продукти.
Обработка на рецепти, базирана на Gen AI, в Amazon Pharmacy
В предишния пример с обяви за продукти на търговци, който беше базиран на хибриден работен поток човек-машина, Amazon Pharmacy показва как тези принципи могат да бъдат приложени в индустрия, регулирана от Закон за преносимост и отчетност на здравното осигуряване. В статията [Научете как Amazon Pharmacy използва Amazon SageMaker за създаване на базиран на LLM чатбот], споделихме разговорлив асистент за специалисти по грижи за пациенти, а сега се фокусираме върху автоматизираната обработка на рецепти.
Amazon Pharmacy разработихме AI система, базирана на Amazon Bedrock и SageMaker, която да помогне на фармацевтичните техници да се справят с лекарствените указания по-точно и ефективно. Решението интегрира човешки експерти с LLM в ролите на създаване и валидиране, за да подобриточността на лекарствените указания на пациентите.
Проектиране на делегиран работен поток за точност в здравеопазването
Системата за обработка на рецепти съчетава човешки опит (служители по въвеждане на данни и фармацевти) с AI поддръжка за предоставяне на предложения за указания и обратна връзка. Работният поток започва с предпроцесор на базата знания на аптеката, който стандартизира суровия текст на рецептата от [Amazon DynamoDB], преди да използва фино настроен малък езиков модел (SLM) на SageMaker, за да идентифицира ключови компоненти (доза, честота).
Системата безпроблемно интегрира експерти като служители по въвеждане на данни и фармацевти, където генериращият AI допълва цялостния работен процес, като подобрява пъргавостта и точността, за да обслужва по-добре нашите пациенти. Системата за сглобяване на указанията със защитни механизми след това генерира указания за служителите по въвеждане на данни, за да създадат указанията, които въвеждат чрез модула за предложения. Модулът за маркиране маркира или коригира грешки и прилага други защитни механизми като обратна връзка, предоставена на служителите по въвеждане на данни. Техниците финализират високоточни, безопасно въведени указания за фармацевтите, които да предоставят обратна връзка или да ги изпълнят надолу по веригата.
Акцент на решението е използването на разлагане на задачи, което позволява на инженерите и учените да разделят целия процес на множество стъпки, които включват отделни модули, съставени от подстъпки. Екипът използва широко фино настроени SLM. Освен това процесът включва традиционни ML процедури като [разпознаване на именувани обекти (NER)] или използване на [регресионни модели] за оценка на окончателната увереност. Използването на SLM и традиционното ML в този контролиран, дефиниран процес значително подобрява скоростта на обработка, като същевременно поддържа строги стандарти за безопасност поради включването на подходящи защитни механизми в конкретни стъпки.
Системата включва множество ясно дефинирани подстъпки, като всеки подпроцес работи като специализиран компонент, работещ към цялостна цел по полуавтономен, но съвместен начин в рамките на работния поток. Този разложен подход с конкретни валидации на всеки етап се оказва по-ефективен от решенията от край до край, като същевременно използва фино настроени SLM. Екипът използва [AWS Fargate] за оркестриране на работния поток, тъй като в момента е интегриран в съществуващите бекенд (backend) системи.
По време на продуктовото развитие на екипа те се обърнаха към Amazon Bedrock, който предлага високопроизводителни LLM с лесни за използване функции, пригодени за Gen AI приложения. SageMaker поддържа допълнителен избор на LLM, по-задълбочено персонализиране, както и традиционни ML подходи. За да научите повече за тази технология, прегледайте [Как декомпозицията на задачи и по-малките LLM могат да направят AI по-достъпен] и прочетете [Бизнес казус Amazon Pharmacy].
Изграждане на надеждни приложения със защитни механизми и HITL
За да спазваме HIPAA стандартите и да предлагаме поверителност на пациентите, ние прилагаме строги практики за управление на данни, като същевременно възприемаме хибриден подход, който съчетава фино настроени LLM, използващи Amazon Bedrock API, и генериране, подсилено с извличане, използващи [Amazon OpenSearch Service]. Тази комбинация позволява ефективно извличане на знания, като същевременно се поддържа висока точност за конкретни подзадачи.
Управлението на LLM халюцинациите, което е критично в здравеопазването, изисква повече от просто фино настройване върху големи набори от данни. Нашето решение прилага специфични за домейна защитни механизми, изградени върху [Amazon Bedrock Guardrails], и се допълва от надзор на човек в цикъла (HITL) за подобряване на надеждността на системата.
Екипът на Amazon Pharmacy продължава да подобрява тази система чрез обратна връзка в реално време от фармацевти и разширени възможности за форматиране на рецепти. Този балансиран подход на иновации, експертиза в домейна, усъвършенствани AI услуги и човешки надзор не само подобрява оперативната ефективност, но също така гарантира, че AI системите правилно разширяват възможностите на здравните специалисти, за да предоставят оптимални грижи за пациентите.
Базирани на Gen AI акценти на отзивите на клиентите
Докато нашият предишен пример показа как Amazon Pharmacy интегрира LLM в работен поток в реално време за обработка на рецепти, този случай на употреба демонстрира как може да се приложи подобна технология (SLM, традиционното ML и обмислено проектиране на работен поток) за широкомащабно [офлайн групово заключение].
Amazon представи [генерирани от AI акценти на отзивите на клиентите], за да обработи над 200 милиона годишни отзива и оценки на продукти. Тази функция дестилира споделени клиентски мнения в кратки параграфи, подчертавайки положителна, неутрална и отрицателна обратна връзка относно продукти и техните характеристики. Купувачите могат бързо да схванат консенсуса, като същевременно поддържат прозрачност чрез предоставяне на достъп до подходящи отзиви на клиентите и запазване на оригиналните отзиви.
Системата подобрява решенията за пазаруване чрез интерфейс, където клиентите могат да проучат акценти на отзивите, като изберат конкретни функции (напр. качество на изображението, възможности за дистанционно управление или лекота на инсталиране на Fire TV). Тези функции са представени със зелени отметки за положителни настроения, оранжеви минуси за отрицателни настроения и сива индикация за неутралност – което означава, че купувачите могат бързо да идентифицират силните и слабите страни на продукта въз основа на проверени отзиви за покупка.
Използване на LLM по рентабилен начин за офлайн случаи на употреба
Екипът разработи рентабилна хибридна архитектура, която съчетава традиционни ML методи със специализирани SLM. Този подход присвоява анализ на настроенията и извличане на ключови думи към традиционното ML, като същевременно използва оптимизирани SLM за сложни задачи за генериране на текст, което подобрява точността и ефективността на обработката.
Този инструмент използва [SageMaker Batch Transform] за асинхронна обработка, предлагайки значително намаляване на разходите в сравнение с крайни точки в реално време. За да осигури изживяване с почти нулева латентност, [кешира] извлечените прозрения и съществуващите отзиви, намалявайки времето за изчакване и позволявайки на множество клиенти да имат достъп едновременно без допълнителни изчисления. Системата обработва нови отзиви постепенно, актуализирайки прозренията, без да е необходимо да се преработва пълният набор от данни. За оптимална производителност и рентабилност, инструментът използва [Amazon Elastic Compute Cloud] (Amazon EC2) [Inf2 инстанции] за груповите трансформационни задачи, [осигуряващи до 40% по-добра производителност] в сравнение с алтернативите.
Спазвайки този цялостен подход, екипът ефективно управлява разходите, като същевременно обработва огромно количество отзиви и продукти, което прави решението ефективно и мащабируемо.
Генериране на креативни изображения и видеоклипове, задвижвано от AI на Amazon Ads
В предишните примери проучихме предимно ориентирани към текст приложения на Gen AI, а сега ще преминем към мултимодален Gen AI с [Генериране на креативно съдържание за спонсорирани реклами на Amazon Ads]. Решението има възможности за генериране на [изображения] и [видеоклипове], като ще споделим подробности за тези функции в този раздел. Като цяло, решението използва модела за генериране на креативно съдържание [Amazon Nova] в сърцевината си.
Работейки назад от нуждите на клиентите, проучване, проведено от Amazon през март 2023 г., показва, че близо 75% от рекламодателите посочват генерирането на креативно съдържание като основно предизвикателство, когато се стремят да постигнат успех в рекламните кампании. Много рекламодатели, особено тези без вътрешни възможности или подкрепа от агенции, се сблъскват със значителни бариери поради експертните познания и разходите за производство на висококачествени визуални материали. Решението Amazon Ads демократизира създаването на визуално съдържание, като го прави достъпно и ефективно за рекламодатели от всякакви размери. Въздействието е огромно: рекламодателите, които използват генерирани от AI изображения в рекламни кампании на [Спонсорирани марки], виждат [процент на кликване (CTR)], близък до 8%, а изпратените рекламни кампании са с 88% по-големи от тези на потребители, които не използват генерирани от AI изображения.
Миналата година AWS машинно обучение блог публикува статия [предоставяща подробности за решението за генериране на изображения]. Оттогава Amazon внедри [Amazon Nova Canvas] като основа за генериране на креативни изображения. Използвайки текстови подкани или подкани за изображения, заедно с базирани на текст възможности за редактиране и контроли за настройка на цветови схеми и оформление, създавайте изображения с професионално качество.
През септември 2024 г. екипът на Amazon Ads добави възможността за създаване на [кратки видео реклами] от изображения на продукти. Тази функция използва [основните модели, налични в Amazon Bedrock], за да предостави на клиентите контрол чрез контрол на визуалния стил, темпото, движението на камерата, завъртането и мащабирането чрез обработка на естествен език. Тя използва работен поток на агенти, за да опише първо визуална история, след което да генерира съдържанието за историята.
Както беше обсъдено в оригиналната статия, [отговорният AI] е в основата на решението, а креативният модел Amazon Nova идва с вградени контроли за поддръжка на безопасно и отговорно използване на AI, включително водни знаци и модериране на съдържание.
Решението използва [AWS Step Functions] и [AWS Lambda] функции за безсървърна координация на процесите на генериране на изображения и видеоклипове. Генерираното съдържание се съхранява в [Amazon Simple Storage Service] (Amazon S3), метаданните се съхраняват в DynamoDB, докато [Amazon API Gateway] осигурява достъп на клиентите до функциите за генериране. Решението вече включва Amazon Bedrock Guardrails в допълнение към поддържането на интегриране на [Amazon Rekognition] и [Amazon Comprehend] на различни стъпки за допълнителни проверки за безопасност.
Създаването на висококачествено креативно съдържание за реклами в голям мащаб представлява значителни предизвикателства. Gen AI моделите трябва да генерират ангажиращи и подходящи за марката изображения в различни категории продукти и рекламни контексти, като същевременно са лесно достъпни за рекламодатели с всички нива на технически умения. Осигуряването на качество и подобрения са в основата на възможностите за генериране на изображения и видеоклипове. Системата непрекъснато се подобрява чрез обширен HITL процес, реализиран чрез [Amazon SageMaker Ground Truth]. Тази реализация предоставя мощен инструмент, който може да трансформира творческия процес на рекламодателите, като прави създаването на висококачествено визуално съдържание по-лесно достъпно в множество категории продукти и контексти.
Това е само началото на това как Amazon Ads използва Gen AI, за да помогне на рекламодателите, които трябва да създадат съдържание, което отговаря на техните рекламни цели. Решението демонстрира как намаляването на бариерите пред създаването може директно да подобри рекламните кампании, като същевременно се поддържат високи стандарти за отговорно използване на AI.
Ключови технически уроци и дискусии
Неконверсационните приложения се възползват от по-висока толерантност към забавяне, което позволява групова обработка и кеширане, но изискват силни механизми за проверка и по-силни мерки за сигурност поради своята автономност. Тези прозрения са приложими както за неконверсационните, така и за конверсационните реализации на AI:
- Декомпозиция на задачи и работни потоци на агенти – Разлагането на сложни проблеми на по-малки компоненти се е доказало като ценно в различни реализации. Това обмислено разлагане, извършено от експерти в областта, позволи създаването на специализирани модели за конкретни подзадачи, както е демонстрирано от обработката на рецепти на Amazon Pharmacy, където фино настроените SLM могат да обработват дискретни задачи като идентифициране на дози. Тази стратегия позволява създаването на специализирани агенти с ясни стъпки за проверка, което подобрява надеждността и опростява поддръжката. Пример за това е случаят с обявите за продукти на търговци на Amazon чрез многостъпковия работен поток с отделни процеси на генериране и проверка. Освен това, случаят с акценти на отзивите демонстрира рентабилно и контролирано използване на LLM, а именно използване на традиционното ML за предварителна обработка, както и извършване на части, които могат да бъдат свързани със задачата на LLM.
- Хибридни архитектури и избор на модели – Комбинирането на традиционното ML с LLM предлага по-добър контрол и ефективност на разходите в сравнение с чистите LLM подходи. Традиционното ML е отлично за обработка на добре дефинирани задачи, както е показано от системата за акценти на отзивите, използвана за анализ на настроенията и извличане на информация. Екипите на Amazon стратегически разположиха големи и малки езикови модели въз основа на нуждите, комбинирайки RAG с фина настройка за ефективни, специфични за домейна приложения като реализацията на Amazon Pharmacy.
- Стратегии за оптимизиране на разходите – Екипите на Amazon постигнаха ефективност чрез групова обработка, механизми за кеширане за операции с голям обем, специализирани типове инстанции като [AWS Inferentia] и [AWS Trainium], както и оптимизирани избори на модели. Акцентите на отзивите демонстрират как постепенната обработка може да намали изискванията за изчисления, докато Amazon Ads използва Amazon Nova [основополагащи модели] (FM) за рентабилно създаване на креативно съдържание.
- Механизми за осигуряване на качество и контрол – Контролът на качеството разчита на специфични за домейна защитни механизми чрез Amazon Bedrock Guardrails и многослойно валидиране, съчетаващо автоматизирано тестване с човешки оценки. Двустепенният подход на LLM за генериране и проверка помага за предотвратяване на халюцинации в обявите за продукти на търговци на Amazon, а техниките за самоотразяване подобряват точността. Креативният FM на Amazon Nova предлага присъщи отговорни AI контроли и се допълва от непрекъснато A/B тестване и измервания на производителността.
- Реализации на HITL – HITL подходите обхващат множество слоеве, от експертни оценки от фармацевти до обратна връзка от крайни потребители от търговските партньори. Екипите на Amazon са създали структурирани работни потоци за подобрения, които балансират автоматизацията и човешкия надзор въз основа на специфични domain изисквания и рискови профили.
- Отговорен AI и съответствие – Отговорните AI практики включват мерки за безопасност за поглъщане на съдържание, за регулирани среди и спазване на регулации като HIPAA. Екипите на Amazon интегрират модериране на съдържанието за приложения, ориентирани към потребителите, поддържат прозрачност в акцентите на отзивите чрез предоставяне на достъп до информация за източника и прилагат управление на данните с мониторинг за подобряване на качеството и съответствието.
Тези модели позволяват мащабируеми, надеждни и рентабилни Gen AI решения, като същевременно се поддържат стандарти за качество и отговорност. Тези реализации показват, че ефективните решения изискват не само усъвършенствани модели, но и внимателно внимание към архитектурата, операциите и управлението, подкрепени от AWS услуги и установени практики.
Следващи стъпки
Примерите на Amazon, споделени в тази статия, илюстрират как Gen AI може да създаде стойност далеч отвъд традиционните конверсационни асистенти. Каним ви да следвате тези примери или да създадете свои собствени решения, за да видите как Gen AI може да преобрази вашия бизнес или дори вашата индустрия. Можете да посетите страницата [Случаи на употреба на AWS Gen AI], за да започнете процеса на създаване на идеи.
Тези примери показват, че ефективните реализации на Gen AI често се възползват от комбинирането на различни видове модели и работни потоци. За да разберете кои FM се поддържат от услугите на AWS, вижте [Основополагащи модели, поддържани в Amazon Bedrock] и [Основополагащи модели на Amazon SageMaker JumpStart]. Съветваме ви също да проучите [Amazon Bedrock Flows], който може да опрости пътя за изграждане на работни потоци. Освен това, напомняме, че ускорителите Trainium и Inferentia предоставят значителни икономии на разходи в тези приложения.
Както е показано в примерите, които илюстрирахме, работните потоци на агенти се оказаха особено ценни. Препоръчваме ви да разгледате [Amazon Bedrock Agents], за да изградите бързо работни потоци на агенти.
Успешното внедряване на Gen AI е нещо повече от избор на модел - то представлява цялостен процес на разработка на софтуер от експериментиране до наблюдение на приложения. За да започнете да изграждате основите си в тези основни услуги, каним ви да разгледате [Amazon QuickStart].
За да научите повече за това как Amazon използва AI, вижте [AI в Amazon] в Amazon News.