Generatieve kunstmatige intelligentie (AI) transformeert bedrijfsvoeringen via diverse toepassingen, waaronder conversatieassistenten zoals Rufus en Amazon Seller Assistant van Amazon. Bovendien werken enkele van de meest invloedrijke generatieve AI-toepassingen autonoom op de achtergrond. Dit is een essentiële functie die bedrijven in staat stelt hun activiteiten, gegevensverwerking en contentcreatie op grote schaal te transformeren. Deze niet-conversatie implementaties verschijnen vaak in de vorm van agent-workflows die worden aangedreven door grote taalmodellen (LLM’s) en voeren specifieke zakelijke doelen uit in diverse sectoren zonder directe gebruikersinteractie.
In vergelijking met conversatietoepassingen, die profiteren van real-time feedback van gebruikers en supervisie, hebben niet-conversatietoepassingen unieke voordelen zoals een hogere latentietolerantie, batchverwerking en caching. Echter, hun autonome aard vereist sterkere beveiligingsmaatregelen en een grondige kwaliteitsborging.
Dit artikel onderzoekt vier verschillende toepassingsgevallen van generatieve AI bij Amazon:
- Verbetering van het aanmaken van Amazon-productinformatie en catalogusgegevenskwaliteit – Laat zien hoe LLM’s verkooppartners en Amazon kunnen helpen bij het grootschalig creëren van productinformatie van hogere kwaliteit
- Receptverwerking bij Amazon Pharmacy – Demonstreert implementatie in een sterk gereguleerde omgeving en taakopdeling voor agent-workflows
- Review Hoogtepunten – Illustreert grootschalige batchverwerking, integratie van traditionele machine learning (ML), het gebruik van kleine LLM’s en kosteneffectieve oplossingen
- Creatieve beeld- en videogeneratie voor Amazon Advertising – Benadrukt multimodale generatieve AI en verantwoorde AI-praktijken in creatieve inspanningen
Elke casestudy onthult verschillende aspecten van het implementeren van niet-conversatietoepassingen van generatieve AI, van technische architecturen tot operationele overwegingen. Aan de hand van deze voorbeelden zult u begrijpen hoe de volledige suite van AWS-services, waaronder Amazon Bedrock en Amazon SageMaker, een sleutelrol speelt bij het succes. Ten slotte presenteren we belangrijke lessen die in de verschillende use cases gemeenschappelijk zijn.
Hoogwaardige productinformatie creëren op Amazon
Het creëren van hoogwaardige productinformatie met uitgebreide details helpt klanten bij het nemen van weloverwogen aankoopbeslissingen. Traditioneel voeren verkooppartners handmatig talrijke kenmerken voor elk product in. De nieuwe generatieve AI-oplossing, die in 2024 werd geïntroduceerd, transformeert dit proces door proactief productinformatie van merkwebsites en andere bronnen te verzamelen, waardoor de klantervaring wordt verbeterd.
Generatieve AI vereenvoudigt de ervaring voor verkooppartners door de invoer van informatie in verschillende formaten (zoals URL’s, productafbeeldingen of spreadsheets) te ondersteunen en deze automatisch om te zetten in de vereiste structuur en indeling. Meer dan 900.000 verkooppartners hebben het gebruikt en bijna 80% van de gegenereerde productinformatie-ontwerpen wordt geaccepteerd met minimale bewerkingen. De door AI gegenereerde content biedt uitgebreide productdetails, wat bijdraagt aan een verbeterde helderheid en nauwkeurigheid, wat vervolgens helpt om producten vindbaar te maken in de zoekopdrachten van klanten.
Voor nieuwe productinformatie begint de workflow met een verkooppartner die initiële informatie verstrekt. Vervolgens genereert het systeem uitgebreide productinformatie, inclusief titels, beschrijvingen en gedetailleerde attributen, met behulp van meerdere informatiebronnen. De gegenereerde productinformatie wordt gedeeld met de verkooppartner ter goedkeuring of bewerking.
Voor bestaande productinformatie identificeert het systeem producten die kunnen worden verrijkt met aanvullende gegevens.
Data-integratie en -verwerking voor massale output
Het Amazon-team heeft een krachtige connector voor interne en externe bronnen gebouwd voor LLM-vriendelijke API’s met behulp van Amazon Bedrock en andere AWS-services, waardoor een naadloze integratie met de backend-systemen van Amazon.com mogelijk is.
Een belangrijke uitdaging is het synthetiseren van diverse gegevens tot samenhangende productinformatie over meer dan 50 attributen, waaronder tekst en numerieke waarden. LLM’s hebben specifieke controlemechanismen en instructies nodig om e-commerceconcepten nauwkeurig te interpreteren, omdat ze mogelijk niet optimaal presteren met dergelijke complexe, diverse gegevens. Een LLM kan bijvoorbeeld de “capaciteit” van een messenblok verwarren met afmetingen in plaats van het aantal sleuven, of “Fit Wear” interpreteren als een stijlomschrijving in plaats van een merknaam. Prompt engineering en finetuning werden uitgebreid gebruikt om deze gevallen aan te pakken.
Genereren en valideren met LLM’s
De gegenereerde productinformatie moet volledig en correct zijn. Om dit doel te bereiken, implementeerde de oplossing een meerstapsworkflow die LLM’s gebruikt voor zowel het genereren als het valideren van attributen. Deze dubbele LLM-aanpak helpt hallucinaties te voorkomen, wat cruciaal is bij het behandelen van veiligheidsproblemen of technische specificaties. Het team ontwikkelde geavanceerde zelfreflectietechnieken om ervoor te zorgen dat de generatie- en validatieprocessen elkaar effectief aanvullen.
Meerlaagse kwaliteitsborging met menselijke feedback
Menselijke feedback vormt de kern van de kwaliteitsborging van de oplossing. Het proces omvat een eerste beoordeling door Amazon.com-experts, samen met input van verkooppartners ter acceptatie of bewerking. Dit zorgt voor outputs van hoge kwaliteit en stelt u in staat om de AI-modellen voortdurend te verbeteren.
Het kwaliteitsborgingsproces omvat geautomatiseerde testmethoden die ML-, algoritme- of op LLM gebaseerde beoordelingen combineren. Mislukte productinformatie wordt opnieuw gegenereerd; succesvolle productinformatie ondergaat verdere tests. Met behulp van [causale inferentiemodellen] identificeren we de onderliggende kenmerken die de prestaties van de productinformatie beïnvloeden, evenals verrijkingsmogelijkheden. Uiteindelijk wordt productinformatie die de kwaliteitscontroles doorstaat en wordt geaccepteerd door de verkooppartner gepubliceerd, zodat klanten nauwkeurige en uitgebreide productinformatie ontvangen.
Optimalisatie van systeembreed applicatieniveau voor nauwkeurigheid en kosten
Gezien de hoge normen voor nauwkeurigheid en volledigheid, hanteerde het team een alomvattende experimentele aanpak, ondersteund door een geautomatiseerd optimalisatiesysteem. Dit systeem onderzoekt verschillende combinaties van LLM’s, prompts, playbooken, workflows en AI-tools om hogere zakelijke metrics, inclusief kosten, te verbeteren. Door continue evaluatie en geautomatiseerde tests kan de productinformatiegenerator de prestaties, kosten en efficiëntie effectief in evenwicht brengen, terwijl hij zich aanpast aan nieuwe AI-ontwikkelingen. Deze aanpak betekent dat klanten kunnen profiteren van productinformatie van hoge kwaliteit en dat verkooppartners toegang hebben tot geavanceerde tools voor het efficiënt creëren van productinformatie.
Op generatieve AI gebaseerde receptverwerking bij Amazon Pharmacy
In het eerder besproken voorbeeld van verkopersproductinformatie, gebaseerd op een hybride workflow van mens en machine, laat Amazon Pharmacy zien hoe deze principes kunnen worden toegepast in een sector die wordt gereguleerd door de [Health Insurance Portability and Accountability Act] (HIPAA). In [Inzicht in hoe Amazon Pharmacy SageMaker gebruikt om LLM-gebaseerde chatbots te maken], deelden we een conversatieassistent voor specialisten in patiëntenzorg; nu richten we ons op geautomatiseerde receptverwerking.
Bij Amazon Pharmacy hebben we een AI-systeem ontwikkeld dat is gebouwd op Amazon Bedrock en SageMaker om apotheekmedewerkers te helpen medicatie-instructies nauwkeuriger en efficiënter te verwerken. De oplossing integreert menselijke experts en LLM’s in de rollen van het creëren en valideren om de nauwkeurigheid van de medicatie-instructies van de patiënt te verbeteren.
Ontwerp van workflow met gedelegeerde taken voor nauwkeurigheid in de gezondheidszorg
Het receptverwerkingssysteem combineert menselijke expertise (gegevensinvoerders en apothekers) met AI-ondersteuning om richtingsaanbevelingen en feedback te geven. De workflow begint met een receptkennisbank-preprocessor die ruwe recepttekst in [Amazon DynamoDB] standaardiseert en vervolgens een fijn afgestemde kleine taalmodel (SLM) op SageMaker gebruikt om belangrijke componenten te identificeren (dosis, frequentie).
Het systeem integreert naadloos experts zoals gegevensinvoerders en apothekers, waarbij generatieve AI de algehele workflow aanvult, waardoor de flexibiliteit en nauwkeurigheid worden verbeterd voor een betere dienstverlening aan onze patiënten. Vervolgens genereert een richtingsassemblagesysteem met veiligheidsmaatregelen instructies voor de gegevensinvoerders om de richtingen die ze typen te creëren via suggestiemodules. Markeringmodules markeren of corrigeren fouten en dwingen extra veiligheidsmaatregelen af als feedback aan de gegevensinvoerder. Technici voltooien uiteindelijk uiterst nauwkeurige, veilig getypte richtingen voor een apotheker om feedback te geven of downstreamdiensten om richtingen uit te voeren.
Een hoogtepunt van deze oplossing is het gebruik van taakopdeling, waardoor ingenieurs en wetenschappers het hele proces kunnen opsplitsen in meerdere stappen, waaronder afzonderlijke modules bestaande uit substappen. Het team maakte uitgebreid gebruik van fijn afgestemde SLM’s. Bovendien wordt het proces versterkt door traditionele ML-routines, zoals [Named Entity Recognition (NER)] of finale confidence ratings met behulp van [regressiemodellen]. Het gebruik van SLM’s en traditionele ML in een dergelijk gecontroleerd, goed gedefinieerd proces maakt een aanzienlijk snellere verwerking mogelijk, met behoud van robuuste veiligheidsnormen dankzij de toevoeging van geschikte veiligheidsmaatregelen in specifieke stappen.
Het systeem bevat meerdere goed gedefinieerde substappen, waarbij elk subproces werkt als een gespecialiseerde component die op een semi-autonome maar collaboratieve manier naar een algemeen doel werkt binnen de workflow. Deze ontledingsaanpak, met specifieke validaties in elke fase, bleek efficiënter te zijn dan end-to-end oplossingen en kan ook fijn afgestemde SLM’s gebruiken. Het team gebruikt [AWS Fargate] om de workflow te coördineren, omdat deze momenteel is geïntegreerd in bestaande backend-systemen.
Tijdens het productontwikkelingsproces van het team stapten ze over op Amazon Bedrock, dat hoogwaardige LLM’s biedt met functies die zijn afgestemd op generatieve AI-toepassingen. SageMaker ondersteunt een verdere LLM-selectie, diepere aanpassingen en traditionele ML-methoden. Lees [Hoe taakopdeling en kleinere LLM’s AI betaalbaarder kunnen maken] en lees de [Amazon Pharmacy Business-casestudy] voor meer informatie over deze technologie.
Het bouwen van een betrouwbare applicatie met veiligheidsmaatregelen en HITL
Om te voldoen aan de HIPAA-normen en de privacy van patiënten te waarborgen, hebben we strenge data governance-praktijken geïmplementeerd, terwijl we een hybride aanpak hanteren die fijn afgestemde LLM’s gebruikt met Amazon Bedrock API’s en [Retrieval-Augmented Generation] (RAG) gebruikt met [Amazon OpenSearch Service]. Deze combinatie maakt efficiënte kennisuitwisseling mogelijk met behoud van een hoge precisie voor specifieke subtaken.
Het beheren van LLM-hallucinaties, wat cruciaal is in de gezondheidszorg, vereist meer dan fijnafstemming op grote datasets. Onze oplossing implementeerde domeinspecifieke veiligheidsmaatregelen die zijn gebouwd op [Amazon Bedrock Guardrails] en worden aangevuld met mens-in-de-lus (HITL) toezicht om de betrouwbaarheid van het systeem te verbeteren.
Het Amazon Pharmacy-team blijft dit systeem verbeteren met realtime feedback van apothekers en uitgebreide functies voor receptuurformaten. Deze evenwichtige aanpak van innovatie, domeinexpertise, geavanceerde AI-diensten en menselijk toezicht verbetert niet alleen de operationele efficiëntie, maar betekent ook dat AI-systemen gezondheidsprofessionals goed kunnen ondersteunen, wat resulteert in optimale patiëntenzorg.
Door generatieve AI aangedreven Klantbeoordelingshoogtepunten
Ons vorige voorbeeld liet zien hoe Amazon Pharmacy LLM’s integreert in realtime workflows voor receptverwerking, terwijl deze use case laat zien hoe vergelijkbare technologieën (SLM’s, traditionele ML en doordacht workflowontwerp) kunnen worden toegepast op grootschalige [offline batchinferentie].
Amazon introduceerde [AI-gegenereerde klantbeoordelingshoogtepunten] om meer dan 200 miljoen jaarlijkse productbeoordelingen en -beoordelingen te verwerken. Deze functie destilleert gedeelde klantinzichten in beknopte paragrafen, waarbij positieve, neutrale en negatieve feedback over producten en hun functies wordt belicht. Shoppers kunnen snel een consensus bereiken en de transparantie behouden door toegang te bieden tot relevante klantrecensies en de originele recensies te bewaren.
Het systeem bevordert winkelbeslissingen via een interface waar klanten recensiehoogtepunten kunnen bekijken door specifieke functies te selecteren (zoals beeldkwaliteit, afstandsbedieningsfunctionaliteit of installatiegemak voor Fire TV). Deze functies worden weergegeven via groene vinkjes voor positieve gevoelens, oranje mintekens voor negatieve gevoelens en grijs voor neutraal, wat betekent dat shoppers snel de sterke en zwakke punten van een product kunnen identificeren op basis van geverifieerde aankooprecensies.
LLM’s gebruiken voor offline use cases op een kosteneffectieve manier
Het team ontwikkelde een kosteneffectieve hybride architectuur die traditionele ML-methoden combineert met gespecialiseerde SLM’s. Deze aanpak wijst sentimentanalyse en keywordextractie toe aan traditionele ML, terwijl complexe taken voor tekstgeneratie worden uitgevoerd met geoptimaliseerde SLM’s, waardoor de nauwkeurigheid en verwerkingsefficiëntie worden verbeterd.
De functie maakt gebruik van [SageMaker Batch Transform] voor asynchrone verwerking, wat de kosten aanzienlijk verlaagt in vergelijking met realtime endpoints. Om een vrijwel nul latency-ervaring te bieden, [cachet] de oplossing de geëxtraheerde inzichten en bestaande recensies, waardoor de wachttijden worden verkort en meerdere klanten tegelijkertijd toegang hebben zonder extra berekeningen. Het systeem verwerkt nieuwe recensies in stappen, waardoor inzichten worden bijgewerkt zonder de volledige dataset opnieuw te verwerken. Voor optimale prestaties en kosteneffectiviteit gebruikt de functie [Amazon Elastic Compute Cloud] (Amazon EC2) [Inf2-instanties] voor batchtransformatie taken, [waardoor een tot 40% betere prijs-prestatieverhouding wordt geboden in vergelijking met alternatieven].
Door deze uitgebreide aanpak te volgen, beheerde het team effectief de kosten, terwijl het tegelijkertijd aanzienlijke hoeveelheden recensies en producten verwerkte om de oplossing zowel efficiënt als schaalbaar te maken.
Door AI aangedreven creatieve beeld- en videogeneratie voor Amazon Advertising
Waar we in de eerdere voorbeelden voornamelijk door tekst gebaseerde generatieve AI-toepassingen hebben verkend, zullen we nu verschuiven naar multimodale generatieve AI met [Creatie van creatieve inhoud met gesponsorde advertenties van Amazon Advertising]. Deze oplossing heeft [beeld-] en [video-] generatie functionaliteiten, waarbij we details over deze functies zullen delen in deze sectie. In het algemeen zijn de kernmodellen van de oplossing [Amazon Nova]-modellen voor het genereren van creatieve inhoud.
Amazon, terugredenerend vanaf de behoeften van de klant, ontdekte in een enquête uit maart 2023 dat bijna 75% van de adverteerders het genereren van creatieve content als hun belangrijkste uitdaging beschouwde bij het streven naar succesvolle reclamecampagnes. Veel adverteerders, vooral degenen zonder interne mogelijkheden of ondersteuning van bureaus, ondervonden aanzienlijke barrières vanwege de expertise en de kosten die gemoeid zijn met het produceren van hoogwaardige visuals. De Amazon Advertising-oplossing democratiseert het maken van visuele content en maakt het toegankelijk en efficiënt voor adverteerders van alle groottes. De impact is aanzienlijk: adverteerders die AI-gegenereerde beelden gebruikten in [gesponsorde merk-] advertentiecampagnes zagen een [doorklikratio (CTR)] van bijna 8% en dienden 88% meer campagnes in dan niet-gebruikers.
Vorig jaar publiceerde de AWS Machine Learning-blog een artikel dat [een oplossing voor beeldgeneratie in detail beschreef]. Sindsdien heeft Amazon [Amazon Nova Canvas] overgenomen als basis voor creatieve beeldgeneratie. Door tekst- of beeldaanwijzingen te gebruiken, in combinatie met op tekst gebaseerde bewerkingsfuncties en controle over kleurenschema’s en lay-outaanpassingen, kunnen beelden van professionele kwaliteit worden gemaakt.
In september 2024 voegde het Amazon Advertising-team de mogelijkheid toe om [korte videoadvertenties] te maken van productafbeeldingen. Deze functie maakt gebruik van [fundamentele modellen die beschikbaar zijn op Amazon Bedrock] om klanten controle te geven via natuurlijke taal bij het beheersen van visuele stijlen, tempo, camerabewegingen, rotatie en zoom. Het gebruikt een agent workflow om eerst een video storyboard te beschrijven en vervolgens de verhaalinhoud te genereren.
Zoals besproken in het originele artikel, vormt [verantwoorde AI] de kern van deze oplossing, met Amazon Nova creatieve modellen met ingebouwde controles om veilig en verantwoord AI-gebruik te ondersteunen, waaronder watermerken en contentmoderatie.
De oplossing gebruikt [AWS Step Functions] en [AWS Lambda]-functies om de serverless coördinatie van de beeld- en videogeneratie processen te orkestreren. Gegenereerde content wordt opgeslagen in [Amazon Simple Storage Service] (Amazon S3), metadata wordt opgeslagen in DynamoDB, terwijl [Amazon API Gateway] klanttoegang biedt tot de generatie functionaliteiten. De oplossing heeft nu Amazon Bedrock Guardrails toegevoegd naast het behouden van [Amazon Rekognition] en [Amazon Comprehend] integraties in verschillende stappen voor extra veiligheidscontroles.
Het creëren van hoogwaardige reclamecreaties op schaal brengt complexe uitdagingen met zich mee. Generatieve AI-modellen moeten aantrekkelijke afbeeldingen genereren die geschikt zijn voor het merk in verschillende productcategorieën en reclamecontexten, terwijl het gemakkelijk toegankelijk blijft voor adverteerders van alle technologische niveaus. Kwaliteitsborging en verbetering liggen ten grondslag aan de functionaliteiten voor het genereren van afbeeldingen en video’s. Dit systeem wordt continu verbeterd via uitgebreide HITL-processen die worden ingeschakeld via [Amazon SageMaker Ground Truth]. Deze implementatie biedt een krachtig hulpmiddel dat het creatieproces van adverteerders transformeert, waardoor het maken van visuele inhoud van hoge kwaliteit gemakkelijker wordt in verschillende productcategorieën en contexten.
Dit is nog maar het begin van de manier waarop Amazon Advertising generatieve AI gebruikt om adverteerders te helpen die content moeten creëren die is afgestemd op hun advertentiedoelen. De oplossing laat zien hoe het verlagen van de creatiebarrière de prestaties van reclamecampagnes direct kan verbeteren, terwijl hoge normen voor verantwoordelijk AI-gebruik worden gehandhaafd.
Belangrijkste technische lessen en discussies
Niet-conversatietoepassingen profiteren van een hogere latentietolerantie, waardoor batchverwerking en caching mogelijk zijn, maar hebben robuuste validatiemechanismen en sterkere beveiligingsmaatregelen nodig vanwege hun autonomie. Deze inzichten zijn van toepassing op zowel niet-conversatie- als conversatie-AI-implementaties:
Taakopdeling en agent workflows – Het opsplitsen van complexe problemen in kleinere componenten is in verschillende implementaties waardevol gebleken. Deze doordachte indeling door domeinexperts heeft het mogelijk gemaakt om gespecialiseerde modellen te maken voor specifieke subtaken, zoals te zien is in de receptverwerking van Amazon Pharmacy, waar fijn afgestemde SLM’s discrete taken aankunnen, zoals dosisidentificatie. Deze strategie maakt het mogelijk om gespecialiseerde agents met duidelijke validatiestappen te creëren, wat de betrouwbaarheid verbetert en het onderhoud vereenvoudigt. De use case van Amazon-verkopersproductinformatie illustreert dit via de multi-staps workflow met afzonderlijke generatie- en validatieprocessen. Bovendien illustreert de recensiehoogtepunten use case een kosteneffectief en gecontroleerd LLM-gebruik, namelijk door traditionele ML te gebruiken voor voorverwerking en het uitvoeren van delen die kunnen worden geassocieerd met LLM-taken.
Hybride architecturen en modelselectie – Het combineren van traditionele ML met LLM’s biedt betere controle en kosteneffectiviteit in vergelijking met puur LLM-gebaseerde methoden. Traditionele ML blinkt uit in het afhandelen van goed gedefinieerde taken, zoals aangetoond door het recensiehoogtepuntensysteem dat wordt gebruikt voor sentimentanalyse en informatie-extractie. Amazon-teams hebben grote en kleine taalmodellen strategisch ingezet op basis van de behoeften, door RAG te combineren met finetuning voor effectieve domeinspecifieke toepassingen zoals de implementatie van Amazon Pharmacy.
Strategieën voor kostenoptimalisatie – Amazon-teams hebben efficiëntie bereikt door batchverwerking, cachingmechanismen voor hoge throughput-bewerkingen, gespecialiseerde instantietypen zoals [AWS Inferentia] en [AWS Trainium] en geoptimaliseerde modelselectie. Recensiehoogtepunten laten zien hoe incrementele verwerking de computer vereisten kan verminderen, terwijl Amazon advertenties Amazon Nova [fundamentele modellen] (FM) gebruikt om kosteneffectief creatieve content te creëren.
Kwaliteitsborging en controlemechanismen – Kwaliteitscontrole is afhankelijk van domeinspecifieke beveiligingsmaatregelen via Amazon Bedrock Guardrails en meerlaagse validatie die geautomatiseerde tests combineert met menselijke beoordelingen