Подобряване на базите знания с усъвършенствано разделяне на части (Chunking)
Кабелната индустрия бързо внедрява DOCSIS 4.0 мрежи. Този нов стандарт представлява многостранни предизвикателства, засягащи персонала, процедурите и технологиите. Мултисистемните оператори (MSO) се сблъскват със сложни решения при планирането на капацитета, текущата поддръжка и отстраняването на неизправности между мрежите за достъп и опорните мрежи. Всичко това, докато непрекъснато се стремят да подобрят изживяването на крайния клиент. Генеративният AI предлага на MSO платформа за рационализиране на този процес. Нека да разгледаме как.
Планирането на мрежовия капацитет включва вземане на ключови решения: кога да се разделят възлите, как да се разпредели спектърът и намирането на оптималния баланс между честотната лента за upstream и downstream. Инженерните екипи трябва да интерпретират обширна, фрагментирана документация – спецификации на индустрията, ръководства за оборудване на доставчици и вътрешни ръководства – за да извлекат информация и да приложат технически опит за далновидни решения.
Центровете за мрежови операции (NOC) управляват огромни количества телеметрични данни, аларми и показатели за производителност, изискващи бърза диагностика на аномалии. Еволюцията на виртуалните системи за терминиране на кабелни модеми (vCMTS) ще засили още повече обемите на телеметрията, с непрекъснато поточно предаване на данни на интервали от само няколко секунди. Това контрастира рязко с традиционното запитване по Simple Network Management Protocol (SNMP), което може да бъде толкова рядко, колкото на всеки 15-30 минути.
Не всички инженери в NOC притежават задълбочени познания за DOCSIS 4.0. Необходимостта от търсене на процедури за отстраняване на неизправности може да забави приемането и да възпрепятства текущата поддръжка. Експериментите, използващи общи, широко достъпни големи езикови модели (LLM) за отговор на специфични за домейна въпроси, като планиране на капацитета на DOCSIS, показват ненадеждни резултати. Тези модели често бъркат европейските и северноамериканските стандарти, предоставяйки противоречиви или неправилни насоки.
Едно от най-непосредствените приложения на генеративния AI е изграждането на интелигентни асистенти за консултиране със специфични за домейна ресурси. Това включва спецификациите на CableLabs DOCSIS, бели книги и вътрешни инженерни ръководства. Задвижвани от Amazon Bedrock, MSO могат бързо да мащабират своите прототипни асистенти до производство за задачи като извличане, обобщаване и въпроси и отговори. Примерите включват определяне кога да се разделят възлите, разпределяне на канали и ширини, интерпретиране на показатели за качество на сигнала или събиране на изисквания за сигурност на кабелни модеми и CMTS.
Ефективността на тези асистенти обаче зависи от няколко фактора, освен само от данните. Предварителната обработка на данни, изборът на правилната стратегия за разделяне на части (chunking) и прилагането на предпазни мерки за управление са от решаващо значение.
Предварителна обработка на данни
От съществено значение е да се признае, че дори привидно безобидни елементи могат да повлияят на качеството на резултатите от търсенето. Например, наличието на различни заглавки и долни колонтитули на всяка страница от спецификациите на DOCSIS 4.0 и други източници на данни може да замърси контекста на търсенето. Една проста стъпка за премахване на тази допълнителна информация демонстрира значително подобрение в качеството на резултатите. Следователно предварителната обработка на данни не е универсално решение, а по-скоро развиващ се подход, съобразен със специфичните характеристики на всеки източник на данни.
Стратегия за разделяне на части (Chunking)
Разделянето на части (Chunking) е жизненоважно за разбиването на големи документи на по-малки, управляеми части, които се вписват в контекстния прозорец на генеративните AI системи. Това позволява по-ефективна и по-бърза обработка на информацията. Освен това гарантира извличането на изключително подходящо съдържание, намалява шума, подобрява скоростта на извличане и въвежда по-подходящ контекст като част от процеса RAG.
Идеалният размер и метод на разделяне на части са силно повлияни от домейна, съдържанието, моделите на заявки и ограниченията на LLM. За техническите спецификации на DOCSIS 4.0 могат да се обмислят няколко метода за разделяне на части, всеки със своите предимства и ограничения:
Разделяне на части с фиксиран размер (Fixed-size chunking): Това е най-простият подход, разделящ съдържанието на части с предварително определен размер (напр. 512 токена на част). Включва конфигурируем процент на припокриване за поддържане на непрекъснатост. Въпреки че предлага предвидими размери на частите (и разходи), може да раздели съдържанието по средата на изречението или да раздели свързана информация. Този метод е полезен за еднородни данни с ограничено осъзнаване на контекста и предвидими ниски разходи.
Разделяне на части по подразбиране (Default chunking): Този метод разделя съдържанието на части от приблизително 300 токена, като същевременно спазва границите на изреченията. Той гарантира, че изреченията остават непокътнати, което го прави по-естествен за обработка на текст. Той обаче предлага ограничен контрол върху размера на частите и запазването на контекста. Работи добре за основна обработка на текст, където пълните изречения са важни, но сложните връзки между съдържанието са по-малко критични.
Йерархично разделяне на части (Hierarchical chunking): Този структуриран подход установява връзки родител-дете в рамките на съдържанието. По време на извличането системата първоначално извлича дъщерни части, но ги заменя с по-широки родителски части, за да предостави на модела по-изчерпателен контекст. Този метод се отличава с поддържането на структурата на документа и запазването на контекстуалните връзки. Работи най-добре с добре структурирано съдържание, като техническа документация.
Семантично разделяне на части (Semantic chunking): Този метод разделя текста въз основа на значението и контекстуалните връзки. Той използва буфер, който взема предвид околния текст, за да поддържа контекста. Въпреки че е изчислително по-взискателен, той се отличава с поддържането на съгласуваността на свързаните концепции и техните взаимоотношения. Този подход е подходящ за съдържание на естествен език, като преписи от разговори, където свързаната информация може да бъде разпръсната.
За документацията на DOCSIS, с нейните добре дефинирани секции, подсекции и ясни връзки родител-дете, йерархичното разделяне на части се оказва най-подходящо. Способността на този метод да поддържа свързаните технически спецификации заедно, като същевременно запазва връзката им с по-широки секции, е особено ценна за разбирането на сложните спецификации на DOCSIS 4.0. По-големият размер на родителските части обаче може да доведе до по-високи разходи. Важно е да се извърши задълбочена проверка за вашите специфични данни, като се използват инструменти като RAG оценка и възможности за LLM-като-съдия.
Изграждане на AI агенти за DOCSIS 4.0
AI агент, както е дефиниран от Питър Норвиг и Стюарт Ръсел, е изкуствена единица, способна да възприема заобикалящата я среда, да взема решения и да предприема действия. За рамката DOCSIS 4.0 Intelligence концепцията за AI Agent е адаптирана като всеобхватна интелигентна автономна единица. Тази агентна рамка може да планира, разсъждава и действа, с достъп до курирана база знания за DOCSIS и предпазни мерки за защита на интелигентната оркестрация.
Експериментите показват, че zero-shot chain-of-thought prompting на LLM за специфични за домейна въпроси като изчисления на мрежовия капацитет на DOCSIS може да доведе до неточни резултати. Различните LLM могат да използват по подразбиране различни стандарти (европейски или американски), подчертавайки необходимостта от по-детерминиран подход.
За да се справи с това, може да се изгради DOCSIS AI Agent, използвайки Amazon Bedrock Agents. Агентът се захранва от LLM(и) и се състои от групи за действие (Action Groups), бази знания (Knowledge Bases) и инструкции (подкани - Prompts). Той определя действията въз основа на потребителските входове и отговаря с подходящи отговори.
Конструиране на DOCSIS AI Agent
Ето разбивка на градивните елементи:
Основен модел (Foundation Model): Първата стъпка е да изберете основен модел (FM), който агентът ще използва за интерпретиране на потребителския вход и подкани. Amazon Nova Pro 1.0 може да бъде подходящ избор от гамата от най-съвременни FM, налични в Amazon Bedrock.
Инструкции (Instructions): Ясните инструкции са от решаващо значение за дефиниране на това, което агентът е проектиран да прави. Разширените подкани позволяват персонализиране на всяка стъпка от оркестрацията, включително използването на AWS Lambda функции за анализиране на изходите.
Групи за действие (Action Groups): Групите за действие се състоят от действия (Actions), които са инструменти, които прилагат специфична бизнес логика. За изчисляване на капацитета на DOCSIS 4.0 може да се напише детерминирана Lambda функция, която да приема входни параметри и да извършва изчислението въз основа на дефинирана формула.
Подробности за функцията (Function Details): Необходимо е да се дефинират подробностите за функцията (или API схема, съвместима с Open API 3.0). Например, честотният план може да бъде маркиран като необходим параметър, докато параметрите за downstream или upstream могат да бъдат незадължителни.
Изпълнението на AI Agent се управлява от API операцията InvokeAgent, която се състои от три основни стъпки: предварителна обработка, оркестрация и последваща обработка. Стъпката на оркестрация е ядрото на работата на агента:
Потребителски вход (User Input): Оторизиран потребител инициира AI асистента.
Интерпретация и разсъждение (Interpretation and Reasoning): AI агентът интерпретира входа, използвайки FM, и генерира обосновка за следващата стъпка.
Извикване на група за действие (Action Group Invocation): Агентът определя приложимата група за действие или запитва базата знания.
Предаване на параметри (Parameter Passing): Ако трябва да се извика действие, агентът изпраща параметрите на конфигурираната Lambda функция.
Отговор на Lambda функция (Lambda Function Response): Lambda функцията връща отговора на извикващия Agent API.
Генериране на наблюдение (Observation Generation): Агентът генерира наблюдение от извикването на действие или обобщаването на резултатите от базата знания.
Итерация (Iteration): Агентът използва наблюдението, за да увеличи основната подкана, която след това се интерпретира отново от FM. Този цикъл продължава, докато не се върне отговор на потребителя или не се поиска допълнителна информация.
Увеличаване на основната подкана (Base Prompt Augmentation): По време на оркестрацията основният шаблон за подкана се увеличава с инструкциите на агента, групите за действие и базите знания. След това FM предсказва най-добрите стъпки за изпълнение на потребителския вход.
Чрез прилагането на тези стъпки може да се създаде DOCSIS AI Agent, който е способен да извика инструмент за изчисляване на капацитета на DOCSIS, използвайки дефинирана формула. В практически сценарии множество агенти могат да работят заедно по сложни задачи, използвайки споделени бази знания.
Установяване на предпазни мерки за отговорен AI
Ключов аспект на всяко внедряване на AI е осигуряването на отговорна и етична употреба. Като част от стабилна стратегия за отговорен AI, предпазните мерки трябва да бъдат приложени от самото начало. За да се осигурят подходящи и безопасни потребителски изживявания, съобразени с организационните политики на MSO, могат да се използват Amazon Bedrock Guardrails.
Bedrock Guardrails позволяват дефинирането на политики за оценка на потребителските входове. Те включват независими от модела оценки, използващи проверки за контекстуално заземяване, блокиране на отказани теми с филтри за съдържание, блокиране или редактиране на лична идентифицираща информация (PII) и гарантиране, че отговорите се придържат към конфигурираните политики.
Например, определени действия, като манипулиране на чувствителни мрежови конфигурации, може да се наложи да бъдат ограничени за специфични потребителски роли, като агенти на кол центрове на първа линия.
Пример: Предотвратяване на неоторизирани промени в конфигурацията
Да разгледаме сценарий, при който нов инженер по поддръжката се опитва да деактивира MAC филтрирането на модема на абонат за целите на отстраняване на неизправности. Деактивирането на филтрирането на MAC адреси представлява риск за сигурността, потенциално позволявайки неоторизиран достъп до мрежата. Bedrock Guardrail може да бъде конфигуриран да откаже такива чувствителни промени и да върне конфигурирано съобщение на потребителя.
Пример: Защита на чувствителна информация
Друг пример включва обработка на чувствителна информация като MAC адреси. Ако потребител случайно въведе MAC адрес в подканата за чат, Bedrock Guardrail може да идентифицира този модел, да блокира подканата и да върне предварително дефинирано съобщение. Това предотвратява достигането на подканата до LLM, като гарантира, че чувствителните данни не се обработват неподходящо. Можете също да използвате регулярен израз, за да дефинирате модели, които предпазната мярка да разпознава и да реагира.
Bedrock Guardrails осигуряват последователен и стандартизиран подход към защитите за безопасност в различните FM. Те предлагат разширени функции като проверки за контекстуално заземяване и автоматизирани проверки за разсъждение (символен AI), за да се гарантира, че изходите са в съответствие с известните факти и не се основават на измислени или непоследователни данни.
Пътят напред: Възприемане на AI за DOCSIS 4.0 и отвъд
Преходът към DOCSIS 4.0 е критичен момент за кабелните оператори. AI може значително да ускори този процес. Ефективното внедряване на AI не изисква непременно сложни рамки или специализирани библиотеки. Директният и прогресивен подход често е по-успешен:
Започнете просто (Start Simple): Започнете с подобряване на основните RAG имплементации, за да повишите производителността на служителите, като се фокусирате върху специфични за индустрията и домейна случаи на употреба.
Напредвайте постепенно (Advance Gradually): Напредвайте към агентни модели за автоматизирано вземане на решения и обработка на сложни задачи.
Чрез интегриране на бази знания, AI агенти и надеждни предпазни мерки, MSO могат да изградят сигурни, ефективни и готови за бъдещето AI приложения. Това ще им позволи да бъдат в крак с напредъка в DOCSIS 4.0 и кабелните технологии.
Цифровата трансформация на кабелната индустрия се ускорява и интегрирането на AI се превръща в конкурентен императив. Операторите, възприемащи тези технологии, са по-добре позиционирани да предоставят превъзходно качество на услугата, да оптимизират производителността на мрежата и да стимулират оперативната ефективност. Този съвместен подход, съчетаващ AI и човешки опит, ще създаде по-устойчиви, ефективни и интелигентни мрежи за бъдещето.