Tencent представя Hunyuan-T1: AI с Mamba архитектура

Развиващият се пейзаж на оптимизацията на големи езикови модели

Арената на изкуствения интелект преживява парадигмална промяна, особено в етапите на усъвършенстване след първоначалното обучение на големи езикови модели (LLMs). Обучението с подкрепление (RL), сложна техника, при която моделите се учат чрез проба и грешка, водени от награди, се очерта като мощна сила, движеща значителни подобрения в производителността. Този подход премина от академично любопитство към основна стратегия за водещите разработчици на AI. Впечатляващите способности, демонстрирани от модели като O-серията на OpenAI и забележителния DeepSeek R1, служат като убедително доказателство, подчертавайки ключовата функция на обучението с подкрепление за усъвършенстване на резултатите от модела, подобряване на уменията за решаване на проблеми и по-тясно съгласуване на поведението на AI с човешките очаквания и предпочитания. Тази фаза след обучението вече не е само фина настройка; тя е свързана с фундаментално подобряване на когнитивните способности на модела.

Представяне на Hunyuan-T1: Скок в способностите за дълбоко мислене

На фона на този бърз напредък, екипът на Hunyuan на Tencent отбеляза значителен етап. По-рано тази година, в средата на февруари, екипът предостави поглед върху напредъка си с Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview). Интегриран в приложението Tencent Yuanbao, този първоначален модел за разсъждение, изграден върху средномащабната база Hunyuan, предложи на потребителите вкус на бързи и задълбочени аналитични способности.

Надграждайки тази основа, сега сме горди да обявим официалното стартиране на Hunyuan-T1, напълно реализираната версия на модела за задълбочено мислене в семейството на големите модели Hunyuan. Това не е просто инкрементално обновяване; то представлява съществена еволюция. Hunyuan-T1 използва TurboS бързомислеща база, новаторска архитектура, представена от Tencent в началото на март. Това, което прави TurboS особено забележителен, е неговото отличие като първия в света ултра-голям Hybrid-Transformer-Mamba Mixture of Experts (MoE) голям модел. Тази иновативна хибридна структура съчетава силните страни на утвърдените Transformer архитектури с ефективността и способността за обработка на последователности на по-новия Mamba модел на състоянието (state space model). Чрез обширен и щателно проектиран режим на пост-обучение, способностите за разсъждение на Hunyuan-T1 бяха драстично усилени, а съответствието му с нюансираните човешки предпочитания беше значително усъвършенствано. В сравнение с предвателната си версия, официалният Hunyuan-T1 демонстрира значителни подобрения във всички аспекти, позиционирайки го като страхотен конкурент сред водещите в индустрията големи модели с високи способности за разсъждение.

Архитектурни предимства: Силата на TurboS и Mamba

Изборът на TurboS като основа за Hunyuan-T1 предоставя отчетливи предимства, особено при справяне със задачи, изискващи дълбоко, многоетапно разсъждение. Критично затруднение в много големи езикови модели възниква при работа с обширни документи или дълги разговори. Информацията, представена в началото, може да се размие или напълно да се загуби, докато моделът обработва последващия текст, което води до така наречената загуба на контекст (context loss). Освен това, установяването на връзки между точки, разделени от големи участъци текст – зависимост от информация на голямо разстояние (long-distance information dependence) – представлява значително изчислително предизвикателство.

Архитектурата, лежаща в основата на Hunyuan-T1, наследена от TurboS, директно се справя с тези ограничения. Нейният вроден дизайн дава приоритет на стабилното улавяне на дълъг текст, гарантирайки, че моделът поддържа по-здраво разбиране на цялостния вход, като по този начин смекчава загубата на контекст и по-надеждно идентифицира ключови връзки в разширени последователности. Тази способност е от решаващо значение за сложни задачи за разсъждение, които често изискват синтезиране на информация, разпръсната в голям корпус от текст.

Централен за тази подобрена способност е компонентът на архитектурата Mamba. Mamba представлява отклонение от чисто базираните на внимание (attention-based) механизми, доминиращи в много Transformer модели. Той използва подход на модел на състоянието (state space model - SSM), специално оптимизиран за обработка на дълги последователности със забележителна ефективност. Ключовите предимства включват:

• Линейна времева сложност: За разлика от квадратичната сложност на стандартните механизми за внимание по отношение на дължината на последователността, Mamba мащабира линейно. Това прави обработката на изключително дълги текстове изчислително осъществима без непосилни изискванияза ресурси.
• Ефективно изчисление: Дизайнът на Mamba позволява паралелизируеми изчисления по време на обучение и ефективни рекурентни операции по време на извод (inference). Това се превръща директно в по-бързи скорости на обработка.
• Селективно управление на състоянието: Моделите Mamba могат селективно да запазват или забравят информация, докато обработват последователност, имитирайки по-фокусиран подход към управлението на контекста, което е жизненоважно за поддържане на релевантна информация на големи разстояния.

Следователно, TurboS, а оттам и Hunyuan-T1, могат ефективно да анализират дълги входове, докато консумират значително по-малко изчислителни ресурси в сравнение с традиционните Transformer модели от подобен мащаб. Вътрешните бенчмаркове показват, че при идентични условия на внедряване, Hunyuan-T1 постига скорост на декодиране два пъти по-бърза от сравними модели без оптимизацията Mamba, което е решаващ фактор за приложения в реалния свят, изискващи навременни отговори.

Изпитанието след обучението: Изковаване на способности за разсъждение с обучение с подкрепление

Преходът от базовия модел TurboS към високоспособния Hunyuan-T1 включваше масивна и стратегически фокусирана фаза след обучението. Признавайки критичната роля на напредналите техники за обучение, Tencent посвети изключителните 96.7% от изчислителните ресурси, разпределени за тази фаза, специално на обучение с подкрепление (reinforcement learning - RL). Тази огромна инвестиция подчертава ясен стратегически приоритет: повишаване на чистите способности за разсъждение на модела и щателно съгласуване на неговите резултати със сложни човешки преценки и предпочитания.

Това не беше просто захранване на модела с повече данни; ставаше въпрос за това да го научим как да мисли по-ефективно. Основните цели на тази интензивна RL фаза бяха две:

1. Подобряване на чистото разсъждение: Да се разширят границите на способността на модела да извършва логическа дедукция, математически изчисления, причинно-следствени изводи и решаване на сложни проблеми в различни области.
2. Оптимизиране на човешкото съответствие: Да се гарантира, че отговорите на модела са не само точни, но и полезни, безвредни, честни и нюансирани по начин, който резонира с човешките потребители. Това включва разбиране на имплицитното намерение, генериране на съгласувани и контекстуално подходящи резултати и спазване на указанията за безопасност.

За да се захрани този взискателен процес на обучение, беше щателно подбран огромен и разнообразен набор от данни. Тази колекция включваше световни научни и логически проблеми, обхващащи широк спектър от дисциплини:

• Математика: От основна аритметика и алгебра до диференциално и интегрално смятане, теория на числата и задачи на ниво състезания.
• Логическо разсъждение: Пъзели, задачи за дедуктивно разсъждение, предизвикателства за критично мислене и проблеми на формалната логика.
• Наука: Въпроси и проблеми, обхващащи физика, химия, биология и други научни области, често изискващи многоетапно разсъждение и прилагане на принципи.
• Кодиране: Проектиране на алгоритми, генериране на код, отстраняване на грешки и разбиране на сложна програмна логика на различни езици.

От решаващо значение е, че тези данни бяха комбинирани с реална обратна връзка от основната истина (ground-truth real feedback). Тази обратна връзка е от съществено значение за обучението с подкрепление, предоставяйки сигнала, от който моделът се нуждае, за да разбере кои пътища на разсъждение водят до правилни или предпочитани резултати. Тази строга основа гарантира, че Hunyuan-T1 развива доказуема компетентност, когато се сблъсква с широк спектър от предизвикателни задачи за разсъждение, срещани в реални сценарии.

Сложни методологии за обучение

Огромният мащаб на инвестициите в изчисления и събирането на данни беше съчетан със сложни стратегии за обучение, предназначени да максимизират ефективността на ученето и стабилността на модела.

• Обучение по учебна програма (Curriculum Learning): Вместо незабавно да се претоварва моделът с най-сложните проблеми, беше възприет подход на обучение по учебна програма. Обучението започна с по-прости задачи и постепенно въвеждаше по-трудни проблеми. Едновременно с това ефективната дължина на контекста на модела беше прогресивно разширявана. Този поетапен подход позволява на модела да изгради основни умения за разсъждение, преди да се заеме с по-напреднали предизвикателства, насърчавайки по-стабилно и ефективно учене. Той също така обучава модела да използва разумно капацитета си от токени за ефективно разсъждение, развивайки форма на изчислителна ефективност в своя мисловен процес.
• Напреднали техники за обучение с подкрепление: За да се осигури стабилен и последователен напредък по време на продължителното RL обучение, бяха използвани класически, но мощни стратегии. Техники като преиграване на данни (data replay) (повторно използване на минали преживявания за подсилване на ученето) и периодично нулиране на политиката (periodic policy resetting) (от време на време връщане към по-ранни, стабилни състояния на модела, за да се предотврати разминаване) бяха интегрирани. Тези методи се оказаха изключително ефективни, като значително повишиха дългосрочната стабилност на процеса на обучение на модела с над 50%, смекчавайки проблеми като катастрофално забравяне или колапс на политиката, които могат да засегнат мащабни RL начинания.
• Единна система за награди: Съгласуването на модела с човешките предпочитания е сложна задача. Hunyuan-T1 използва нова единна система за награди. Тази система интегрира обратна връзка от два източника:
  • Самонаграждаване (Self-Rewarding): По-ранна версия на модела T1-preview беше използвана като автоматизиран съдия за цялостна оценка и точкуване на резултатите на модела, подложен на обучение. Това позволява бързо генериране на обратна връзка в голям мащаб въз основа на предварително определени критерии.
  • Модел за награди (Reward Model): Отделен модел, специално обучен да предсказва човешките предпочитания, предостави допълнителен слой насоки, улавяйки по-фини аспекти на качеството, полезността и безопасността.
    Този комбиниран механизъм за обратна връзка насочваше модела през процес на самоусъвършенстване, насърчавайки резултати, характеризиращи се с по-богати детайли на съдържанието, по-ефективно предоставяне на информация и по-добро цялостно съответствие с желаните характеристики на отговора.

Бенчмаркове за производителност: Изправен сред елита

Крайната мярка за голям езиков модел се крие в неговата производителност. Hunyuan-T1 е строго оценен спрямо набор от публични бенчмаркове и вътрешни набори от данни, демонстрирайки способности, които го поставят твърдо в най-високото ниво на съвременните AI модели.

Когато се сравнява с DeepSeek R1, друг високо ценен модел, фокусиран върху разсъждението, Hunyuan-T1 постига сравними или леко по-добри резултати на няколко ключови публични бенчмарка, оценяващи знания и разсъждения на различни езици и в различни области:

• MMLU-pro: Предизвикателен бенчмарк, предназначен да оценява всеобхватни знания и разсъждения в различни професионални и академични предмети.
• CEval: Мултидисциплинарен пакет за оценка на китайски език.
• AIME: Фокусиран върху математически задачи на състезателно ниво, изискващи сложно разсъждение.
• Zebra Logic: Бенчмарк, специално насочен към сложни логически пъзели за дедукция.

Освен тези специфични тестове, вътрешните набори от данни за човешка оценка предоставят допълнителни прозрения. Докато се представя наравно с R1 в много области, Hunyuan-T1 показва леко предимство в задачи, свързани с:

• Следване на инструкции в културни и творчески области: Генериране на творчески текстови формати, адаптиране към специфични стилистични изисквания с културни нюанси.
• Резюмиране на текст: Създаване на кратки и точни резюмета на дълги документи, като същевременно се запазва ключовата информация.
• Способности на агент: Демонстриране на компетентност в задачи, изискващи планиране, използване на инструменти и взаимодействие с външни системи.

Разглеждайки всеобхватни метрики за оценка, предназначени да измерват общата способност, Hunyuan-T1 затвърждава позицията си сред елитните модели за извод (inference).

• На MMLU-PRO, T1 постигна забележителен резултат от 87.2, втори само след модела O1 на OpenAI към момента на оценката. Този бенчмарк обхваща 14 области, включително хуманитарни, социални науки и STEM предмети, тествайки както извличането на широки знания, така и разбирането.
• Производителността на GPQA-diamond също е забележителна. Този бенчмарк се концентрира върху знания на експертно ниво и сложно научно разсъждение, включващ проблеми на докторско ниво предимно по физика, химия и биология. Hunyuan-T1 постигна резултат от 69.3, което показва силни способности за справяне с високоспециализирани и сложни научни въпроси.

Отлични постижения в науката, инженерството и съответствието

Допълнителни оценки се задълбочиха в специфични области, изискващи стабилни способности за разсъждение:

• Кодиране: В оценката на код LiveCodeBench, която тества практическо решаване на проблеми с кодиране, T1 достигна резултат от 64.9, демонстрирайки солидна програмна логика и умения за генериране на код.
• Математика: Моделът показва изключителна сила в математиката. Неговото представяне на MATH-500, набор от данни с предизвикателни математически задачи, даде изключителен резултат от 96.2. Този резултат го поставя рамо до рамо с DeepSeek R1, подчертавайки дълбоката способност на Hunyuan-T1 да се справя със сложни математически разсъждения.
• Съответствие и следване на инструкции: Освен чистото решаване на проблеми, T1 показва стабилна адаптивност в различни задачи за съответствие. Той се отличава в сценарии за следване на инструкции и демонстрира компетентност при използване на инструменти, когато е необходимо. Например, в задачата ArenaHard, предназначена да оценява производителността при предизвикателни, генерирани от потребители подкани, T1 постигна висок резултат от 91.9.

Тези резултати колективно рисуват картина на високоспособен, универсален и добре съгласуван голям езиков модел. Стратегическата интеграция на архитектурата Hybrid-Transformer-Mamba, съчетана с интензивен, фокусиран върху RL режим на пост-обучение, кулминира в Hunyuan-T1 – модел, демонстриращ изключителни способности за разсъждение, особено в сложни сценарии с дълъг контекст и взискателни научни и математически области.