Экспертиза LLM: дообучение, слияние и возможности

Проблема специализации: Адаптация ИИ для технических рубежей

Большие языковые модели (LLM) неоспоримо революционизировали наше взаимодействие с информацией и автоматизацию задач, связанных с естественным языком. Гиганты вроде Llama и Mistral, даже в своих версиях с открытым исходным кодом, демонстрируют замечательную беглость в понимании и генерации текста, часто соперничающую с человеческой. Их мастерство охватывает широкий спектр задач, от повседневного общения до сложного резюмирования. Однако проникновение в специализированные, насыщенные жаргоном области науки и техники — такие как материаловедение или биоматериомика — представляет собой уникальное препятствие.

Эти технические области требуют больше, чем общих знаний; они требуют глубокого, нюансированного понимания, способности рассуждать на основе конкретных принципов и знакомства со специализированной терминологией и структурами данных. Стандартные LLM, обученные на широких веб-корпусах, часто дают сбой при столкновении с этими требованиями. Таким образом, проблема заключается в адаптации к предметной области: как мы можем эффективно настроить эти мощные универсальные модели, чтобы они стали экспертными помощниками в узкоспециализированных областях?

Простое добавление большего количества специализированных данных не всегда является решением, и не всегда это возможно. Обучение этих гигантов с нуля непомерно дорого, а оригинальные, массивные наборы данных, использованные для их первоначального предварительного обучения, обычно недоступны. Это особенно верно для популярных моделей с открытым исходным кодом, где, несмотря на некоторую прозрачность, полный рецепт — точные смеси данных и последовательности, использованные во время предварительного обучения, дообучения и выравнивания — остается в значительной степени проприетарным. Исследователям и инженерам нужны надежные, эффективные стратегии для внедрения в существующие модели новых, специализированных знаний, при этом критически важно сохранить обширные общие возможности, приобретенные во время их первоначального обучения. Этот деликатный баланс имеет первостепенное значение для создания действительно полезных инструментов ИИ для научных открытий и инженерных инноваций, таких как разработка движков, способных к мультимодальному рассуждению для исследования вдохновения в дизайне биологических материалов в различных масштабах и контекстах.

Картирование ландшафта обучения: от предварительного обучения до оптимизации предпочтений

Навигация по пути к экспертизе LLM в конкретной области включает изучение разнообразного набора стратегий дообучения. Каждый подход предлагает свой способ формированиязнаний и поведения модели.

• Продолженное предварительное обучение (CPT): Эта стратегия включает расширение начальной фазы предварительного обучения, но на этот раз с использованием корпуса, сфокусированного исключительно на целевой области — например, коллекции научных статей по материаловедению. Цель состоит в том, чтобы погрузить модель в специфический язык, концепции и структуры знаний данной области, позволяя ей усваивать специфическую для домена информацию глубже, чем это возможно при дообучении только для конкретной задачи. Это закладывает фундамент релевантных знаний.

• Контролируемое дообучение (SFT): Следуя за CPT или начиная с базовой модели, SFT напрямую учит модель выполнять конкретные задачи. Это достигается с использованием курируемых наборов данных пар ввод-вывод, часто отформатированных как инструкции и желаемые ответы, или вопросы и точные ответы, относящиеся к предметной области. SFT оттачивает способность модели следовать инструкциям, точно отвечать на вопросы в специализированном контексте и придерживаться желаемых форматов вывода.

• Низкоранговая адаптация (LoRA): Хотя LoRA не является основным фокусом здесь, она представляет собой эффективную альтернативу или дополнение. Вместо переобучения всей модели, LoRA вводит небольшие, обучаемые слои-‘адаптеры’. Это позволяет значительно адаптировать модель при гораздо меньших вычислительных затратах, хотя может иметь ограничения в том, сколько принципиально новых знаний может быть интегрировано по сравнению с CPT.

• Оптимизация на основе предпочтений: Выходя за рамки простого выполнения задач, оптимизация предпочтений направлена на то, чтобы приблизить выходные данные модели к суждениям человека или конкретным критериям, таким как полезность, безвредность и точность рассуждений. Вместо того чтобы полагаться исключительно на предопределенные ‘правильные’ ответы (как в SFT), эти методы учатся на сравнениях.

  • Прямая оптимизация предпочтений (DPO): DPO учится непосредственно на парах ответов, где один предпочтительнее другого (например, по мнению человека-оценщика или другого ИИ). Она оптимизирует модель для увеличения вероятности генерации предпочтительных ответов без необходимости в отдельной модели вознаграждения, упрощая традиционный конвейер обучения с подкреплением на основе обратной связи от человека (RLHF).
  • Оптимизация предпочтений на основе отношения шансов (ORPO): Более новый метод, ORPO модифицирует целевую функцию оптимизации, иногда обеспечивая улучшенную производительность или стабильность по сравнению с DPO, особенно при выравнивании моделей к определенным стилистическим или логическим критериям в пределах домена.

Эти методы не являются взаимоисключающими; они часто применяются последовательно или в комбинации, формируя сложные конвейеры обучения. Обычная последовательность может включать CPT для накопления знаний в предметной области, затем SFT для овладения задачами, и, наконец, DPO или ORPO для выравнивания и уточнения. Однако оптимальная комбинация и последовательность остаются активными областями исследований, особенно для достижения пиковой производительности в специализированных научных областях.

За пределами простого дообучения: Перспективы слияния моделей

Хотя уточнение одной модели через последовательные этапы обучения может дать значительные улучшения, появился еще один интригующий путь: слияние моделей. Эта практика включает взятие двух или более отдельно обученных моделей и объединение их параметров — их внутренних ‘весов’ — для создания единой, новой гибридной модели.

Зачем пытаться осуществить такое слияние? Основная идея заключается в синергетическом объединении сильных сторон родительских моделей. Представьте себе одну модель, искусно обученную на литературе по материаловедению (через CPT и SFT), и другую универсальную ‘инструктивную’ модель, очень умелую в следовании сложным инструкциям и ведении связного диалога. Их слияние потенциально может создать модель, обладающую как глубокими знаниями в предметной области, так и отличными разговорными способностями и способностью следовать инструкциям.

Ранние исследования намекали, что этот процесс может быть чем-то большим, чем простое усреднение. Вместо простого смешивания возможностей, слияние потенциально может разблокировать совершенно новые, эмерджентные функциональности — способности, явно не присутствующие ни в одной из родительских моделей. Это предполагает весьма нелинейное взаимодействие между параметрами во время слияния, потенциально приводящее к тому, что целое становится больше суммы его частей. Если слияние моделей окажется эффективным и контролируемым, оно может стать мощным, преобразующим инструментом для расширения границ возможностей LLM, создавая высокоадаптивные и мощные системы ИИ, адаптированные для сложных, реальных научных и инженерных задач.

Раскрытие силы SLERP: Геометрический подход к слиянию

Эффективность слияния моделей критически зависит от того, как объединяются параметры родительских моделей. Простое линейное усреднение (часто называемое линейной интерполяцией или LERP) может показаться интуитивным, но часто приводит к неоптимальным результатам или даже ухудшает производительность. Вероятно, это связано с тем, что многомерное пространство параметров LLM не является плоским; оно обладает сложной, искривленной геометрией. Линейная интерполяция рискует пройти через ‘мертвые зоны’ или области с высокими потерями в этом пространстве, эффективно разрушая тщательно изученные представления родительских моделей.

На сцену выходит Сферическая линейная интерполяция (SLERP). Изначально разработанная для плавной анимации вращений в компьютерной графике, SLERP предлагает геометрически сложный способ интерполяции между двумя точками (в данном случае, векторами параметров двух моделей), следуя кратчайшему пути по поверхности гиперсферы.

Представьте наборы параметров двух родительских моделей как две точки на поверхности гигантской сферы.

• LERP проведет прямую линию через сферу, соединяющую точки. Этот путь может не оставаться на поверхности и проходить через области, представляющие плохо работающие модели.
• SLERP, напротив, движется по искривленной поверхности самой сферы. Этот путь по своей сути уважает лежащую в основе геометрическую структуру пространства параметров.

Почему этот сферический путь потенциально лучше для слияния LLM?

1. Сохранение структуры: Оставаясь ‘на сфере’, SLERP сохраняет геометрические отношения между параметрами, эффективнее сохраняя изученные структуры внутри каждой родительской модели, чем линейный путь.
2. Избегание областей с высокими потерями: Искривленный путь с меньшей вероятностью пересечет области пространства параметров, связанные с высокими ошибками предсказания (потерями).
3. Нелинейная комбинация: Формула интерполяции для SLERP по своей сути нелинейна. Это позволяет осуществлять сложные, синергетические взаимодействия между параметрами родительских моделей, потенциально открывая комбинации, представляющие новые возможности. Слитый параметр может активировать признаки таким образом, каким ни одна из родительских моделей не могла бы в одиночку.
4. Плавные переходы: SLERP обеспечивает математически плавный переход между состояниями родительских моделей, что потенциально приводит к лучшей генерализации в слитой модели.

Поскольку SLERP учитывает внутреннюю геометрию модели и способствует нелинейным взаимодействиям параметров, он обладает потенциалом не просто усреднять возможности, но и по-настоящему смешивать их таким образом, который способствует появлению эмерджентных свойств. Это делает его особенно перспективным кандидатом для слияния моделей, нацеленных на сложные области, такие как материаловедение, где ключевыми являются тонкие взаимодействия и нюансированное понимание.

Проверка теорий на практике: Эксперименты с Llama и Mistral

Для тщательного исследования этих стратегий дообучения и слияния была проведена систематическая серия экспериментов с использованием популярных семейств моделей с открытым исходным кодом: Llama 3.1 (8 миллиардов параметров) и Mistral (7 миллиардов параметров). Целью было сравнить различные конвейеры обучения и оценить влияние слияния SLERP.

Экспериментальный дизайн включал несколько ключевых шагов:

1. Базовые модели: Эксперименты начинались как с основополагающих ‘базовых’ моделей (предварительно обученных, но не настроенных на инструкции), так и с ‘инструктивных’ версий (уже дообученных для чата и следования инструкциям) для семейств Llama и Mistral.
2. Доменный корпус: Был составлен специализированный корпус, сфокусированный на материаловедении, из научных публикаций и обработанных данных.
3. Конвейеры обучения: Применялись различные комбинации методов обучения:
   • Только CPT
   • CPT с последующим SFT (CPT-SFT)
   • CPT-SFT с последующим ORPO (CPT-SFT-ORPO)
   • CPT-SFT с последующим DPO (CPT-SFT-DPO)
   • Некоторые вариации, начинающиеся непосредственно с Instruct модели (например, Instruct-CPT-SFT-DPO).
4. Слияние моделей: Для многих дообученных моделей выполнялось слияние SLERP, обычно объединяя адаптированную к домену модель с соответствующей универсальной ‘инструктивной’ моделью из того же семейства (например, модель Llama CPT-SFT-DPO сливалась со стандартной моделью Llama 3.1 Instruct).
5. Оценка: Производительность всех полученных моделей (как слитых, так и не слитых) оценивалась с помощью набора релевантных бенчмарков, предназначенных для проверки знаний в предметной области, рассуждений и следования инструкциям.

Ключевые выводы по Llama и Mistral:

• Слияние SLERP последовательно повышает производительность: В обоих семействах моделей и различных конвейерах обучения модели, улучшенные с помощью слияния SLERP, как правило, достигали наивысшей точности на оценочных бенчмарках. Это убедительно подтверждает гипотезу о том, что SLERP является эффективным методом объединения сильных сторон моделей.
• Подтверждены синергетические эффекты: Производительность слитых с помощью SLERP моделей часто превышала простое среднее значение производительности двух родительских моделей. Построение графика фактического достигнутого балла по сравнению с этим ожидаемым средним значением выявило значительное положительное отклонение, подтверждая, что процесс слияния часто открывает синергетические выгоды и эмерджентные возможности. Слитая сущность была демонстративно более способной, чем просто сумма ее частей.
• Оптимизация предпочтений добавляет ценность: Включение этапов оптимизации предпочтений (DPO или ORPO) часто обеспечивало дополнительный прирост производительности, особенно в сочетании со слиянием SLERP. Стратегии вроде CPT-SFT-DPO-SLERP или CPT-SFT-ORPO-SLERP часто оказывались среди лидеров.
• Оптимальная стратегия без слияния варьируется: Без слияния наилучшая стратегия немного различалась между семействами моделей. Для Llama 3.1 сильные результаты показала Instruct-CPT-SFT-DPO, в то время как для Mistral Base-CPT-SFT показала сравнимую производительность со своим Instruct аналогом.
• Влияние продолжительности CPT: Дальнейший анализ моделей Mistral показал, что производительность в целом улучшалась с увеличением числа эпох продолженного предварительного обучения (до пяти протестированных), особенно при старте с Instruct модели, подтверждая ценность достаточного погружения в домен во время CPT.

Эти результаты рисуют ясную картину: хотя последовательное дообучение ценно, стратегическое слияние моделей с использованием SLERP предлагает мощный путь к значительному повышению производительности LLM, особенно для специализированных областей, часто приводя к возможностям, выходящим за рамки простого агрегирования.

Глубокое погружение: Что заставляет слияние работать?

Последовательный успех слияния SLERP побуждает к более пристальному взгляду на лежащие в основе механизмы и влияющие факторы. Почему этот геометрический подход дает такие мощные результаты, и какие условия оптимизируют его эффективность?

• Нелинейные взаимодействия: Как и предполагалось теоретически, нелинейный путь SLERP через пространство параметров представляется решающим. Он позволяет слитой модели исследовать комбинации параметров, которые линейное усреднение упустило бы. Эти комбинации могут представлять новые взаимодействия между изученными признаками, приводя к эмерджентным способностям рассуждения или решения проблем, адаптированным к предметной области. Представьте себе объединение параметров, которые по отдельности представляют понимание ‘прочности материала’ и ‘биологических структур’ – SLERP может найти комбинацию, которая эффективно представляет ‘биоинспирированные высокопрочные материалы’ так, как ни одна из родительских моделей явно не делала.

• Роль разнообразия: Насколько разными должны быть родительские модели? Анализ показал сложные взаимосвязи. Хотя крайнее разнообразие может показаться полезным, некоторые корреляции указывали на то, что в определенных контекстах (например, в моделях Llama) большее разнообразие производительности между родителями может незначительно снизить зависимость от последующего SFT, возможно, потому что слияние уже охватывает более широкий набор возможностей. Взаимодействие тонкое и, вероятно, зависит от конкретных методов дообучения, использованных для родителей.

• Начальная точка: Base против Instruct: Выбор стартовой модели имеет значение. В экспериментах с Llama самая производительная слитая модель произошла от версии Instruct. Напротив, для Mistral одна из лучших моделей была получена из Base модели перед прохождением CPT, SFT и слияния. Это предполагает, что архитектурные различия или вариации в начальном составе предварительного обучения семейств Llama и Mistral влияют на то, как они реагируют на конкретные конвейеры дообучения и слияния. Не существует единой универсальной ‘лучшей’ отправной точки; это требует эмпирического тестирования.

• Качество данных в CPT: Фундамент, заложенный во время продолженного предварительного обучения, критически важен. Эксперименты с использованием большего, но ‘более шумного’ набора данных CPT (содержащего больше ошибок форматирования или артефактов от оптического распознавания символов) привели к снижению производительности по сравнению с использованием меньшего, более чистого набора данных. Это подчеркивает важность высококачественных, хорошо обработанных данных, специфичных для домена, для эффективности этапа CPT. Принцип ‘мусор на входе — мусор на выходе’ все еще применим.

• Дообучение параметров SLERP: Сам SLERP имеет параметры, в частности коэффициент интерполяции (часто обозначаемый как ‘t’, в диапазоне от 0 до 1), определяющий, какой вес придается каждой родительской модели. Более того, слияние не обязательно должно быть равномерным по всем слоям модели. Эксперименты исследовали различное изменение коэффициента интерполяции для слоев самовнимания по сравнению со слоями многослойного перцептрона (MLP), или даже его прогрессивное изменение по глубине модели. Результаты показали, что конкретные неравномерные схемы взвешивания могут превосходить стандартный равномерный подход, предполагая дальнейший потенциал оптимизации путем тщательной настройки процесса слияния по всей архитектуре сети. Простая линейная прогрессия весов по слоям оказалась эффективной в одном случае с Llama.

• Эффект регуляризации: SLERP также может действовать как форма регуляризации. Находя плавный путь между двумя потенциально специализированными моделями, он может препятствовать переобучению на идиосинкразиях обучающих данных любого из родителей, что приводит к лучшей генерализации на невиданных ранее задачах, специфичных для домена. Это также может помочь смягчить ‘катастрофическое забывание’, когда дообучение на одной задаче стирает знания из предыдущей.

По сути, эффективность SLERP проистекает из его способности разумно перемещаться по сложной геометрии пространства параметров LLM, способствуя полезным нелинейным взаимодействиям при сохранении изученных структур знаний. Однако оптимизация его использования требует тщательного рассмотрения выбора родительской модели, истории обучения, качества данных и, возможно, даже мельчайших деталей самого слияния.

Имеет ли значение размер? Исследование эффектов масштабирования на меньших моделях

Впечатляющие синергетические эффекты, наблюдаемые у моделей с 7 и 8 миллиардами параметров, поднимают естественный вопрос: проявляются ли эти эмерджентные возможности, разблокированные слиянием SLERP, также в гораздо меньших языковых моделях? Или существует порог масштаба, ниже которого магия исчезает?

Для исследования этого были проведены аналогичные эксперименты с использованием серии моделей SmolLM, в частности варианта всего с 1.7 миллиардами параметров. Эта модель значительно меньше, что делает ее подходящей для сред с ограниченными ресурсами, таких как мобильные устройства или периферийные вычисления, но потенциально ей не хватает богатства параметров ее более крупных собратьев.

Модели SmolLM прошли тот же конвейер: CPT с корпусом по материаловедению, затем SFT и DPO (который оказался более эффективным, чем ORPO для этой меньшей архитектуры). Затем было применено слияние SLERP, объединяющее дообученную SmolLM с ее базовой версией или другими вариантами.

Результаты с SmolLM:

• Дообучение все еще помогает: Конвейер CPT-SFT-DPO действительно улучшил производительность модели SmolLM на доменных задачах по сравнению с ее исходным состоянием. Сам процесс дообучения был полезен, улучшая ее специализированные знания.
• Эмерджентность в основном отсутствует: Однако, в отличие от экспериментов с Llama и Mistral, слитые с помощью SLERP модели SmolLM в целом не демонстрировали значительных синергетических эффектов. Их производительность обычно оказывалась близкой к простому среднему значению родительских моделей или лишь немного выше. Драматические скачки производительности и явные признаки эмерджентных возможностей, наблюдаемые в моделях 7B/8B, отсутствовали.

Выводы:

Этот контраст предполагает, что масштаб модели, вероятно, является ключевым фактором в реализации полного потенциала слияния SLERP для генерации эмерджентных свойств. Меньшие модели, с их менее сложными и низкоразмерными пространствами параметров, могут не обладать репрезентативной способностью или богатством, необходимыми для возникновения этих мощных нелинейных взаимодействий во время слияния. ‘Пространство’ для обнаружения новых, полезных комбинаций параметров кажется значительно ограниченным по сравнению с более крупными моделями.

Эти результаты согласуются с более широкими наблюдениями о законах масштабирования в глубоком обучении, где определенные качественные возможности часто появляются только тогда, когда модели достигают определенного порога размера. Похоже, что синергетическая сила слияния SLERP может быть одной из таких возможностей, которая критически зависит от достаточного масштаба и сложности модели.

Количественная оценка выигрыша: Пристальный взгляд на прирост производительности от слияния

Хотя бенчмарки показывают, что слитые модели часто показывают наилучшие общие результаты, полезно точно количественно оценить, насколько они лучше по сравнению со своими родителями. В частности, превосходит ли слитая модель последовательно даже более сильную из двух моделей, использованных для ее создания?

Для анализа этого было рассчитано отклонение производительности для каждой слитой с помощью SLERP модели. Это отклонение определялось как:

Отклонение производительности = Производительность(Слитая модель) - Max(Производительность(Родитель 1), Производительность(Родитель 2))

• Положительное отклонение (визуализированное оттенками синего) означает, что модель SLERP показала результат лучше, чем лучшая из ее родителей – явное свидетельство синергии.
• Отрицательное отклонение (визуализированное красным) означает, что модель SLERP показала результат хуже, чем хотя бы один из ее родителей, указывая на то, что слияние было вредным или, в лучшем случае, усредняющим.

Анализ показал:

В большинстве экспериментов с моделями Llama 3.1 (8B) и Mistral (7B) отклонения производительности были преимущественно положительными. Во многих случаях, особенно для хорошо оптимизированных конвейеров (например, включающих CPT, SFT, оптимизацию предпочтений и SLERP), слитые модели показывали существенные положительные отклонения, указывая на то, что они значительно превосходили возможности даже своего самого сильного родителя.

Были случаи, особенно с менее оптимизированными родительскими моделями или, возможно, неоптимальными параметрами слияния, когда отклонение было слегка отрицательным или близким к нулю. Однако общая тенденция была ясна: стратегическое слияние SLERP часто обеспечивает подлинный прирост производительности сверх того, чего могла бы достичь любая из родительских моделей в одиночку. Это подтверждает идею о том, что слияние — это не просто усреднение, а процесс, способный синтезировать превосходные возможности. Результаты SmolLM (1.7B), напротив, показали бы гораздо меньшие или отрицательные отклонения, что согласуется с отсутствием сильных эмерджентных эффектов в этом масштабе.

От бенчмарков к мозговому штурму: Интерактивные приложения в дизайне материалов

Помимо количественных бенчмарков, истинная ценность этих адаптированных к домену моделей заключается в их способности помогать в решении реальных задач, таких как научное рассуждение и творческий дизайн. Для оценки этого качественного аспекта были проведены интерактивные чат-сессии с несколькими из наиболее производительных моделей (включая как слитые, так и не слитые варианты).

Настройка включала предоставление последовательной системной подсказки, инструктирующей модель действовать как эксперт по материаловедению, за которой следовала пользовательская подсказка, предназначенная для проверки творческого, междисциплинарного мышления. Типичная задача включала просьбу к модели:

1. Рассмотреть две кажущиеся разрозненными биологические концепции (например, структуру коллагена и узоры жилкования листьев).
2. Провести мозговой штурм новых дизайнов материалов, вдохновленных объединением принципов обеих концепций.
3. Объяснить обоснование предложенных дизайнов.
4. Вывести предложения в структурированном формате (например, JSON) для потенциальной последующей обработки.

Качественные наблюдения:

• Сильное понимание предметной области: Все дообученные модели продемонстрировали твердое понимание лежащих в основе биологических и материаловедческих концепций, используя соответствующую терминологию и ссылаясь на релевантные принципы. Этапы CPT и SFT явно передали значительные знания в предметной области.
• Творческий синтез: Модели в целом были способны преодолеть концептуальный разрыв между разрозненными входными данными (такими как коллаген и листья), чтобы предложить инновационные архитектуры или функциональности материалов. Это продемонстрировало их способность к аналогическому рассуждению в рамках специализированной области.
• Структурированный вывод: Модели успешно следовали инструкциям, запрашивающим структурированный вывод (JSON), что указывает на хорошие способности следования инструкциям, особенно у тех, которые были уточнены с помощью SFT и оптимизации предпочтений или произошли от баз Instruct.
• Различная глубина и ясность: Хотя все выполняли основную задачу, различия проявлялись в глубине предоставленного обоснования, новизне и практичности предложенных дизайнов, а также в общей ясности и связности объяснения. Модели, прошедшие более комплексные конвейеры обучения, особенно те, что включали оптимизацию предпочтений и слияние SLERP, часто давали более богатые, проницательные и творческие ответы.
• Влияние слияния: Слитые модели часто демонстрировали хороший баланс между точностью в конкретной области и беглостью/креативностью в общении, по-видимому, интегрируя знания от родителя, настроенного на домен, с навыками взаимодействия универсального родителя instruct.

Эти интерактивные сессии предоставили ценные качественные доказательства того, что стратегии дообучения и слияния преобразуются в ощутимые улучшения в практических, открытых задачах, требующих специфического для домена рассуждения и творчества. Они продемонстрировали потенциал этих адаптированных LLM действовать в качестве ценных сотрудников в научных исследованиях и генерации идей в таких областях, как материаловедение.