Декодирование фреймворка обучения SASR от Goku
Shanghai Goku Technologies, основанная в 2015 году, представила новый фреймворк обучения AI, названный SASR, или step-wise adaptive hybrid training (пошаговое адаптивное гибридное обучение). Этот подход направлен на устранение предполагаемых ограничений преобладающих методов, таких как supervised fine-tuning (SFT) (контролируемая тонкая настройка) и reinforcement learning (RL) (обучение с подкреплением). Goku утверждает, что SASR, вдохновленный тем, как люди развивают навыки рассуждения, предлагает более адаптивный и эффективный путь к созданию продвинутых моделей AI.
SFT и RL считаются краеугольными камнями в процессе обучения AI, используемыми гигантами индустрии, такими как OpenAI и DeepSeek. DeepSeek явно подчеркнула решающую роль этих техник в оптимизации производительности своей модели V3, которая была выпущена в декабре и вызвала значительный интерес в технологическом секторе.
Согласно исследовательской работе Goku, написанной в соавторстве с исследователями из Шанхайского университета Цзяо Тун и ее недавно сформированной дочерней компании AI, Shanghai AllMind Artificial Intelligence Technology, SASR демонстрирует превосходную производительность по сравнению с SFT, RL и статическими гибридными методологиями обучения. «Экспериментальные результаты показывают, что SASR превосходит методы SFT, RL и статического гибридного обучения», — заявила команда Goku в своей исследовательской работе.
Последствия продвижения Goku
Прорыв Goku в области обучения AI, как сообщается, подчеркивает продолжающийся прогресс Китая в области AI. Это потенциально подчеркивает ограничения текущей политики, реализуемой правительством США, направленной на сдерживание развития AI в Китае посредством ограничений на оборудование. Дженсен Хуанг, генеральный директор Nvidia, недавно прокомментировал предполагаемую неэффективность этих ограничений, заявив, что «в Китае сосредоточено 50 процентов мировых разработчиков AI».
DeepSeek, китайский AI-стартап, появившийся из хедж-фонда High-Flyer, получил широкое признание за демонстрацию потенциала Китая в лидерстве в области AI посредством передовых алгоритмов и интеграции аппаратного и программного обеспечения.
Роль AllMind в стратегии AI от Goku
Создание AllMind, совпавшее с публикацией исследования Goku, указывает на стратегический шаг по выделению ресурсов на исследования и разработки в области AI. Китайские записи в реестре бизнеса показывают, что AllMind была официально зарегистрирована в тот же день, когда Goku выпустила свое исследование.
Ван Сяо, основатель Goku и законный представитель AllMind, заявил, что новое подразделение было создано для изучения новых границ AI. Это отражает подход, принятый High-Flyer, который основал DeepSeek как отдельное подразделение в 2023 году.
По состоянию на конец прошлого года Goku управляла активами в размере более 15 миллиардов юаней (примерно 2,1 миллиарда долларов США) как на внутреннем, так и на международном рынках, используя стратегии, основанные на AI, согласно информации, доступной на ее официальном сайте.
Углубляясь в SASR: Фреймворк пошагового адаптивного гибридного обучения
Фреймворк SASR от Goku представляет собой интересную альтернативу в области обучения моделей AI. Чтобы по-настоящему оценить его потенциальное воздействие, необходимо более детальное понимание его компонентов и функционирования.
«Пошаговый» аспект SASR подразумевает многоэтапный процесс обучения, в котором модель AI подвергается итеративной доработке. Каждый шаг, вероятно, включает в себя конкретные цели и использует отдельные обучающие данные для развития определенных возможностей внутри модели. Этот поэтапный подход может предложить такие преимущества, как смягчение проблем обучения сложных моделей с нуля и обеспечение индивидуальной оптимизации на каждом этапе.
«Адаптивный» элемент предполагает, что процесс обучения не является статичным, а динамически реагирует на производительность и характеристики модели. Эта адаптивность может включать корректировку гиперпараметров, изменение распределения обучающих данных или динамическое взвешивание вклада различных целей обучения. Адаптивный процесс позволяет AI учиться и совершенствоваться более эффективно.
«Гибридная» природа SASR показывает, что он сочетает в себе элементы различных методологий обучения. Это жизненно важный аспект, потому что в SFT и RL есть сильные и слабые стороны. Сочетание методов позволяет модели использовать преимущества каждого подхода, устраняя при этом его ограничения. Благодаря интеграции этих трех характеристик SARS теоретически лучше настроен для развития логики и рассуждений.
Сравнение SASR с традиционными методами
Supervised fine-tuning (SFT) традиционно опирается на большой набор данных с метками, где модель AI учится сопоставлять входные данные с желаемыми выходными данными. Reinforcement learning (RL) включает в себя обучение модели путем проб и ошибок, вознаграждая или наказывая действия для максимизации конкретной цели.
SASR пытается интегрировать эти два метода, преодолевая при этом ограничения каждого из них. Например, SFT может сильно зависеть от качества и полноты помеченных данных. Во многих реальных сценариях получение достаточного количества точных данных может быть как трудоемким, так и дорогостоящим. RL, хотя и не требует помеченных данных, может быть нестабильным и подверженным взлому вознаграждений. Взлом вознаграждений происходит, когда модель AI обнаруживает непреднамеренные способы максимизировать свое вознаграждение, что потенциально приводит к нежелательному поведению.
Фреймворк Goku имеет возможность улучшить ограничения SFT и RL. Однако для подтверждения первоначальных результатов, задокументированных в статье компании, требуются дальнейшие и постоянные испытания.
Алгоритмические инновации и аппаратные ограничения
Новости о фреймворке SASR от Goku особенно актуальны в контексте технологических отношений между США и Китаем. В течение некоторого времени правительство США пыталось ограничить подъем Китая в области AI, ограничивая доступ к передовому вычислительному оборудованию, особенно к высокопроизводительным графическим процессорам от таких компаний, как Nvidia. Идея, лежащая в основе этих ограничений, заключается в том, что ограничение доступа Китая к мощному оборудованию замедлит их усилия по разработке AI.
Однако комментарии генерального директора Nvidia Дженсена Хуанга и достижения, поступающие из китайских лабораторий AI, похоже, свидетельствуют о том, что эта политика может быть не такой эффективной, как предполагалось. Хуанг, как известно, отметил, что Китай обладает значительной частью мировых талантов в области разработки AI, и что ограничение доступа к оборудованию может стимулировать их к поиску альтернативных решений.
Заявленный прорыв Goku в области AI предполагает, что алгоритмические инновации могут потенциально компенсировать аппаратные ограничения, по крайней мере, в некоторой степени. Если китайские исследователи смогут разработать более эффективные алгоритмы обучения, они смогут добиться сопоставимой производительности AI с менее мощным оборудованием. Это может иметь серьезные последствия для глобального ландшафта AI, поскольку это предполагает, что Китай может продолжать развивать свои возможности в области AI, несмотря на продолжающиеся ограничения.
Это не означает, что оборудование не имеет значения. Передовые графические процессоры по-прежнему имеют решающее значение для обучения передовых моделей AI, и доступ к новейшему оборудованию, несомненно, дает значительное конкурентное преимущество. Однако работа Goku демонстрирует важность инвестиций как в аппаратное, так и в программное обеспечение, и что прогресс в одной области может потенциально компенсировать ограничения в другой.
Подъем китайского AI: за пределами DeepSeek
Появление DeepSeek в качестве видного игрока на арене AI стало катализатором, продемонстрировавшим решимость Китая стать мировым лидером в этой преобразующей технологии. Однако DeepSeek - это всего лишь один пример, и подъем Goku с ее фреймворком обучения SASR еще больше иллюстрирует растущую силу и инновации в китайской экосистеме AI.
Несколько факторов способствуют этому импульсу. Во-первых, Китай обладает огромным массивом данных, что необходимо для обучения моделей AI. Благодаря большому населению и широкому распространению цифровых технологий китайские компании имеют доступ к огромным наборам данных, которые можно использовать для разработки и совершенствования своих алгоритмов AI.
Во-вторых, в Китае уделяется большое внимание образованию в области STEM, выпуская большое количество талантливых инженеров и ученых. Это создало высококвалифицированную рабочую силу, способную стимулировать инновации в AI и смежных областях.
В-третьих, китайское правительство сделало AI стратегическим приоритетом, предоставляя значительное финансирование и поддержку для исследований и разработок. Это создало благоприятную среду для AI-стартапов и способствовало сотрудничеству между академическими кругами и промышленностью.
Наконец, китайские компании часто готовы придерживаться более прагматичного и рискованного подхода к инновациям, что позволяет им быстро двигаться и экспериментировать с новыми идеями.
В результате этих факторов Китай быстро догоняет США с точки зрения возможностей AI. Хотя США по-прежнему лидируют в определенных областях, таких как фундаментальные исследования и высокопроизводительное оборудование, Китай добивается значительных успехов в таких областях, как компьютерное зрение, обработка естественного языка и робототехника.
Появление таких компаний, как Goku и DeepSeek, предполагает,что Китай имеет хорошие возможности для продолжения своего подъема в области AI в ближайшие годы.
Shanghai Goku Technologies: Компания, стоящая за инновациями
Shanghai Goku Technologies - это фонд количественного трейдинга, основанный в 2015 году. Он управляет значительными активами, используя стратегии, основанные на AI. Заявленная миссия компании - «объединить технологии и фундаментальный анализ», чтобы обеспечить лучшую доходность для своих клиентов. Помимо своей основной деятельности в области управления активами, Goku продемонстрировала приверженность расширению границ исследований AI. AllMind Artificial Intelligence Technology, дочерняя компания в области AI, представляет собой стратегический шаг по формализации и ускорению своих усилий по исследованию AI.
Подробности о внутренней структуре и операционной динамике компании остаются относительно скудными. Однако ее публичные заявления и недавняя деятельность дают представление о ее подходе. Девиз компании, который переводится как «логика и истина — единственные принципы, которым мы подчиняемся», отражает культуру, основанную на данных и аналитике. Инвестиции в исследования и разработки в области AI указывают на долгосрочное видение и осознание преобразующего потенциала AI не только в финансовом секторе, но и в различных отраслях. Вероятно, Goku намерена использовать идеи, полученные в результате исследований AI, для улучшения своих торговых стратегий и получения конкурентного преимущества на рынке.