Нарастването на изчислителната мощност зад моделите за разсъждение
OpenAI публично заяви, че o3 е обучен с десет пъти повече изчислителни ресурси, посветени на разсъждението, в сравнение с o1 – значително увеличение, постигнато само за четири месеца. Диаграма, създадена от OpenAI, ясно илюстрира тясната връзка между изчислителната мощност и производителността на математическия бенчмарк AIME. Epoch AI предполага, че тези цифри се отнасят конкретно до втората фаза на обучение, обучението за разсъждение, а не до пълния процес на обучение на модела.
За да постави тези цифри в перспектива, Epoch AI разгледа сравними модели. DeepSeek-R1, например, съобщава се, че е обучен с около 6e23 FLOP (плаващи операции в секунда) на прогнозна стойност от 1 милион долара, постигайки резултати на бенчмарк, подобни на o1.
Технологичните гиганти Nvidia и Microsoft също допринесоха за разработването на модели за разсъждение, предоставяйки публично достъпни данни за обучение. Llama-Nemotron Ultra 253B на Nvidia използва приблизително 140 000 GPU-часа H100, еквивалентни на приблизително 1e23 FLOP, за своята фаза на обучение за разсъждение. Phi-4-reasoning на Microsoft използва дори по-малко изчислителна мощност, под 1e20 FLOP. Критичен фактор, отличаващ тези модели, е силната им зависимост от синтетични данни за обучение, генерирани от други AI системи. Epoch AI подчертава, че тази зависимост прави директните сравнения с модели като o3 по-трудни поради присъщите разлики между реални и синтетични данни и тяхното въздействие върху обучението и генерализацията на модела.
Дефиниране на “Обучение за разсъждение”: Мътна област
Друг слой сложност произтича от липсата на общоприета дефиниция на “обучение за разсъждение”. В допълнение към обучението чрез подсилване, някои модели включват техники като контролирано фина настройка. Неяснотата около компонентите, включени в оценките на изчисленията, въвежда несъответствия, което затруднява точното сравняване на ресурсите между различните модели.
Към момента моделите за разсъждение все още консумират значително по-малко изчислителна мощност от най-обширните AI обучения, като Grok 3, който надвишава 1e26 FLOP. Съвременните фази на обучение за разсъждение обикновено работят между 1e23 и 1e24 FLOP, оставяйки значително място за потенциално разширяване – или поне така изглежда на пръв поглед.
Дарио Амодей, главен изпълнителен директор на Anthropic, споделя подобна гледна точка. Той постулира, че инвестиция от 1 милион долара в обучение за разсъждение може да доведе до значителен напредък. Въпреки това, компаниите активно проучват начини да увеличат бюджета за тази вторична фаза на обучение до стотици милиони долари и повече, което предполага бъдеще, в което икономиката на обучението се променя драстично.
Ако настоящата тенденция на приблизително десетократно увеличение на изчислителната мощност на всеки три до пет месеца продължи, изчисленията за обучение за разсъждение потенциално могат да настигнат общите изчисления за обучение на водещи модели още през следващата година. Въпреки това, Джош Ю предвижда, че растежът в крайна сметка ще се забави до приблизително 4x увеличение годишно, в съответствие с по-широките тенденции в индустрията. Това забавяне вероятно ще бъде предизвикано от комбинация от фактори, включително намаляваща възвръщаемост на инвестициите в обучение, нарастващата цена на изчислителните ресурси и ограниченията на наличните данни за обучение.
Отвъд изчисленията: Затрудненията на хоризонта
Epoch AI подчертава, че изчислителната мощност не е единственият ограничаващ фактор. Обучението за разсъждение изисква значителни количества висококачествени, предизвикателни задачи. Получаването на такива данни е трудно; генерирането им синтетично е още повече. Проблемът със синтетичните данни не е само автентичността; мнозина твърдят, че качеството е лошо. Освен това, ефективността на този подход извън високо структурирани домейни като математиката и компютърното програмиране остава несигурна. Въпреки това, проекти като “Deep Research” в ChatGPT, който използва специално настроена версия на o3, предполагат потенциал за по-широка приложимост.
Трудоемките задкулисни задачи, като избор на подходящи задачи, проектиране на функции за награждаване и разработване на стратегии за обучение, също представляват предизвикателства. Тези разходи за разработване, често изключени от оценките на изчисленията, допринасят значително за общите разходи за обучение за разсъждение.
Въпреки тези предизвикателства, OpenAI и други разработчици остават оптимисти. Както отбелязва Epoch AI, кривите на мащабиране за обучение за разсъждение в момента наподобяват класическия логаритмично-линеен прогрес, наблюдаван в предварителното обучение. Освен това, o3 демонстрира значителни печалби не само в математиката, но и в софтуерни задачи, базирани на агенти, което показва многостранния потенциал на този нов подход.
Бъдещето на този прогрес зависи от мащабируемостта на обучението за разсъждение – технически, икономически и по отношение на съдържанието. Следните точки изследват няколко ключови фактора, които ще определят бъдещето на тези модели:
- Техническа мащабируемост: Отнася се до способността да се увеличат изчислителните ресурси, използвани при обучение, без да се срещат непреодолими технически пречки. Това включва напредък в хардуера, софтуера и алгоритмите, за да се използват ефективно по-големи набори от данни и по-мощна изчислителна инфраструктура. Тъй като моделите растат по размер и сложност, техническата мащабируемост става все по-критична за продължаване на прогреса. Основната архитектура ще трябва да се развива, за да е в крачка с огромния мащаб на моделите.
- Икономическа мащабируемост: Включва осъществимостта за увеличаване на изчислителните ресурси в рамките на разумни бюджетни ограничения. Ако цената на обучението се мащабира линейно или експоненциално с размера на модела, може да стане непосилно скъпо да се търсят допълнителни печалби. Като такива, по-евтини и по-ефективни обучения може да са необходими. Иновациите в хардуера и техниките за оптимизация, които намаляват разходите за FLOP, са от решаващо значение за икономическата мащабируемост. Тенденцията беше да се фокусираме върху все по-големи модели, но с ограничен бюджет стимулите ще се изместят към обучение на най-ефективните модели.
- Мащабируемост на съдържанието: Подчертава наличността на висококачествени данни за обучение, които могат ефективно да стимулират постижения в способността за разсъждение. Тъй като моделите стават по-усъвършенствани, са необходими по-трудни и разнообразни набори от данни, за да ги предизвикат и да предотвратят прекомерно обучение. Наличността на такива набори от данни е ограничена, особено в домейни, които изискват сложно разсъждение. Техниките за генериране на синтетични данни могат да помогнат за облекчаване на това затруднение, но те трябва да бъдат внимателно проектирани, за да се избегнат пристрастия или неточности, които биха могли да влошат производителността на модела.
Бъдещето на изчисленията
Лесно е като обикновени хора да мислим, че сме на път към безкрайни изчисления. В действителност обаче те са ограничени и в бъдеще тази граница може да стане по-очевидна. В този раздел ще проучим няколко начина, по които изчисленията могат да се развият в бъдеще и как тези промени ще повлияят на LLM индустрията.
Квантови изчисления
Квантовите изчисления представляват промяна на парадигмата в изчисленията, използвайки принципите на квантовата механика за решаване на проблеми, които са неразрешими за класическите компютри. Макар и все още в ранен етап, квантовите изчисления притежават огромен потенциал за ускоряване на AI натоварванията, включително обучението на модели за разсъждение. Квантовите алгоритми като квантово отгряване и вариационни квантови собствени решаващи устройства (VQE) биха могли потенциално да оптимизират параметрите на модела по-ефективно от класическите методи за оптимизация, намалявайки изчислителните ресурси, необходими за обучение. Например, квантовите алгоритми за машинно обучение биха могли да подобрят оптимизацията на сложни невронни мрежи, което да доведе до по-бързи времена на обучение и потенциално по-добра производителност на модела.
Въпреки това, остават значителни предизвикателства при разширяването на квантовите компютри и разработването на надеждни квантови алгоритми. Технологията е все още до голяма степен експериментална и практически квантови компютри с достатъчно кубити (квантови битове) и времена на кохерентност все още не са лесно достъпни. Освен това, разработването на квантови алгоритми, пригодени за специфични AI задачи, изисква специализиран опит и е текуща област на изследване. Широкото приемане на квантовите изчисления в AI остава на няколко години и е вероятно да бъде практично едва след като компютрите са налични.
Невроморфни изчисления
Невроморфните изчисления имитират структурата и функцията на човешкия мозък, за да извършват изчисления. За разлика от традиционните компютри, които разчитат на двоична логика и последователна обработка, невроморфните чипове използват изкуствени неврони и синапси, за да обработват информация по паралелен и енергийно ефективен начин. Тази архитектура е много подходяща за AI задачи, които включват разпознаване на модели, обучение и адаптация, като например обучение на модели за разсъждение. Невроморфните чипове биха могли потенциално да намалят консумацията на енергия и латентността, свързани с обучението на големи AI модели, което ги прави по-икономически жизнеспособни и екологично устойчиви.
Loihi на Intel и TrueNorth на IBM са примери за невроморфни чипове, които демонстрираха обещаващи резултати в AI приложения. Тези чипове са способни да изпълняват сложни AI задачи със значително по-ниска консумация на енергия в сравнение с традиционните процесори и графични процесори. Въпреки това, невроморфните изчисления все още са относително нова област и остават предизвикателства при разработването на надеждни инструменти за програмиране и оптимизиране на алгоритми за невроморфни архитектури. Освен това, ограничената наличност на невроморфен хардуер и липсата на широко разпространен опит в невроморфните изчисления възпрепятстваха приемането на тази технология в основните AI приложения.
Аналогови изчисления
Аналоговите изчисления използват непрекъснати физически величини, като напрежение или ток, за да представят и обработват информация, а не дискретни цифрови сигнали. Аналоговите компютри могат да извършват определени математически операции, като диференциални уравнения и линейна алгебра, много по-бързо и по-ефективно от цифровите компютри, особено в задачи, които могат да бъдат полезни за разсъждение. Аналоговите изчисления могат да бъдат полезни за обучение на модели или за извършване на заключения, когато е необходимо.
Въпреки това, аналоговите изчисления са изправени пред предизвикателства в прецизността, мащабируемостта и програмируемостта. Аналоговите схеми са податливи на шум и отклонение, което може да влоши точността на изчисленията. Разширяването на аналоговите компютри за обработка на големи и сложни AI модели също е техническо предизвикателство. Освен това, програмирането на аналогови компютри обикновено изисква специализиран опит и е по-трудно от програмирането на цифрови компютри. Въпреки тези предизвикателства, има нарастващ интерес към аналоговите изчисления като потенциална алтернатива на цифровите изчисления за специфични AI приложения, особено тези, които изискват висока скорост и енергийна ефективност.
Разпределени изчисления
Разпределените изчисления включват разпределяне на AI натоварванията между множество машини или устройства, свързани чрез мрежа. Този подход позволява на организациите да използват колективната изчислителна мощност на голям брой ресурси, за да ускорят AI обучението и заключенията. Разпределените изчисления са от съществено значение за обучението на модели с голям език (LLM) и други сложни AI модели, които изискват огромни набори от данни и изчислителни ресурси.
Рамки като TensorFlow, PyTorch и Apache Spark предоставят инструменти и API за разпределяне на AI натоварванията между клъстери от машини. Тези рамки позволяват на организациите да увеличат своите AI възможности, като добавят повече изчислителни ресурси, ако е необходимо. Въпреки това, разпределените изчисления въвеждат предизвикателства при управлението на данни, комуникационните разходи и синхронизацията. Ефективното разпределяне на данни между множество машини и минимизиране на комуникационните закъснения са от решаващо значение за максимизиране на производителността на разпределените AI системи. Освен това, осигуряването на правилна синхронизация и координация на различните машини или устройства е от съществено значение за постигане на точни и надеждни резултати.
Заключение
Траекторията на моделите за разсъждение е несъмнено преплетена с наличността и мащабируемостта на изчислителните ресурси. Въпреки че настоящият темп на напредък, движен от увеличените изчисления, е впечатляващ, няколко фактора, включително недостигът на висококачествени данни за обучение, нарастващата цена на изчисленията и появата на алтернативни изчислителни парадигми, предполагат, че ерата на необузданото мащабиране на изчисленията може да наближава своите граници. Бъдещето на моделите за разсъждение вероятно ще зависи от способността ни да преодолеем тези ограничения и да проучим нови подходи за подобряване на AI възможностите. С цялата тази информация можем да предположим, че нарастването на възможностите на моделите за разсъждение може скоро да започне да се забавя поради едно от многобройните обсъдени ограничения.