WaveForms AI, startup założony przez byłego lidera trybu głosowego OpenAI, Alexisa Conneau, zebrał 40 milionów dolarów na rozwój zaawansowanych modeli audio LLM. Firma dąży do stworzenia AI z inteligencją emocjonalną, zdolną do bezpośredniego przetwarzania dźwięku i reagowania na ludzkie emocje.
Model Kimi k1.5 od Moonshot AI osiągnął poziom wydajności porównywalny z pełną wersją o1 OpenAI, wyznaczając nowy standard w dziedzinie sztucznej inteligencji. Model ten wyróżnia się w matematyce, kodowaniu i rozumowaniu multimodalnym, a jego wariant short-CoT przewyższa GPT-4o i Claude 3.5 Sonnet. Otwarta publikacja raportu technicznego podkreśla transparentność i ducha współpracy Moonshot AI.
OpenAI planuje wprowadzić super agenta AI na poziomie doktoranckim, co wywołuje obawy o przyszłość miejsc pracy. Firmy takie jak Meta i Salesforce już wdrażają AI, co prowadzi do redukcji etatów i zmian w strukturze zatrudnienia. Super agenci AI, wykorzystujący zaawansowane uczenie maszynowe i przetwarzanie języka naturalnego, mogą autonomicznie realizować złożone zadania, co zrewolucjonizuje wiele sektorów.
Artykuł omawia przełomowe osiągnięcie OpenAI, jakim jest stworzenie agenta AI działającego w czasie rzeczywistym, który można opracować w zaledwie 20 minut. Ta technologia, oparta na zaawansowanych modelach językowych, oferuje szybką interakcję z użytkownikiem, elastyczne zarządzanie zadaniami i efektywne wykorzystanie dużych modeli, co rewolucjonizuje proces tworzenia aplikacji AI.
Badanie przeprowadzone przez Xie Saining na Uniwersytecie Nowojorskim wykazało, że skalowanie czasu wnioskowania jest skuteczne dla modeli dyfuzyjnych. Zwiększenie zasobów obliczeniowych podczas wnioskowania prowadzi do znaczącej poprawy jakości generowanych próbek. W ramach tego badania opracowano ogólne ramy wyszukiwania, które pozwalają na dostosowywanie kombinacji komponentów do różnych zastosowań. Badanie skupia się na dwóch głównych osiach projektowych: weryfikatorach, które dostarczają informacji zwrotnej podczas procesu wyszukiwania, oraz algorytmach, które pomagają w znalezieniu lepszych kandydatów na szum. Badano różne scenariusze weryfikatorów i algorytmów, w tym wyszukiwanie losowe, wyszukiwanie zerowego rzędu i wyszukiwanie ścieżki. Wyniki pokazują, że skalowanie czasu wnioskowania jest skuteczne również w zadaniach generowania tekstu na obraz, a w niektórych przypadkach mniejsze modele ze skalowaniem mogą przewyższyć większe modele bez skalowania.
Świat technologii z niecierpliwością oczekuje premiery o3-Mini od OpenAI, która ma nastąpić w ciągu kilku tygodni. Model będzie dostępny przez API i interfejs webowy. Oprócz tego, zostaną wypuszczone trzy wersje o3-Mini: wysoka, średnia i niska. Chociaż o3-Mini nie przewyższy wydajności O1-Pro, zaoferuje większą szybkość, szczególnie w zadaniach programistycznych. Pełny model o3 będzie znacznie bardziej zaawansowany niż O1-Pro i o3-Pro. Sam Altman poruszył również temat AGI, podkreślając, że jego osiągnięcie wymaga 872 megawatów mocy obliczeniowej. Obecne zużycie energii przez AI zbliża się do tego poziomu, co sugeruje, że OpenAI może być bliskie osiągnięcia AGI.
Artykuł omawia nowy mechanizm uwagi o nazwie Multi-matrix Factorization Attention (MFA) i jego wariant MFA-Key-Reuse (MFA-KR), który znacząco redukuje zużycie pamięci KV Cache w modelach językowych, jednocześnie poprawiając wydajność. MFA i MFA-KR przewyższają MLA i dorównują MHA, zmniejszając zużycie pamięci KV Cache nawet o 93.7%. Mechanizm ten charakteryzuje się prostotą, łatwością reprodukcji, niską wrażliwością na hiperparametry i kompatybilnością z różnymi metodami Pos-embedding. Analiza projektu mechanizmów uwagi doprowadziła do koncepcji Generalized Multi-Head Attention (GMHA) i Fully Parameterized Bilinear Attention (FPBA) jako teoretycznego limitu wydajności. MFA wykorzystuje zwiększoną liczbę i wymiar głów uwagi, strategię niskiego rzędu rozkładu oraz pojedynczą głowę klucz-wartość. Eksperymenty pokazały, że MFA zachowuje dobrą skalowalność i wydajność przy dużych modelach, a w połączeniu z MFA-KR osiąga znaczne oszczędności pamięci.
Model ESM3 firmy Evolutionaryscale, największy model biologiczny na świecie z 98 miliardami parametrów, oferuje bezpłatne API przyspieszające badania białek. Yann LeCun chwali to osiągnięcie jako 'bardzo fajne'. ESM3 symuluje 5 bilionów lat ewolucji, przetwarzając sekwencje, strukturę i funkcję białek, otwierając nowe możliwości w medycynie i inżynierii białek.
Microsoft zaprezentował MatterGen, przełomowy model językowy AI do tworzenia materiałów nieorganicznych. Model ten, oparty na architekturze dyfuzyjnej, optymalizuje typy atomów, koordynaty i sieci krystaliczne, umożliwiając szybkie generowanie nowych materiałów. MatterGen zwiększa proporcję stabilnych, unikalnych materiałów i jest bliski lokalnemu minimum energii DFT. Wykorzystuje proces dyfuzji do tworzenia uporządkowanych struktur krystalicznych, a sieć ekwiwariantnych ocen pomaga w odzyskiwaniu oryginalnych struktur. Moduły adaptera umożliwiają dostosowanie modelu do różnych zadań. Technologia ta jest porównywana do AlphaFold i ma potencjał rewolucjonizować wiele dziedzin, w tym technologię baterii i przezwyciężanie globalnych wyzwań.
Badanie Uniwersytetu Stanforda i UC Berkeley wykazało znaczne wahania w wydajności modeli GPT-3.5 i GPT-4 w ciągu trzech miesięcy. Spadek dokładności w zadaniach matematycznych i przestrzeganiu instrukcji podkreśla potrzebę monitorowania i przejrzystości w modelach językowych.
