งานวิจัยล่าสุดแสดงให้เห็นว่าการเพิ่มการคำนวณในช่วง inference สามารถปรับปรุงคุณภาพของตัวอย่างที่สร้างจาก diffusion model ได้อย่างมีนัยสำคัญ โดยการค้นหา noise ที่ดีขึ้นในระหว่างการ sampling และใช้ verifier และ algorithm ที่เหมาะสม สามารถเพิ่มประสิทธิภาพของโมเดลได้แม้แต่โมเดลที่มีขนาดเล็ก
โลกเทคโนโลยีตื่นเต้นกับการเปิดตัว o3-Mini ของ OpenAI ซึ่งคาดว่าจะมาถึงในอีกไม่กี่สัปดาห์ข้างหน้า Sam Altman CEO ของ OpenAI ยืนยันการเปิดตัว o3-Mini ซึ่งเป็นรุ่นย่อส่วนของโมเดลขนาดใหญ่ โดยจะมีให้ใช้งานผ่าน API และเว็บอินเทอร์เฟซ นอกจากนี้ OpenAI ยังวางแผนที่จะเปิดตัว o3-Mini สามรุ่นพร้อมกัน ได้แก่ รุ่นสูง กลาง และต่ำ ถึงแม้ว่า o3-Mini จะไม่ได้มีประสิทธิภาพสูงกว่า O1-Pro แต่จะมีความเร็วที่เพิ่มขึ้น นอกจากนี้ Altman ยังกล่าวถึงความสามารถของโมเดล o3 ที่จะมีความก้าวหน้ามากกว่า O1-Pro อย่างมาก และยังกล่าวถึงความต้องการพลังงาน 872 เมกะวัตต์สำหรับ AGI
การใช้ Large Language Models (LLMs) ที่เพิ่มขึ้นทำให้เกิดความท้าทายในการอนุมานขนาดใหญ่ กลไก Attention แบบดั้งเดิมมีปัญหาคอขวดที่ KV Cache ซึ่งขยายตามขนาด Batch และความยาวลำดับ ทำให้เกิดปัญหา 'memory hog' MFA และ MFA-KR เป็นกลไก Attention ใหม่ที่ลดต้นทุนการอนุมานของโมเดลภาษา พร้อมปรับปรุงประสิทธิภาพ ลดการใช้ KV Cache ได้ถึง 93.7% ออกแบบให้เรียบง่าย ทำซ้ำได้ง่าย และเข้ากันได้กับวิธี Pos-embedding ต่างๆ
ESM3 โมเดลชีวภาพขนาด 98 พันล้านพารามิเตอร์ พัฒนาโดย Evolutionaryscale สามารถจำลองวิวัฒนาการของโปรตีนได้เทียบเท่า 5 ล้านล้านปี เปิดให้ใช้ API ฟรี โดย Yann LeCun ผู้เชี่ยวชาญด้าน AI ให้การรับรอง มีศักยภาพในการสร้างโปรตีนใหม่และประยุกต์ใช้ทางการแพทย์
Microsoft เปิดตัว MatterGen โมเดลภาษาขนาดใหญ่ที่ปฏิวัติวงการ ออกแบบวัสดุอนินทรีย์ด้วยความแม่นยำสูงกว่าเดิมถึง 10 เท่า สร้างวัสดุใหม่ๆ ได้รวดเร็ว มีศักยภาพในการพัฒนาแบตเตอรี่และเทคโนโลยีอื่นๆ
การศึกษาล่าสุดจากมหาวิทยาลัยสแตนฟอร์ดและ UC Berkeley พบว่าประสิทธิภาพของ GPT-3.5 และ GPT-4 มีความผันผวนอย่างมากในช่วงสามเดือน โดยเฉพาะอย่างยิ่ง GPT-4 มีความแม่นยำในการระบุจำนวนเฉพาะลดลงอย่างมาก และความสามารถในการทำตามคำแนะนำก็ลดลงด้วย การศึกษานี้ชี้ให้เห็นถึงความท้าทายในการรักษาความสอดคล้องและความน่าเชื่อถือของโมเดลเหล่านี้
