Stanford ve UC Berkeley'den ChatGPT Performansında Düşüş Çalışması
Stanford Üniversitesi ve UC Berkeley araştırmacılarının Harvard Data Science Review'da yayınladığı 'ChatGPT'nin Zaman İçindeki Davranışı' başlıklı makale, GPT-3.5 ve GPT-4'ün performansında üç aylık bir dönemde önemli dalgalanmalar olduğunu ortaya koydu. Çalışma, matematiksel problem çözme, kod üretimi, çok adımlı bilgi yoğun soru yanıtlama ve ABD Tıp Lisanslama Sınavı dahil yedi görevde bu modelleri inceledi. GPT-4'ün asal sayıları belirleme doğruluğu Mart ayında %84 iken Haziran ayında %51'e düştü. Ayrıca, talimatlara uyma konusunda da düşüşler gözlemlendi. Bu durum, ChatGPT'nin tutarlılığı ve güvenilirliği açısından zorluklar yaratmaktadır.