スタンフォード大学とUCバークレーの研究 ChatGPTの性能低下
スタンフォード大学とUCバークレーの研究者による論文「ChatGPT Behavior Over Time」では、GPT-3.5とGPT-4の性能が3ヶ月間で大きく変動したことが示されました。数学問題解決、コード生成、知識集約型質問応答など7つのタスクで評価が行われ、特にGPT-4の素数判定精度が大幅に低下。命令遵守能力も低下し、回答抽出やコンテンツフィルタリングの精度が著しく低下しました。この研究は、ChatGPTの性能変動を理解し、安全性とコンテンツの信頼性を確保するために重要です。