İngiltere Yapay Zeka Güvenlik Enstitüsü'nden Kritik Uyarı: Mevcut Testler Yetersiz
UK AISI tarafından yayınlanan rapor, standart benchmark testlerinin yapay zeka ajanlarının gerçek yeteneklerini sistematik olarak düşük gösterdiğini ortaya koydu.
İngiltere Yapay Zeka Güvenlik Enstitüsü (UK AISI), yapay zeka modellerinin performansını ölçmek için kullanılan standart kıyaslama testlerinin (benchmark), ajanların gerçek kapasitesini olduğundan daha düşük gösterdiğini tespit etti. Yapılan araştırmada, modellerin işlem gücü ve token bütçeleriyle sınırlandırılmasının, ortaya çıkan sonuçları yanıltıcı kıldığı vurgulandı.
Yazılım Mühendisliği Görevlerinde %25'lik Artış
Yedi farklı kıyaslama testini kapsayan çalışmada, özellikle yazılım mühendisliği görevlerinde çarpıcı sonuçlara rastlandı. Token bütçesi on kat artırıldığında, yapay zeka ajanlarının başarı oranlarının yaklaşık yüzde 25 oranında yükseldiği görüldü. Bu durum, modellerin daha fazla işlem alanı tanındığında çok daha karmaşık sorunları çözebildiğini kanıtlıyor.
Sınır Modellerde Beklenenden Daha Hızlı İlerleme
Rapora göre, yeni nesil gelişmiş modeller bu kapasite artışından en fazla yararlanan grup oldu. AISI verilerine göre, token bütçesi optimize edildiğinde, yapay zekanın öncü modellerindeki gerçek ilerleme hızı, önceki ölçümlerin işaret ettiğinden yüzde 60 daha dik bir seyir izliyor. Bu bulgu, yapay zekanın yetenek kazanım hızının mevcut takip mekanizmalarının çok üzerinde olduğunu gösteriyor.