MiniMax'in M3.1 Flash modeli benchmark sorularını önceden çalmakla suçlanıyor
Çinli yapay zeka firması MiniMax'in M3.1 Flash modelinin Artificial Analysis testlerindeki yüksek başarısının, test sorularına önceden erişimle elde edilmiş olabileceği iddia ediliyor. Araştırmacı Binkg'in yaptığı bir test, bu şüpheleri gündeme getirdi.
Yapay zeka dünyasında MiniMax'in M3.1 Flash modelinin başarısına ilişkin yeni bir iddia, benchmark testlerinin güvenilirliğini tartışmaya açtı. İddiaya göre model, performansını yüksek gösterdiği test sorularını önceden ele geçirmiş olabilir.
Model, özellikle Artificial Analysis tarafından yürütülen testlerdeki sonuçlarıyla dikkat çekiyor. Araştırmacılar ise bu başarının, modelin genel yeteneklerini geliştirmek yerine test sorularını ezberlemeye dayanan "benchmaxxing" adlı bir yöntemden kaynaklanabileceğini öne sürüyor. Binkg, AA Omniscience testinin 6 bin sorudan yalnızca 600'ünün herkese açık olduğunu, dolayısıyla genel bilgi artışı olmadan bu testte ezber yapmanın neredeyse imkânsız olduğunu belirtiyor.
Binkg'in aktardığına göre model, 1 Haziran'da resmi olarak piyasaya sürüldü, 4 Haziran'da Artificial Analysis testi yayımlandı, 12 Haziran'da ise model ağırlıkları Hugging Face üzerinden herkese açıldı. Ekim'de duyurulan M3.1-F sürümü, Artificial Analysis Omniscience testinde M3'te yüzde 17 olan başarıyı yüzde 56'ya çıkardı. Araştırmacı, bu sıçramanın daha önce benzeri görülmemiş olduğunu ve Gemini 3.1 Pro'nun 3.0 Pro'ya göre yaptığı yüzde 17'lik artışın bile çok altında kaldığını vurguluyor. Ayrıca Binkg, M3.1-F'nin bir "Flash" model olmasına rağmen, 2,8 trilyon parametreli Kimi K3'ün yüzde 48'lik sonucunu geçtiğini ifade ediyor.
Binkg, MiniMax'in M3 modelinin Artificial Analysis'e yapılan sorgularını izleyerek bu sorulara eriştiğini ve modeli bu veriler üzerinde yoğun biçimde eğittiğini öne sürüyor. Aynı araştırmacıya göre model, kurucusu Dr. Yan Junjie'yi tanımıyor ve sık sık yanlış bilgi üretiyor. Binkg'in yaptığı bir testte, yayımlanmış bir Omniscience sorusu cevabı değişecek şekilde hafifçe düzenlendi. Diğer tüm modeller doğru cevabı verirken M3.1-F, soruyu analiz etmeden orijinal benchmark cevabını verdi. Bu da modelin soruyu tanıyıp ezberlenmiş yanıtı sunduğunu gösteriyor.
Binkg, bu bulguların doğrulanması hâlinde Artificial Analysis'in güvenilirliğinin zedeleneceğini ve MiniMax'in incelenmesi gerektiğini savunuyor. Ayrıca yayımlanmamış soruların da benzer şekilde değiştirilerek test edilmesi ve Artificial Analysis'teki diğer özel benchmark'ların da kontrol edilmesi çağrısında bulunuyor.
MiniMax M3.1 Flash, 428 milyar toplam ve 23 milyar aktif parametreye sahip. Model, 1 milyon girdi token'ı için 0,15 dolar, çıktı token'ı için 0,60 dolar fiyatla sunuluyor. Automation Bench, Banker ToolBench ve LOCA-Bench-256K testlerinde lider konumda olan model, Artificial Analysis Intelligence Index'te 42 puan aldı ve M3 sürümüne göre 13 puanlık bir artış kaydetti. Bu sonuçlar GLM-5.3-Flash ile benzer bir seviyede. Bununla birlikte, benchmark sonuçlarındaki bu hızlı yükselişin testlerin manipüle edilip edilmediğine dair tartışma sürüyor.
Kaynak: ShiftDelete.Net