DeepSeek V4.1 Flash 1017 · Comparison

DeepSeek model benchmark results and animation test

Notizen des Urhebers

DeepSeek, V4.1 Flash için “küçük güncelleme” diye DeepSeek-V4.1-Flash-1017'yi yayınladı. Kendi tablolarına bakınca sıçrama hiç küçük durmuyor. Kendi video animasyon benchmarkımı da ekledim. Benim testime göre animasyonu bir kere daha çalışması gerekti ve 24 dakika sürdü. Ama bu rağmen 2 cent daha ucuza yaptı. Önceki sürüme göre (DeepSeek’in kendi testlerine göre): → Terminal-Bench 4.0 (terminalde gerçek iş yaptırma): 31,2'den 42,3'e çıkmış → ProgramBench (sıfırdan program yazdırma): 20,3'ten 29,1'e → HLE (araçsız, çok zor sorular): 36,8'den 42,6'ya → Aynı işi daha kısa cevaplarla ve daha hızlı bitirdiği söyleniyor, ama bunun için rakam paylaşılmamış Tabloda Opus 5 ve GPT-5.6 Sol da var. → DeepSWE (gerçek yazılım hatalarını çözme), Automation-Bench ve Agents’ Last Exam gibi agent testlerinde Opus 5'in önünde görünüyor → HLE, Terminal-Bench, ProgramBench ve görsel testlerin çoğunda Opus 5 hala açık ara önde (HLE’de 42,6'ya karşı 56,3) → ZeroBench’te GPT-5.6 Sol’un da gerisinde → Terminal-Bench, Claude Code altyapısıyla ölçülmüş. Rakiplerin aynı koşullarda ölçülüp ölçülmediği yazmıyor