Model İsabet Karnesi: Tahminler Ne Kadar Tuttu?
Her vade, modelin eğitimde hiç görmediği 500+ günde sınanır: ne kadar yanılıyor, yönü ne sıklıkla biliyor ve basit bir kuraldan daha iyi mi.
Bir tahmin modelinin tek anlamlı sınavı, hiçbir bilgi kullanmayan basit bir kuralı geçip geçmediğidir. Karne bu karşılaştırmayı vade vade yapar ve ölçüm, modelin eğitim sırasında hiç görmediği günlerden gelir: genişleyen pencereli walk-forward, kat sınırında hedef örtüşmesi temizlenerek. Her satırda üç sayı vardır. Ortalama yanılma, tahminin gerçekleşen fiyattan ortalama ne kadar saptığıdır. Yönü bilme, fiyatın yukarı mı aşağı mı gideceğini doğru bildiği gün oranıdır. Basit kurala üstünlük ise "fiyat olduğu yerde kalır" kuralına göre kazanılan hata azalmasıdır; sıfır ya da altı, modelin o vadede bir şey katmadığı anlamına gelir. Ağırlığı kısılmış vadeler soluk gösterilir: model orada fiyat tahmini yerine "görüş yok" der.