Machine Learning Modeli Nasıl İzlenir: Kurduktan Sonra İş Bitmez

Bir perakende zincirinin talep tahmin modeli düşünün: geliştirme aşamasında test verisinde yüzde seksen beşin üzerinde doğruluk gösteriyor, canlı ortama alınıyor ve ilk birkaç haftada beklentileri karşılıyor. Üç ay sonra stok fazlası şikayetleri artmaya başlıyor, satın alma ekibi modelin önerilerini atlamaya başlıyor. Sorun modelin kendisinde değil; modelin eğitildiği verinin artık gerçeği yansıtmamasında. Ürün yelpazesi değişmiş, mevsimsel örüntüler kaymış, ama model bunu bilmiyor. Bu senaryo, makine öğrenmesi projelerinde en sık karşılaşılan ve en az konuşulan sorunlardan birini özetliyor: model izleme disiplinin yokluğu.

Makine öğrenmesi modellerini geleneksel yazılımdan ayıran temel özellik, davranışlarının zamanla değişmesidir. Bir muhasebe modülündeki hata genellikle sabittir ve tespit edildiğinde düzeltilebilir. Bir makine öğrenmesi modeli ise çevresindeki veri değiştikçe sessizce bozulur; hata mesajı vermez, sistem çökmez, ama çıktıları giderek güvenilmez hale gelir. Bu bozulmaya literatürde model drift ya da performans erozyonu deniyor. İzleme disiplini olmayan bir ekip bu bozulmayı ancak iş sonuçları kötüleşince fark eder; o noktada hasar çoktan verilmiştir.

Performans erozyonunun iki temel kaynağı var. Birincisi veri kayması (data drift): modelin girdi olarak aldığı değişkenlerin istatistiksel dağılımı değişiyor. Müşteri yaş profili, işlem büyüklükleri, ürün kategorileri — bunların ortalaması, varyansı veya frekans dağılımı eğitim döneminden farklılaştığında model, aslında hiç görmediği bir dünyada tahmin yapmaya çalışıyor. İkincisi kavram kayması (concept drift): girdi değişkenleri aynı kalsa bile girdi-çıktı ilişkisi değişiyor. Kredi risk modelinde ödeme davranışlarını etkileyen makroekonomik koşulların dönüşmesi buna iyi bir örnek. Her iki kayma türü de farklı izleme yöntemleri gerektiriyor ve çoğu ekip ikisini birbirinden ayırt etmeden tek bir metrikle takip etmeye çalışıyor; bu da sorunun gerçek kaynağını gizliyor.

Operasyonel bir izleme çerçevesi kurmak için üç katmanlı bir yaklaşım işe yarıyor. İlk katman girdi izleme: modele gelen verinin istatistiksel profilini sürekli kayıt altına almak ve eğitim dönemiyle karşılaştırmak. Popüler Stability Index gibi istatistiksel testler bu işi otomatize etmeye yarıyor; ancak eşik değerlerini kör bir şekilde kopyalamak yerine sektöre ve modelin hassasiyetine göre kalibre etmek gerekiyor. İkinci katman çıktı izleme: modelin ürettiği tahminlerin dağılımını takip etmek. Bir sınıflandırma modelinin pozitif sınıf oranı aniden düşüyorsa bu kırmızı bayraktır. Üçüncü katman ise iş metriği izleme: modelin doğrudan etkilediği operasyonel göstergeleri — stok devir hızı, onay oranı, müşteri şikayet sıklığı — düzenli aralıklarla incelemek. Teknik metrikler iyi görünse bile iş metriği bozuluyorsa modelin gerçek dünya performansı sorgulanmalıdır.

Yeniden eğitim kararı, bu izleme katmanlarından gelen sinyallere göre tetiklenmeli; takvime bağlı otomatik yeniden eğitim ise çoğu durumda yanlış bir yaklaşım. Her ay modeli yeniden eğitmek kaynak israfına ve bazen gereksiz kararsızlığa yol açıyor; öte yandan yıllarca aynı modeli çalıştırmak da erozyonu görmezden gelmek anlamına geliyor. Doğru yaklaşım, istatistiksel eşiklere dayalı tetikleyici tabanlı yeniden eğitim: veri kayması belirli bir seviyeyi aştığında veya doğrulama setindeki performans metriği önceden tanımlanmış alt sınırın altına düştüğünde yeniden eğitim süreci başlatılıyor. Bu noktada kritik bir operasyonel gereksinim ortaya çıkıyor: yeniden eğitim için güncel ve temiz veriye her an erişilebilir olması. Veri boru hattı sağlam kurulmamışsa tetikleyici çalışsa bile süreç kilitlenir.

Kurumların pratikte en çok zorlandığı alan model envanteri yönetimi. Birden fazla modelin canlıda çalıştığı ortamlarda hangi modelin hangi versiyonunun hangi veriyle eğitildiğini takip etmek, başlangıçta önemsiz görünüp zamanla kritik bir operasyonel sorun haline geliyor. Bir modelin çıktısı başka bir modelin girdisi olduğunda versiyon uyumsuzluğu domino etkisi yaratıyor. Model envanteri; versiyon numarası, eğitim tarihi, kullanılan veri kesimi, performans metrikleri ve sorumlu ekip bilgisini içermeli. Bu bir elektronik tabloya sığabilir, ancak model sayısı arttıkça özel takip araçlarına geçiş kaçınılmaz oluyor. Türkiye’deki kurumsal dijital dönüşüm projelerinde bu envanter disiplininin çoğunlukla atlandığını, sorunların ancak denetim süreçlerinde gün yüzüne çıktığını gözlemliyoruz.

Makine öğrenmesi modelini canlıya almak projenin sonu değil, operasyonel sorumluluğun başlangıcıdır. Karar vericilerin bu gerçeği proje bütçesine ve kaynak planlamasına yansıtması gerekiyor: model geliştirme maliyetinin en az yüzde otuz ile ellisi kadar bir izleme ve bakım kapasitesi planlanmadan başlatılan projeler, kısa vadede başarılı görünse de orta vadede güven kaybıyla sonuçlanıyor. İzleme altyapısını sonradan kurmak, baştan kurmaktan her zaman daha pahalı ve daha risklidir. Bir modelin ne zaman bozulduğunu bilmek, o modeli hiç kurmamaktan daha değerlidir.


açıklanabilir yapay zekâ için en kritik soru hangi sistemi kullanacağımız değildir. Asıl soru, hangi problemi çözeceğimiz, hangi veriye güveneceğimiz ve hangi aksiyonu hızlandıracağımızdır. Bu cevaplar verilmeden kurulan çözümler modern görünür; fakat eski alışkanlıkları dijitalleştirmekten öteye geçemez.


Gökhan Mercanoğlu
Yapay Zekâ ve Makine Öğrenmesi