Data Science Projesinde Başarıyı Ölçmek: Model mi, Para mı?

Bir perakende zincirinin satış müdürü, veri analizi ekibinin sunumunu dinliyor. Ekip, müşteri kayıp tahmin modelinin yüzde seksen beş doğrulukla çalıştığını anlatıyor; karmaşık istatistiksel göstergeler slayttan slayda akıyor. Toplantı bittiğinde müdürün aklında tek bir soru kalıyor: ‘Peki biz bu modelden ne kazandık?’ Ekip cevap veremiyor. Bu sahne, Türkiye’deki pek çok şirkette tekrarlanan bir tablo. Veri bilimi projeleri teknik başarı kriterleriyle değerlendiriliyor; ancak yönetim kurulunun beklediği finansal tablo ortaya çıkmıyor.

Sorunun kökü, analitik projelerde iki farklı başarı dilinin birbirine karışmasında yatıyor. Veri bilimciler modelin istatistiksel performansını ölçer: doğruluk oranı, kesinlik, geri çağırma, F1 skoru gibi metrikler bu dilin sözcükleridir. Yöneticiler ise işin finansal dilini konuşur: gelir artışı, maliyet düşüşü, nakit akışı iyileşmesi, yatırımın geri dönüş süresi. Bu iki dil arasında köprü kurulmadığında proje teknik açıdan mükemmel, iş açısından anlamsız bir egzersiz olarak kalır. Analitik yatırımın gerçek değerini ölçmek için bu köprüyü kasıtlı olarak tasarlamak gerekiyor.

Finansal etki çerçevesi kurmanın ilk adımı, projeyi başlamadan önce iş sorusunu net biçimde tanımlamak. ‘Müşteri kaybını tahmin et’ bir teknik görev; ‘önümüzdeki çeyrekte müşteri kaybından kaynaklanan gelir erimesini yüzde on azalt’ ise ölçülebilir bir iş hedefi. Bu fark küçük görünüyor ama proje boyunca her kararı etkiliyor. Model seçimi, eşik değeri ayarı, hangi müşteri segmentine öncelik verileceği — tüm bu teknik tercihler iş hedefine göre şekillendiğinde, sonucun finansal etkisini hesaplamak mümkün hale geliyor. Hedef belirsiz kaldığında ise en iyi model bile yöneticiye ‘bu ne işe yaradı’ sorusunu sordurtuyor.

İkinci adım, müdahale mantığını açıkça kurmak. Modelin bir tahminde bulunması ile bu tahminin iş sürecinde bir eyleme dönüşmesi arasındaki zinciri görünür kılmak gerekiyor. Müşteri kayıp modeli, satış ekibine hangi müşterilere bu hafta ulaşması gerektiğini söylüyorsa, bu müdahalenin maliyeti nedir, kaç müşteri geri kazanılıyor, ortalama müşteri yaşam boyu değeri ne kadar? Bu rakamlar tahmin de olsa somutlaştırılmadan projenin ROI hesabı yapılamaz. Çerçevenin bu aşamasında finans ve satış ekiplerinin veri ekibiyle aynı masada oturması zorunlu; aksi halde teknik ekip varsayım üretir, yönetim o varsayımları kabul etmez.

Üçüncü adım ise kontrol grubu mantığını uygulamak. Türkiye’deki pek çok şirkette analitik projenin etkisi, modelin devreye girmesinden önceki ve sonraki dönemi karşılaştırarak ölçülmeye çalışılıyor. Bu yöntem, mevsimsel dalgalanmalar, pazar koşulları veya eş zamanlı başka kampanyalar nedeniyle yanıltıcı sonuçlar üretebiliyor. Mümkün olduğunda, modelin uygulandığı grup ile uygulanmadığı benzer bir grup arasındaki farkı ölçmek çok daha güvenilir bir etki tahmini veriyor. Bu tasarım baştan planlanmadığında, projenin bitmesinin ardından etkiyi geriye dönük izole etmek neredeyse imkânsız hale geliyor.

Pratikte bu çerçeveyi uygulamanın en büyük engeli organizasyonel değil, teknik değil — kültürel. Veri ekipleri model performansıyla tanınmak istiyor; yöneticiler ise belirsiz bir finansal taahhüt vermekten çekiniyor. Her iki taraf da hesap vermekten kaçındığı için proje başarısı muğlak kalıyor. Buna ek olarak, e-Fatura ve e-Defter gibi sistemlerden gelen yapısal veri zenginleşmesine karşın bu verilerin analitik projelere entegrasyonu henüz olgunlaşmamış durumda. Operasyonel veri ile finansal veriyi aynı analitik tabloya taşımak, çoğu KOBİ’de hâlâ ciddi teknik ve organizasyonel emek gerektiriyor.

Analitik projesine yatırım yapan veya yapmayı düşünen bir yönetici için temel karar kriteri şu soruya verilen yanıtta saklı: Proje ekibi, altı ay sonra hangi finansal göstergede ne kadar değişiklik beklediğini ve bunu nasıl ölçeceğini şimdi yazılı olarak taahhüt edebiliyor mu? Bu soruya net yanıt gelmiyorsa, teknik yetkinlik ne kadar yüksek olursa olsun proje bütçesi boşa gidebilir. Model doğruluk oranı bir araç; gelir etkisi ise asıl hedef. Bu sıralamayı baştan kuran şirketler, analitik yatırımından ölçülebilir geri dönüş alıyor; sıralamayı karıştıranlar ise yüksek doğruluklu ama işe yaramaz modellerle dolu sunumlar biriktiriyor.


yatırım planlaması için en kritik soru hangi sistemi kullanacağımız değildir. Asıl soru, hangi problemi çözeceğimiz, hangi veriye güveneceğimiz ve hangi aksiyonu hızlandıracağımızdır. Bu cevaplar verilmeden kurulan çözümler modern görünür; fakat eski alışkanlıkları dijitalleştirmekten öteye geçemez.


Gökhan Mercanoğlu
Finans Yönetimi